Bandit multi-bras (UCB, Échantillonnage de Thompson)

Le bandit multi-bras (MAB) est un cadre expérimental adaptatif qui alloue séquentiellement les essais entre des bras concurrents afin de minimiser le regret cumulé tout en apprenant simultanément quel bras est le plus performant. Formalisé par Robbins en 1952 et doté de garanties en temps fini par Auer et al. (2002), il équilibre l'exploration d'options incertaines et l'exploitation des options actuellement connues comme étant les meilleures — surpassant les tests A/B classiques lorsque l'arrêt précoce ou l'allocation sensible aux coûts est importante.