Bandit de múltiples armes (UCB, Thompson Sampling)

Imagineu una fila de màquines escurabutacs (bandits), cadascuna amb una probabilitat de pagament desconeguda. Una estratègia ingènua juga a cada màquina per igual, malgastant tirades en les dolentes. Una estratègia intel·ligent fa un seguiment de quines màquines han pagat bé fins ara i les juga més sovint, però continua explorant-ne d'altres prou per evitar perdre's un guanyador ocult. L'algoritme del bandit de múltiples armes formalitza aquest compromís: acumula evidència sobre cada braç i dirigeix les proves futures cap als més prometedors, sense esperar que l'experiment acabi.