Цитата из книги «Алгоритмы для жизни: Простые способы принимать верные решения»

В информатике связь между исследованием и эксплуатацией наиболее ярко отражается в сценарии под названием «проблема многорукого бандита». Это странное название произошло от разговорного термина, обозначающего вид игровых автоматов, — «однорукий бандит». Представьте, что вы входите в зал казино, полный разных игровых автоматов, каждый из которых дает шанс на выигрыш. Закавыка в том, что вы не знаете ничего об этих шансах заранее: пока вы не начнете играть, вы не поймете, какие автоматы наиболее прибыльные («многоиграющие», как говорят игроманы), а какие только вытянут из вас все денежки. Естественно, вы заинтересованы в максимальном выигрыше. И понятно, что это подразумевает некую комбинацию нажатий на рычаги различных автоматов с целью их проверки (исследование) и выбор среди этих автоматов наиболее перспективных (эксплуатация). Для понимания всех тонкостей данной задачи представьте, что у вас есть только два игровых автомата. На одном из них вы сыграли 15 раз; 9 раз он выдал вам выигрыш, а 6 раз — нет. На другом вы сыграли всего дважды; один раз выиграли и один раз проиграли. Какой из автоматов перспективнее? Просто разделите количество выигрышей на общее количество раз, что вы дернули ручку, и вы получите «ожидаемую выгоду». Согласно этому способу, первый автомат явно лидирует. Его соотношение 9 : 6 дает нам 60% ожидаемой выгоды, в то время как у второго соотношение 1 : 1 дает всего 50%. Но это еще не все. В конце концов, всего две игры — это не слишком показательно, и можно предположить, что мы