Всякий раз, когда вы делаете измерения на неудачной версии В, вы платите цену, равную разности между значением бизнес-метрики, которое вы могли бы достичь на версии А, и значением, которое вы реально достигли на версии В. Если, например, в качестве бизнес-метрики взять доход, то цена измерений на В равна «доход на версии А минус доход на версии В». Давайте подумаем, как снизить эту цену. Вы не можете просто пораньше остановить А/В-тест, даже если его результаты выглядят убедительно. Издержки короткого теста меньше, но ранняя остановка может дать ложноположительные результаты (см. главу 8, раздел 8.2).
Однако можно удешевить А/В-тестирование, немного переосмыслив проблему. Давайте ответим на вопрос: «Что можно сделать, чтобы во время оценки новой версии в рабочей системе почаще измерять лучшую из версий А и В?» В этом вопросе заключается проблема многорукого бандита (МРБ).
