Подход А/В-тестирования к принятию решения заключается в том, чтобы «попытаться не ошибиться». Мы говорим «попытаться не ошибиться» вместо «выбрать наверняка», потому что математическое ожидание неизвестно. Вам известно только усредненное значение,
Результаты измерений бизнес-метрик всегда находятся в окрестности математического ожидания.
• Прогноз производительности системы выполняется с помощью математического ожидания.
• Значение математического ожидания тоже предсказуемо.
Вот еще один полезный факт: среднее по нескольким измерениям обычно ближе к математическому ожиданию, чем любой результат отдельного измерения.
Даже если невозможно предсказать разброс, математическое ожидание предсказуемо. И именно эта предсказуемость делает эксперименты особенно полезными. Можно измерить математическое ожидание и предположить, что оно не изменится даже по завершении эксперимента.
Результаты измерений, сделанных во время эксперимента, и позже, в обычном режиме работы системы, всегда будут находиться рядом с математическим ожиданием.
Эксперименты помогают решить проблему разброса и смещения результата. Разброс приводит к завышению или занижению результатов измерений, однако при этом усредненные измерения будут верными
Такую ошибку легко устранить с помощью рандомизации. Запускайте эксперименты как до, так и после обеда, как и планировали, но всякий раз, когда система совершает сделку, подбрасывайте монетку
Если некоторый фактор по-разному отражается на двух сравниваемых версиях системы и это происходит стабильно, как сейчас, это называют ошибкой конфаундинга (confounder bias)
Данные, на которых вы обучали модель, не учитывали контрфакты — события, которые произошли бы в системе после того, как вы внесли в нее изменения, но которые не могли произойти до внесения изменений.
