Данные, на которых вы обучали модель, не учитывали контрфакты — события, которые произошли бы в системе после того, как вы внесли в нее изменения, но которые не могли произойти до внесения изменений.
Тюнинг систем: экспериментирование для инженеров от A/B-тестирования до байесовской оптимизации
·
Дэвид Свит