Эксперименты помогают решить проблему разброса и смещения результата. Разброс приводит к завышению или занижению результатов измерений, однако при этом усредненные измерения будут верными
Тюнинг систем: экспериментирование для инженеров от A/B-тестирования до байесовской оптимизации
·
Дэвид Свит