Если некоторый фактор по-разному отражается на двух сравниваемых версиях системы и это происходит стабильно, как сейчас, это называют ошибкой конфаундинга (confounder bias)
Тюнинг систем: экспериментирование для инженеров от A/B-тестирования до байесовской оптимизации
·
Дэвид Свит