Всего в алгоритмах УМП задействовано 12 ML-моделей, общий метод использования которых выражается в следующем: мы обучаем модели, контролируем качество с помощью системы метрик и, если нет существенных отклонений, разрешаем алгоритму перейти на следующий этап.
Для оценки качества алгоритма здесь используются статистические и бизнесовые метрики. К статистическим метрикам относятся: точность, надежность и ROC AUC (интегральная метрика точности модели), определяемые для каждой категории.
бизнесовая часть: метрика качества для этой модели — релевантность, то есть метрика, показывающая, какая часть офферов подобрана с опорой на историю покупок клиентов, попавших в этот сегмент, а не по принципу схожести товаров.