Метрики классификации
Процент верных прогнозов. Простейшая мера точности прогнозирования — это доля достоверно правильных предсказаний. Вернемся к примеру с гастрономическими покупками из табл. 1. Мы можем выразить результаты задачи по предсказанию покупки рыбы в таком утверждении: Наша модель с точностью 90 % предсказывает, будет ли покупатель брать рыбу. Хотя эта метрика не так сложна для понимания, она не дает представления о том, где именно происходят ошибки прогнозирования.
Таблица 4. Матрица неточностей показывает точность предсказаний о покупке рыбы
Матрица неточностей. Матрица неточностей (confusion matrix) дает представление о том, где наша модель прогнозирования преуспела и где она потерпела неудачу.
Посмотрите на табл. 4. Хотя общая точность модели составляет 90 %, она гораздо лучше предсказывает не покупки, чем покупки. Мы также видим, что число прогностических ошибок равномерно (по 5) распределилось между ложноположительными (FP, false positives) и ложноотрицательными (FN, false negatives).
Разновидности прогностических ошибок могут иметь решающее значение. Ложноотрицательный результат в предсказании землетрясения (то есть землетрясения не ожидалось, но оно произошло) обойдется куда дороже, чем ложноположительный (землетрясение ожидалось, но не случилось).
Метрика регрессии
Корень из среднеквадратичной ошибки (Root Mean Squared Error, RMSE). Поскольку при регрессии используются непрерывные числовые значения, то ошибки обычно измеряют количественно, как разницу между предсказанными и реальными значениями, распределяя штрафы и исходя из величины ошибки. Корень из среднеквадратичной ошибки — это популярная метрика регрессии, особенно полезная в случаях, когда мы хотим избежать крупных ошибок: каждая из них возводится в квадрат, что усиливает значимость такой ошибки. Это делает метрику крайне чувствительной к резко отклоняющимся значениям, за которые она штрафует модель.
Кіру не тіркелу пікір қалдыру үшін