Цитаты из книги авторов Хенрик Бринк, Джозеф Ричардс, Марк Феверолф Машинное обучение

Существуют два реальных ограничения на использование сведений в качестве входного признака:

• значение признака должно быть известно на момент прогноза (скажем, в рассматриваемом примере с оттоком клиентов это начало месяца);

• признак должен быть численным или категориальным (в главе 5 вы узнаете, как преобразовать нечисловые данные в признаки).

Соответственно, тренировочные данные являются фундаментом машинного обучения. Качественные данные позволяют точно выявить тонкие нюансы и корреляции и построить на их основе высокоточную прогнозирующую систему. В то же время плохое качество обучающей выборки может свести на нет работу даже лучших ML-алгоритмов

Вот четыре основных вопроса, возникающие на этапе сбора данных, и ниже мы на практике рассмотрим общие принципы ответа на них:

• какие входные признаки следует включить?

• как получить известные значения целевой переменной?

• сколько обучающих данных требуется?

• как оценить качество обучающей выборки?

Оценить вероятность ошибки в общем случае поможет более сложная методика, которая называется скользящим контролем, или перекрестной проверкой (CV — cross-validation). Она позволяет строго оценить на обучающей выборке точность работы с новыми данными.
Существуют два способа скользящего контроля: метод отложенных данных и контроль по k-блокам.

Python Data Visualization Cookbook»

Регрессия

На основе данных предсказывается фактическое значение параметра

Классификация

На основе данных определяется дискретный класс для каждого объекта

5.2. Основные этапы проектирования признаков

Такой набор данных называют гетерогенным (в отличие от гомогенного), и

Сбор и подготовка данных для систем с машинным обучением обычно влечет за собой их представление в виде таблицы, если изначально они имеют другую форму.