Валидация (validation) — это оценка того, насколько хорошо модель предсказывает новые данные. Тем не менее вместо ожидания новых данных для проверки модели мы можем разбить наш текущий набор данных на два сегмента. Первый выступит в роли нашего обучающего набора данных (training dataset), а второй послужит заменой для новой информации в качестве тестового набора данных (test dataset) для оценки точности прогностической модели. Лучшей моделью признается та, которая дает самые точные предсказания на тестовом наборе. Чтобы процесс валидации был эффективен, мы должны выбирать элементы для обучающего и тестового набора данных случайно и беспристрастно.
Теоретический минимум по Big Data. Всё что нужно знать о больших данных
·
Анналин Ын
