Валидация моделей
Валидация — проверка правильности работы (предсказательной способности) аналитической модели, построенной на основе машинного обучения, а также удостоверение, что она соответствует требованиям решаемой задачи.
Проводится на независимом (т.е. не использовавшемся для обучения и тестирования) валидационном множестве после обучения и тестирования модели.
Варианты валидации
Без валидации
Валидация не производится.
Метод кросс-валидации K-folds
Метод формирования обучающего и тестового множеств для обучения аналитической модели в условиях недостаточности исходных данных или неравномерного представления классов.
Для успешного обучения аналитической модели необходимо, чтобы классы были представлены в обучающем множестве примерно в одинаковой пропорции. Однако, если данных недостаточно или процедура "сэмплинга" при формировании обучающего множества была произведена неудачно, один из классов может оказаться доминирующим. Это может вызвать "перекос" в процессе обучения, и доминирующий класс будет рассматриваться как наиболее вероятный. Метод перекрестной проверки позволяет избежать этого.
В его основе лежит разделение исходного множества данных на колод, например . Затем на , т.е. на 4-х блоках, производится обучение модели, а 5-й блок используется для тестирования. Процедура повторяется раз, при этом на каждом проходе для проверки выбирается новый блок, а обучение производится на оставшихся.
Перекрестная проверка имеет два основных преимущества перед применением одного множества для обучения и одного для тестирования модели:
- распределение классов оказывается более равномерным, что улучшает качество обучения;
- если при каждом проходе оценить выходную ошибку модели и усреднить ее по всем проходам, то полученная ее оценка будет более достоверной.
На практике чаще всего выбирается (10 — проходная перекрестная проверка), когда модель обучается на 9/10 данных и тестируется на 1/10. Исследования показали, что в этом случае получается наиболее достоверная оценка выходной ошибки модели.
Метод Монте-Карло
В соответствии с заданной пропорцией данные случайным образом разделяются на обучающее и валидационное множество. Модель строится на основе обучающего множества и проверяется на валидационном множестве. Процедура повторяется N раз, где N-число итераций.