К содержимому
← Вернуться в блог

Машинное обучение: построение и проверка моделей, которые находят закономерности в данных

Машинное обучение начинается не с выбора алгоритма, а с вопроса: есть ли в данных закономерность, которая повторится на новых примерах. Модель — это функция, которая получает на вход признаки объекта и возвращает прогноз: число, класс или оценку вероятности. Обучение подбирает параметры этой функции по историческим данным, а проверка отвечает на главный вопрос — сохранится ли найденная закономерность за пределами обучающей выборки.

Ниже — последовательный разбор процесса: как устроен поиск закономерностей, что значит «подготовленные данные», как строить модель от простого ориентира к рабочей версии и как проверить её так, чтобы результат выдерживал критику. Принципы не зависят от конкретной библиотеки или языка: то же самое происходит и внутри готовых платформ, и в самописном коде.

Как машинное обучение находит закономерности в данных

В основе большинства практических задач лежит обучаемая зависимость. Есть таблица, где каждая строка описывает один объект — заказ, клиента, измерение, документ, — часть столбцов служит признаками, а один столбец является целевой переменной, то есть тем, что нужно предсказывать. Модель ищет функцию, связывающую признаки с целевой переменной, и делает это так, чтобы не запомнить строки наизусть, а обобщить.

Классическая аналитика чаще отвечает на вопрос «что произошло и почему», а обучение моделей — на вопрос «что будет в похожем случае и с какой уверенностью». Поэтому качество здесь измеряется не красотой объяснения, а поведением на данных, которых модель не видела.

Формально обучение — это оптимизация. У модели есть параметры, у ошибки — численная мера, и алгоритм подбирает параметры так, чтобы ошибка на обучающих данных уменьшалась. Тонкость в том, что минимум ошибки на обучении не равен хорошему прогнозу: слишком гибкая модель способна «объяснить» даже случайный шум, и на новых данных она ошибётся сильнее простой. Способность работать на новых данных называют обобщением, и именно она — цель всей конструкции.

Ещё одно условие — репрезентативность. Если исторические данные собраны в одном сегменте, а применять модель планируется в другом, закономерность может не перенестись. Проверять это нужно до обучения: сравнивать, как формировалась выборка, кого в ней больше, кого нет и какие периоды покрыты.

Найденная закономерность не обязательно причинная. Модель может опираться на сопутствующий признак, который просто совпал с целевой переменной в исторических данных. Для прогноза этого иногда достаточно, для управленческого решения — нет: там нужна отдельная проверка, что изменение признака действительно влияет на результат.

Основные типы задач

От постановки задачи зависят и подготовка данных, и набор метрик. На практике чаще всего встречаются такие варианты:

  • Классификация — предсказать категорию: отток или удержание, тип обращения, есть дефект или нет.
  • Регрессия — предсказать число: объём спроса, время доставки, стоимость.
  • Кластеризация — разбить объекты на похожие группы без готовых меток.
  • Поиск аномалий — найти нетипичные наблюдения, когда примеров «плохого» поведения мало или они неизвестны.
  • Снижение размерности — сжать много признаков в несколько, чтобы упростить анализ, визуализацию и обучение.

Задача может выглядеть как классификация, но по смыслу требовать вероятностей и порога принятия решения — например, когда цена ошибки в разные стороны различается. Это влияет и на выбор метрики, и на формулировку результата для того, кто будет им пользоваться.

Подготовка данных: то, что задаёт потолок качества

«Подготовленные данные» не означают идеальные. Это данные, в которых понятна единица наблюдения, согласованы единицы измерения, описана целевая переменная и зафиксировано, как формировалась выборка. Если строка означает не то, что кажется, никакой алгоритм этого не исправит.

Практический порядок работы обычно такой: определить, что считается одним объектом; проверить дубли и пересечения; разобраться с пропусками — удалить, заполнить или оставить отдельной категорией, в зависимости от причины их появления; привести даты, суммы и категории к единому виду; сохранить версию набора, чтобы результат можно было воспроизвести. Источник не меняет принципов: это могут быть внутренние выгрузки, публичные наборы данных в Эстонии или открытые датасеты из других стран.

Если исходники приходят в виде табличных файлов, полезно сначала навести порядок на уровне самих таблиц: построение рабочих таблиц, формул и проверок данных снижает риск ошибок ещё до того, как в дело вступит модель.

Отдельного внимания требует целевая переменная: она должна быть определена одинаково для всех строк и не содержать информации из будущего. Классическая ошибка — взять в качестве цели признак, который появился позже события. Например, вместо «будет ли обращение закрыто в срок» в цель попадает «статус закрыт», известный только по факту.

Признаки тоже требуют решения. Числовые шкалы приводят к сопоставимому виду, категориальные кодируют так, чтобы модель не приписывала номерам несуществующий порядок, даты разбивают на составляющие — день недели, месяц, давность события. Полезны агрегаты: сколько событий у объекта за период, как давно было последнее, насколько значение отличается от среднего по группе. Такие производные признаки часто дают больше, чем смена алгоритма.

Пропуски стоит разбирать по смыслу, а не механически. Одно дело, когда значение не измерили, другое — когда его не существует в принципе (например, дата последней покупки у клиента, который ещё ничего не купил). Во втором случае заполнение средним искажает картину, а отдельная категория или дополнительный признак-индикатор сохраняет информацию.

Отдельный вопрос — дисбаланс классов. Если интересующее событие редкое, случайное разбиение может оставить в тесте всего несколько таких примеров, и оценка станет неустойчивой. Здесь помогают стратификация и продуманный выбор метрики.

И последний шаг подготовки — оценка достаточности данных. Универсальной цифры не существует: она зависит от сложности задачи, числа признаков, шума и редкости класса. Рабочий ориентир — кривая обучения: если качество на валидации растёт с добавлением данных, собирать их ещё имеет смысл; если вышло на плато, важнее новые признаки и качество разметки.

Построение модели: от простого ориентира к рабочей версии

Первая модель в проекте нужна не для победы в соревновании, а для точки отсчёта. Простой ориентир — среднее значение, самое частое значение, одно понятное правило или линейная модель — показывает, действительно ли задача требует сложного подхода. Если сложная модель выигрывает у ориентира на доли процента, вероятнее всего, различие объясняется шумом, а не закономерностью.

Дальше сложность наращивают постепенно: добавляют признаки, пробуют модели, учитывающие нелинейности, настраивают гиперпараметры. Гиперпараметры — настройки самого алгоритма, которые не подбираются обучением, а задаются заранее. Их подбирают на валидационной части данных, а тестовую часть трогают один раз, в самом конце, иначе она перестаёт быть независимой проверкой.

Для табличных данных часто достаточно моделей средней сложности, а выигрыш даёт не «модный» алгоритм, а аккуратная работа с признаками: разбиение дат, агрегаты по объекту, корректная обработка категорий, учёт сезонности и структуры групп. Нейросети сильнее проявляют себя там, где данные неструктурированы — текст, изображения, звук; логика их подбора и проверки разобрана отдельно в статье про подбор и проверку нейросетевых моделей.

Полезно сразу договориться о критерии успеха: какое качество считается достаточным для задачи и с чем оно сравнивается. Без этого проект рискует превратиться в бесконечное улучшение метрики, которое не влияет на решение.

Ещё один практический момент — воспроизводимость. Один и тот же код готовит признаки, обучает модель и считает метрики, а все параметры сохраняются вместе с результатом. Тогда сравнение версий опирается на числа, а не на память, и любую гипотезу можно перепроверить через месяц.

Переобучение и недообучение

Две противоположные проблемы описывают одну и ту же идею — несоответствие сложности модели структуре данных.

Переобучение: модель хорошо работает на обучающих данных и хуже на новых. Признаки — заметный разрыв между качеством на обучении и на отложенной выборке, много параметров при небольшом числе строк, признаки-«шум», случайно совпавшие с целевой переменной. Что помогает: упростить модель, добавить регуляризацию, сократить число признаков, увеличить объём данных, перепроверить разбиение на утечки.

Недообучение: модель плохо работает и там, и там. Обычно означает, что выбранная форма модели слишком проста для зависимости, признаки не несут нужной информации или обучение остановилось раньше времени. Здесь помогают усложнение модели и, чаще, добавление осмысленных признаков.

Практический приём — сравнить несколько уровней сложности на одной и той же схеме валидации и выбрать не самую точную модель, а ту, чьё качество стабильно от разбиения к разбиению.

Проверка модели: метрики, схемы валидации и типичные ловушки

Проверка отвечает на два разных вопроса: насколько модель точна и насколько ей можно верить. Первый решается метрикой, второй — схемой валидации и анализом того, как собирались данные. Схему выбирают по структуре данных, а не по удобству.

Схема проверки Когда подходит Что учитывать
Отложенная выборка (hold-out) Быстрая проверка, много данных Результат зависит от одного разбиения
K-fold кросс-валидация Умеренный объём данных, сравнение моделей Дороже по времени, требует корректного перемешивания
Стратифицированная k-fold Несбалансированные классы Сохраняет доли классов, но не решает проблему групп
Разбиение по группам Несколько строк на один объект: клиент, устройство, документ Меньше данных для обучения, зато нет «подсказки» из той же группы
Разбиение по времени Прогноз будущего, временные ряды Перемешивать нельзя: тест всегда позже обучения

Метрика должна соответствовать цене ошибки. Для классификации базовые варианты — доля верных ответов, точность, полнота, F1-мера и ROC-AUC; для регрессии — средняя абсолютная ошибка, корень из средней квадратичной ошибки и коэффициент детерминации. Доля верных ответов плохо работает при несбалансированных классах: если интересующее событие редкое, модель, которая всегда отвечает «нет», покажет высокую точность и нулевую пользу.

Для задач, где важен сам порог решения, полезна проверка калибровки: насколько предсказанная вероятность соответствует наблюдаемой частоте. Модель может хорошо ранжировать объекты и при этом выдавать вероятности, по которым нельзя принимать решение без дополнительной настройки.

Отдельно стоит помнить про неопределённость. Маленькая тестовая выборка даёт широкий разброс оценки, поэтому полезно смотреть не одно число, а диапазон — например, повторив разбиение с разными случайными зёрнами. Если разница между двумя моделями меньше разброса между разбиениями, различие, скорее всего, случайно.

Хорошая практика — разбор ошибок по сегментам. Модель может быть неплохой в среднем и систематически проваливаться на новом регионе, редкой категории или определённом периоде. Такой анализ часто полезнее, чем ещё один процент в общей метрике.

Утечка данных

Утечка — ситуация, когда в признаки попадает информация, недоступная в момент прогноза. Метрики выглядят отлично, а в работе модель разочаровывает. Типичные сценарии:

  • признак, который вычисляется уже после наступления события;
  • нормализация или заполнение пропусков по всему набору до разбиения на обучение и тест;
  • дубли и почти одинаковые строки в обеих частях выборки;
  • несколько записей одного объекта, разнесённые по обучению и тесту;
  • перемешивание там, где важен порядок во времени.

Простой тест на утечку: представить, что модель уже работает, и проверить, будет ли каждый признак доступен в момент, когда нужен прогноз. Если ответ «нет» или «неизвестно», признак убирают или пересчитывают.

Что проверить перед внедрением

  • Сравнение с простым ориентиром на одной и той же схеме валидации.
  • Стабильность метрики на нескольких разбиениях и разных периодах.
  • Поведение на редких и граничных случаях, а не только на среднем.
  • Отсутствие утечек и признаков, недоступных в момент прогноза.
  • Понятный способ объяснить результат человеку, который принимает решение.
  • План мониторинга: какие метрики и как часто проверяются после запуска.
  • Зафиксированные версии данных и кода для воспроизводимости.

После запуска работа не заканчивается. Распределение данных меняется, появляются новые категории, старые признаки теряют смысл. Регулярная сверка прогноза с фактом и переобучение на свежих данных — часть процесса, а не разовая настройка.

Частые вопросы

Сколько данных нужно, чтобы обучить модель?

Универсального порога нет: объём зависит от сложности задачи, числа признаков, уровня шума и того, насколько редок интересующий класс. Практический ориентир — кривая обучения: если качество на валидации растёт при добавлении данных, сбор стоит продолжить; если вышло на плато, больше пользы принесут новые признаки и более качественная разметка. Для редких событий важнее не общий объём таблицы, а число примеров интересующего класса.

Чем машинное обучение отличается от классической статистики?

Границы условны, и инструменты пересекаются: линейная регрессия используется в обеих областях. Статистика чаще сосредоточена на проверке гипотез и оценке эффектов, а обучение моделей — на прогнозе для новых объектов. На практике выбор зависит от вопроса: нужно объяснить связь или предсказать результат.

Что такое переобучение простыми словами?

Модель запомнила частности обучающей выборки вместо общей закономерности. На исторических данных она выглядит точной, на новых — ошибается. Признак переобучения — заметный разрыв между качеством на обучении и на отложенной выборке. Помогают упрощение модели, регуляризация, сокращение числа признаков, увеличение данных и проверка на утечки.

Можно ли доверять модели с высокой точностью на тесте?

Только после дополнительной проверки. Стоит убедиться, что тестовая выборка достаточно велика, не пересекается с обучающей, собрана в тех же условиях, в которых модель будет работать, и не содержит утечек. Полезно посмотреть стабильность метрики на разных разбиениях и разобрать ошибки по сегментам. Высокая метрика на маленьком или удобном тесте ничего не гарантирует.

Нужны ли нейросети для табличных данных?

Не обязательно. Для табличных данных часто достаточно более простых моделей, а прирост даёт работа с признаками. Нейросети заметнее выигрывают на неструктурированных данных — тексте, изображениях, звуке. Решение стоит принимать по сравнению на одной схеме валидации, а не по типу алгоритма.

Как часто нужно переобучать модель?

Единого срока нет: он зависит от того, как быстро меняются данные и поведение объектов. Ориентир — мониторинг: если качество падает или меняется распределение признаков, модель пора обновить. Регламент переобучения лучше зафиксировать заранее вместе с метриками, по которым отслеживается деградация.