LIVE

Суть машинного обучения: почему точность моделей растёт и падает

Модель машинного обучения может почти безошибочно классифицировать примеры, на которых её обучали, и заметно хуже справляться с новыми.

Обновлено15 ноября 2026 г.
Чтение9 мин
Суть машинного обучения: почему точность моделей растёт и падает

Это не парадокс и не обязательно признак неисправности: модель могла выучить особенности учебных данных, которые не повторяются в реальной работе. Поэтому одна цифра точности сама по себе ещё не говорит, насколько надёжны её прогнозы.

Суть машинного обучения — в поиске закономерностей по примерам и настройке модели так, чтобы найденные связи помогали решать задачу на данных, которых она прежде не видела. Важно, как именно устроено обучение, какие примеры получает алгоритм и на каких данных проверяют результат. Разберём эту цепочку: от параметров модели до изменений после запуска.

Как модель находит закономерности и делает прогноз

Представим задачу классификации: нужно определить, относится ли входящее сообщение к нежелательной почте. В данных есть примеры сообщений, а у каждого указана категория. Алгоритм получает эти примеры и настраивает внутренние параметры модели так, чтобы её ответы на известных примерах становились ближе к правильным.

Эти параметры часто называют весами. Они задают, насколько сильно разные признаки влияют на результат. Для одной модели значимым может оказаться сочетание слов, для другой — длина сообщения или повторяющиеся шаблоны. Во время обучения алгоритм изменяет веса, уменьшая ошибку на предъявленных данных. Затем настроенная модель получает новый пример и выдаёт прогноз.

В простом случае прогнозом будет класс: «спам» или «не спам». В других задачах модель оценивает вероятность класса, предсказывает число, выбирает следующий токен или создаёт текст. Токен — это фрагмент текста, с которым работает языковая модель: целое слово, часть слова или знак. Детали различаются, но общий принцип сохраняется: алгоритм извлекает статистические связи из данных и использует их для ответа.

На этом этапе легко переоценить результат. Если алгоритм хорошо ответил на примеры, которые уже видел, это показывает, насколько хорошо он подстроился под обучение. Но задача обучения состоит в другом: закономерности должны работать и на новых данных. Способность модели переносить найденные связи на ранее не встречавшиеся случаи называют обобщением.

Точность зависит сразу от нескольких частей системы. Алгоритм задаёт способ настройки параметров, данные определяют, какие связи модель вообще может обнаружить, а процедура оценки показывает, насколько хорошо прогнозы работают на выбранных примерах. Качество может снизиться, если данные не представляют будущую задачу, если модель слишком сложна для имеющегося набора или если тестирование устроено так, что невольно помогает ей получить высокий результат.

Универсального количества примеров, которое подходит всем задачам, нет. Ориентир, приводимый Google для обучающих данных, — число примеров как минимум на порядок или два больше числа обучаемых параметров. Это приблизительное правило, а не гарантия качества и не формула, по которой можно заранее вычислить успех. Требования зависят от задачи, модели и качества самих примеров. Дополнительные данные помогают лишь тогда, когда они содержат полезную информацию и соответствуют условиям применения.

Переобучение: когда модель запоминает лишнее

Переобучение возникает, когда модель хорошо справляется с обучающими данными, но хуже прогнозирует для новых примеров. Она подстраивается не только под устойчивые закономерности, но и под особенности конкретного набора: случайный шум, редкие сочетания или повторяющиеся детали, которые в реальной задаче не имеют такого значения.

Один из источников переобучения — чрезмерно сложная модель относительно объёма и структуры доступных данных. Если параметров много, а примеров мало или они однообразны, модель может найти множество связей, которые выглядят убедительно внутри обучения, но не повторяются за его пределами. Другой источник — нерепрезентативная выборка. Например, если в ней почти нет новых формулировок, система может научиться уверенно обрабатывать знакомые шаблоны, но хуже реагировать на варианты, которые появляются после запуска.

Проверка на обучающих данных не позволяет надёжно обнаружить эту проблему: модель уже использовала их при настройке. Для оценки обобщения нужны примеры, которые не участвовали в обучении. Если показатель на обучающей выборке высокий, а на независимых примерах ощутимо ниже, это повод изучить переобучение, состав данных и саму процедуру проверки.

Высокое качество на знакомых примерах показывает, насколько хорошо модель усвоила обучение. Качество на новых данных показывает, насколько полезными оказались найденные закономерности.

При этом расхождение результатов не всегда объясняется только сложностью модели. В данных могут быть ошибки, перекосы или дубликаты, а сама тестовая выборка может отличаться от того, с чем система столкнётся на практике. Поэтому показатель стоит рассматривать вместе с устройством оценки, а не как отдельный вердикт.

Три выборки и цена независимой проверки

При разработке модели данные обычно разделяют на обучающую, валидационную и тестовую выборки. Их назначение различается, и от этого разделения зависит, насколько честной будет итоговая оценка.

ВыборкаДля чего нужнаЧто происходит при неправильном использовании
ОбучающаяМодель настраивает на ней свои параметрыПовторная проверка на тех же примерах не показывает качество на новых
ВалидационнаяПо ней сравнивают варианты модели и принимают решения о настройкахЧастые решения под её показатели постепенно подгоняют модель под эту выборку
ТестоваяЕё оставляют для итоговой оценки после выбора модели и настроекПовторное использование делает оценку менее независимой

Валидационная выборка помогает выбрать настройки — например, параметры алгоритма или набор признаков, то есть характеристик данных, которые передают модели. Но если разработчики раз за разом меняют модель, ориентируясь на результат именно на этой выборке, она тоже начинает участвовать в процессе настройки. Тогда её показатель уже не отражает независимую проверку в прежнем смысле.

Тестовую выборку берегут для финальной оценки. Если по ней подбирают гиперпараметры — настройки, которые управляют обучением, но не усваиваются моделью как веса, — или решают, какие признаки оставить, разработка начинает подстраиваться и под её особенности. В результате итоговая цифра может выглядеть убедительно, хотя проверка уже не является независимой.

Здесь важна и утечка данных. Она возникает, если при построении модели используется информация, которой не было бы доступно в момент настоящего прогноза. Например, преобразование данных может учитывать сведения сразу из обучающей и тестовой частей, хотя в рабочем сценарии модель получила бы только обучающие данные, а новые обрабатывала бы отдельно. Такая ошибка способна завысить оценку и ухудшить работу на новых примерах.

Чтобы уменьшить риск утечки, данные сначала разделяют, а затем обучают преобразования на обучающей части. После этого те же преобразования применяют к валидационной или тестовой части. Порядок кажется технической подробностью, но именно он сохраняет границу между данными, доступными при обучении, и данными, на которых оценивают результат.

Не менее существенны дубликаты. Если одинаковые или почти одинаковые примеры попали одновременно в обучение и тестирование, тест перестаёт быть достаточно новым для модели. Она может показать хороший результат, опираясь на то, что уже встречала тот же материал или очень близкий к нему вариант. Поэтому независимость выборки означает не только формальное разделение строк, но и проверку того, нет ли между частями повторяющихся примеров.

Почему доля тестовых данных не универсальна

Правило вроде «отложить 15% на тест» удобно как отправная точка, но оно не подходит автоматически любой задаче. Google отмечает, что такая доля может оказаться как достаточной, так и недостаточной. Важны общий объём данных, их разнообразие и то, насколько точно тестовая часть отражает будущие условия применения.

Если набор маленький, даже формально выделенная тестовая часть может содержать слишком мало примеров, чтобы надёжно оценить работу модели. В примере Google с деревом решений оценка на 72 тестовых примерах получается шумной. Для небольших наборов документация отмечает предпочтительность кросс-валидации: метода, при котором данные несколько раз делят на части, меняя, какие из них используются для проверки. Это позволяет оценивать модель на разных фрагментах набора, хотя сама процедура не отменяет необходимости сохранять независимую финальную проверку там, где она нужна.

Большой тестовый набор тоже не решает всё, если он собран неудачно. Он должен достаточно хорошо представлять данные предполагаемого применения и включать варианты, которые система встретит в работе. Если модель будет анализировать сообщения из разных каналов, а тест содержит только один тип сообщений, итоговый показатель может описывать именно этот узкий набор, а не весь рабочий сценарий.

Оценка зависит и от того, что считается ошибкой. В одной задаче особенно неприятны ложные срабатывания, в другой — пропущенные случаи. Поэтому одна метрика, включая общую долю правильных ответов, может не отражать последствия разных типов ошибок. Метод оценки стоит описывать вместе с тестовыми условиями: что именно проверяли, на каких примерах и какая ошибка важнее для применения. Такой подход согласуется с рекомендацией NIST использовать чётко определённые реалистичные тестовые наборы и документировать методику оценки.

Сами данные перед разделением тоже требуют внимания. Повторы между выборками, систематические пропуски и перекос в пользу частых случаев меняют картину качества. Увеличение объёма выборки не исправит эти недостатки автоматически. Если добавить больше однотипных или нерелевантных примеров, набор станет крупнее, но может остаться таким же мало полезным для реальной задачи.

После запуска точность может измениться

Тестирование описывает работу модели на конкретных данных и в конкретных условиях. После запуска меняются сами входящие данные, способы их сбора и распределение случаев. Это называют сдвигом распределения: данные, с которыми сталкивается модель, начинают отличаться от тех, на которых она обучалась.

Сдвиг бывает постепенным и внешне незаметным. Меняются формулировки запросов, поведение пользователей, источники информации или состав обращений. Модель продолжает выдавать ответы, но её прогнозы могут становиться менее надёжными, потому что привычные для обучения связи хуже соответствуют новым примерам. В генеративных сервисах это тоже имеет значение: например, изменения в характере запросов могут влиять на то, насколько часто пользователям приходится уточнять промпт — инструкцию, с которой они обращаются к модели.

После запуска полезно отслеживать несколько сигналов:

  • Состав входных данных. Насколько новые примеры отличаются от обучающих по ключевым признакам и частоте разных случаев.
  • Распределение предсказаний. Не изменилось ли со временем соотношение классов или типов ответов, которые выдаёт модель.
  • Метрики на новых проверенных примерах. Сохраняется ли качество, когда появляется размеченная информация о реальных результатах.
  • Типы ошибок. Какие случаи система пропускает или классифицирует неверно и как меняется их частота.

Мониторинг сдвига входных данных, предсказаний и метрик качества помогает заметить изменения в эксплуатации. Но один сигнал сам по себе не всегда означает, что качество упало: изменение распределения предсказаний может быть следствием перемены в потоке данных, а может объясняться другими причинами. Чтобы понять, что происходит, полезно сопоставлять несколько показателей и регулярно проверять модель на новых примерах, которые соответствуют текущей работе.

Это относится и к нейросетям, встроенным в приложения и устройства. При выборе новых AI-устройств и гаджетов полезно смотреть не только на заявленные возможности, но и на то, какие данные обрабатываются непосредственно устройством, а какие передаются сервису. Условия работы модели зависят от всей системы вокруг неё: доступных данных, программной обработки и сценария использования.

Что действительно говорит показатель точности

Суть машинного обучения становится понятнее, если видеть в модели не хранилище готовых ответов, а систему, которая настраивает параметры по примерам и затем применяет найденные связи к новым данным. Точность в таком случае — результат конкретной процедуры: набора данных, разделения выборок, выбранной метрики и условий тестирования.

Высокий показатель полезен, когда тестовые примеры независимы, не содержат утечек и похожи на ситуации, в которых модель будет работать. Он теряет убедительность, если тест повторно использовали для настройки, если в нём есть дубликаты или если реальные входные данные постепенно изменились. Даже аккуратно проведённое тестирование описывает проверенные условия, а не гарантирует неизменное качество при любом будущем сценарии.

Поэтому при оценке модели стоит выяснять, на каких данных её обучали, как отделяли тестовую часть и каким образом проверяли результат после запуска. В ближайшей перспективе это останется практическим способом отличать устойчивую систему от модели, которая хорошо выглядит только на знакомых примерах. Чем активнее AI-сервисы встраиваются в рабочие процессы, тем важнее становится не только качество первоначального обучения, но и способность замечать, когда сами данные уже изменились.

Частые вопросы

Почему модель машинного обучения хорошо работает на обучающих данных, но хуже на новых?
Модель могла подстроиться не только под устойчивые закономерности, но и под шум, редкие сочетания или другие особенности обучающего набора. Такое явление называют переобучением.
Чем отличаются обучающая, валидационная и тестовая выборки?
На обучающей выборке настраивают параметры модели, на валидационной сравнивают варианты и выбирают настройки, а тестовую оставляют для итоговой оценки. Если многократно ориентироваться на результат тестирования при разработке, оценка становится менее независимой.
Что такое утечка данных при обучении модели?
Утечка возникает, если при построении модели используется информация, которая не была бы доступна в момент настоящего прогноза. Она может завысить оценку и ухудшить работу на новых примерах.
Как выбрать размер тестовой выборки?
Универсальной доли нет: выбор зависит от общего объёма и разнообразия данных, а также от того, насколько тест отражает условия будущего применения. Для небольших наборов можно использовать кросс-валидацию, при которой проверку проводят на разных частях данных.
Почему точность модели может снизиться после запуска?
В рабочей среде могут измениться входящие данные, поведение пользователей или источники информации. Такой сдвиг распределения означает, что новые примеры отличаются от тех, на которых модель обучалась.
Что отслеживать после запуска модели?
Полезно следить за составом входных данных, распределением предсказаний, метриками на новых проверенных примерах и типами ошибок. Один сигнал сам по себе не всегда означает падение качества, поэтому показатели стоит сопоставлять.