Ответы на вопросы о машинном обучении: экспресс-тест знаний

Холодный кофе, открытая вкладка с документацией, очередной "Quick Quiz" в конце модуля, в котором половина вопросов — на терминологию, четверть — на интуицию про переобучение, остальное — каверзные формулировки про регуляризацию, под которые новичок подписывает что угодно. Ответы на вопросы о машинном обучении нужны не ради красивой плашки "course completed", а как способ отличить реальные знания от маркетинговой упаковки онлайн-курсов. Самопроверка — это интерфейс, и он часто сделан кое-как.

Три парадигмы обучения: supervised, unsupervised, reinforcement

ML делится на три базовых режима, и интервьюер начнёт именно с этого — потому что ответ "ну, зависит от задачи" сразу записывают в джун-дух.

Supervised Learning требует размеченных данных: каждому входному примеру приписана метка. Классификация и регрессия живут здесь. Спам-фильтр, прогноз оттока, детекция дефектов на конвейере — классика. Без меток начинается другая парадигма.

Unsupervised Learning работает с неразмеченными данными. Кластеризация, понижение размерности, плотностные модели, поиск аномалий. K-means, DBSCAN, PCA, t-SNE — все тут. Алгоритм сам ищет структуру, и качество его работы приходится проверять глазами или через метрики, которые не требуют меток (silhouette, inertia).

Reinforcement Learning — агент учится через взаимодействие со средой, получая сигнал награды или штрафа. Игровые боты, рекомендательные системы с долгосрочной обратной связью, управление роботами. Здесь нет ни размеченного датасета, ни явного "правильного ответа" на каждом шаге — есть только последствия.

В supervised у вас есть "правильный ответ" в каждой строке датасета. В unsupervised — ни одного. В RL — есть только сигнал "лучше/хуже", но не "так/не так". Кто путает награду с меткой, пересдаёт экзамен.

Существуют гибриды: semi-supervised (мало меток, много неразмеченных данных) и self-supervised (модель сама генерирует себе метку из структуры данных — именно так устроены BERT и GPT до этапа файнтюнинга). Но в базовом тесте от вас ждут именно триады.

Градиентный спуск и функции активации: как модель делает шаг вниз по ошибке

Если функция потерь — гора, градиентный спуск — это когда с завязанными глазами делаешь шаг в направлении самого крутого спуска, надеясь, что под ногами не обрыв.

Алгоритм простой: вычисляем градиент функции потерь по параметрам, сдвигаем веса в противоположную сторону с шагом learning rate, повторяем тысячи раз. Ловушки: слишком большой шаг — разлёт весов, loss улетает в NaN; слишком маленький — модель застревает в локальном минимуме на эпохи. На практике используют вариации: SGD с моментом (Momentum), Adam, RMSProp — они адаптивно масштабируют шаг по каждому параметру.

Без функций активации нейросеть превращается в линейную регрессию в N слоёв, а N вложенных линейных преобразований схлопываются в одно. Нелинейность дают:

• ReLU — max(0, x). Дёшево, быстро, вычислимо. Доминирует в CNN и трансформерах. Болезнь: "мёртвые нейроны" при слишком большом шаге обучения, когда вход уходит в отрицательную зону и градиент обнуляется навсегда.
• Sigmoid — 1/(1+e^-x). Гладкая, выдаёт вероятность. На глубоких сетях градиенты затухают на хвостах — vanishing gradient. Для выходного слоя бинарной классификации — ок, для скрытых — почти нет.
• Tanh — гиперболический тангенс, диапазон (-1, 1), центрирован. Та же история с затухающим градиентом, но в среднем сходится лучше сигмоиды из-за центровки.

Ответ на вопрос "почему не сигмоид везде" — одна фраза: на глубоких сетях градиенты умирают, обучение стоит. Следующий.

Переобучение, регуляризация и кросс-валидация

Модель, выучившая шум на трейне, в проде ведёт себя как студент, который списал все билеты и не знает ни одного.

Overfitting — симптом с чётким диагнозом: низкая ошибка на трейне, высокая на валидации. Loss на трейне падает, loss на валидации растёт — картинка классическая. На языке статистики это высокий variance при низком bias; на языке инженера — модель подогналась под конкретные примеры вместо обобщающих закономерностей.

Лекарства первой линии:

1. L1-регуляризация (Lasso) добавляет к функции потерь штраф λ·Σ|w|. Тянет веса к нулю, часть — буквально в ноль. Удобно для отбора признаков: обнулённые веса = выкинутые из модели.

2. L2-регуляризация (Ridge) добавляет λ·Σw². Не обнуляет, но уменьшает амплитуду всех весов. Стандарт в линейных моделях и нейросетях (аналог — weight decay в PyTorch).

3. Dropout (специфично для нейросетей) — на каждом шаге случайно отключаем долю нейронов. Сеть учится не полагаться на одну отдельно взятую фичу.

4. Early stopping — останавливаем обучение, когда loss на валидации перестаёт падать. Бесплатная регуляризация, требует только отложенную выборку.

5. Кросс-валидация (k-fold) — делим датасет на k частей, по очереди каждую берём как валидацию, остальные — как трейн. При k=5 или k=10 получаем более устойчивую оценку, чем одно случайное 70/30 или 80/20.

Прежде чем писать "просто добавь регуляризацию" — определитесь с типом. L1 отрезает признаки, L2 давит амплитуду. Менять их местами — как закручивать шурупы отвёрткой для винтов.

Здесь же полезно помнить про bias-variance trade-off: простая модель — высокий bias (недообучение), сложная — высокий variance (переобучение). Цель — найти точку минимума суммарной ошибки обобщения, а не точку минимума ошибки на трейне.

Метрики качества: почему F1-score важнее Accuracy на кривых данных

Accuracy = доля правильных ответов. При дисбалансе классов 99:1 модель, всегда предсказывающая мажоритарный класс, даёт 99% accuracy и нулевую практическую пользу. Это любимый трюк маркетологов — показать красивую цифру на дашборде, не вдаваясь в распределение классов.

Базовые концепции для классификации:

• Precision (точность) — из всех, кого модель назвала "положительными", какая доля действительно положительные.
• Recall (полнота) — из всех реальных положительных сколько модель нашла.
• F1-score — гармоническое среднее precision и recall. Формула 2·(P·R)/(P+R). Карает за перекос: если precision=0.95, а recall=0.05, F1 будет скромным — и правильно.
• AUC-ROC — площадь под ROC-кривой, показывает, насколько хорошо модель ранжирует положительные примеры выше отрицательных. Независим от выбранного порога, поэтому удобен для сравнения моделей между собой.

Если ваша антифрод-модель ловит 9 мошенничеств из 10 (recall=0.9), но при этом ошибочно помечает 50 нормальных транзакций в день (precision=0.15), F1 будет низким. Пользователи замучают саппорт, отдел рисков выпишет команде волчий билет.

Для регрессии метрики другие: MAE (средняя абсолютная ошибка, в исходных единицах), MSE (средний квадрат ошибки, штрафует большие отклонения сильнее), RMSE (квадратный корень из MSE, в тех же единицах, что и таргет), R² (доля объяснённой дисперсии). Метрика выбирается под задачу, а не "какая красивее в отчёте".

Ансамбли и ленивые алгоритмы: Random Forest, k-NN и не только

Раздел для тех, кто завис на собеседовании на "расскажите про ансамбли" и получил встречный "а чем бэггинг от бустинга отличается".

Random Forest — ансамблевый метод на основе бэггинга. Строим N независимых решающих деревьев на случайных подвыборках данных и случайных подмножествах признаков. Финальное предсказание — голосование (классификация) или усреднение (регрессия). Бэггинг снижает variance по сравнению с одним деревом, не страдает от переобучения так сильно, как одиночка, и почти не требует тюнинга — парадоксально устойчив к дефолтным гиперпараметрам.

k-NN (k ближайших соседей) — ленивый алгоритм. Никакой модели не строится. В момент предсказания берём k ближайших соседей в пространстве признаков и голосуем по их меткам (или усредняем значения для регрессии). "Ленивый" — потому что вся работа откладывается до инференса. Подходит для маленьких датасетов, плохо масштабируется, чувствителен к масштабу признаков и проклятию размерности. Идеальный baseline: если вы не побили k-NN с k=5, что-то не так с вашей сложной моделью.

Gradient Boosting (XGBoost, LightGBM, CatBoost) — последовательный ансамбль, где каждое следующее дерево исправляет ошибки предыдущего. На табличных данных часто рвёт Random Forest по качеству, ценой более тонкой настройки гиперпараметров и риска переобучения на маленьких выборках.

"Random Forest всегда точнее k-NN" — некорректное утверждение. На малых данных с чёткой кластерной структурой k-NN с k=3 может обойти лес из 100 деревьев. На больших с шумом — наоборот. Без бенчмарка на ваших данных не выбирают.

Краткая шпаргалка по семействам:

1. Линейные модели (Logistic Regression, Ridge, Lasso) — для линейно разделимых данных, высокая интерпретируемость, обязательная базовая линия.

2. Деревья решений — нелинейные задачи, склонны к переобучению, подходят для категориальных признаков без кодирования.

3. Random Forest / Gradient Boosting — ансамбли над деревьями, первый шаг к state-of-the-art на табличных данных.

4. Нейросети — изображения, текст, звук, последовательности. С 2012 года (AlexNet на ImageNet) доминируют в этих доменах.

5. k-NN — базовый бенчмарк для маленьких датасетов и прототипов, не для продакшена на миллионах объектов.

Хронология для контекста

• 1959 — Артур Сэмюэл ввёл термин "Machine Learning", работая над шашками в IBM. Тогда это называлось "self-learning computer" и казалось маргинальной темой.
• 2012 — AlexNet побеждает на ImageNet, глубокое обучение становится мейнстримом. До этого нейросети считали устаревшими.
• 2017 — выходит статья "Attention Is All You Need" — архитектура трансформер, на которой построены современные LLM и не только.

Историю спрашивают редко, но если спросят — эти три даты покрывают 90% вопросов по контексту индустрии.

Что стоит запомнить перед экзаменом

Три парадигмы обучения, способы борьбы с переобучением, разница между precision и recall, принцип работы градиентного спуска и функции активации, логика ансамблей и ленивых алгоритмов, базовая хронология индустрии. Этого минимума хватает, чтобы пройти скрининговый раунд по теории в большинстве компаний.

Дальше начинается практика: pandas, sklearn, PyTorch, чтение чужого кода, отладка пайплайнов, дебаг моделей в проде. Никакой тест её не покрывает. Если планируете подтвердить теорию официальной бумагой или пойти в магистратуру — заранее проверьте, какие онлайн-сертификаты реально принимают вузы: там своя возня со своей логикой, и она сильно отличается от уравнения "Coursera == Stepik == Яндекс.Практикум". Подробный разбор про приём онлайн-сертификатов в магистратуре в 2026 году — в материале как проверить, принимает ли университет онлайн-сертификат курса.