Машинное обучение с учителем: от математических основ до построения сложных ансамблей

Основы машинного обучения: постановка задач, типы обучения и пространство признаков

В 1997 году компьютер Deep Blue обыграл чемпиона мира по шахматам Гарри Каспарова. Это событие часто называют триумфом искусственного интеллекта, но с точки зрения современного машинного обучения (Machine Learning, ML) это была скорее победа грубой вычислительной силы и экспертных правил, заложенных программистами. Настоящий переворот произошел тогда, когда мы перестали диктовать компьютеру правила игры и начали показывать ему примеры. Машинное обучение — это не программирование алгоритма решения задачи, а программирование процесса, в котором компьютер сам находит алгоритм, анализируя данные.

Парадигма обучения на данных

Традиционное программирование строится по схеме: «Данные + Алгоритм = Результат». Разработчик должен досконально понимать логику процесса. Если мы пишем фильтр спама на основе правил, нам нужно составить список слов-маркеров («скидка», «бесплатно», «выигрыш»). Однако спамеры быстро адаптируются, и правила приходится бесконечно усложнять.

Машинное обучение предлагает иную схему: «Данные + Результат = Алгоритм». Мы даем системе миллион писем, помеченных как «спам» и «не спам». Модель сама выявляет скрытые закономерности — например, что спам-письма часто приходят в три часа ночи, содержат много восклицательных знаков и специфические комбинации символов, которые человек мог бы и не заметить.

Формально задачу машинного обучения можно определить так: существует некоторая целевая зависимость , вид которой нам неизвестен. У нас есть обучающая выборка , где — описание объекта, а — правильный ответ. Наша цель — построить алгоритм , который будет максимально приближен к истинной функции не только на обучающих данных, но и на новых, ранее не виденных объектах. Это свойство называется обобщающей способностью.

Пространство признаков: как компьютер видит мир

Для алгоритма объект — это не изображение кота и не текст договора, а вектор в многомерном пространстве. Перевод реального объекта в числовое представление называется извлечением признаков (Feature Engineering).

Признак — это количественная или качественная характеристика объекта. Совокупность всех признаков одного объекта образует вектор признаков , где — размерность признакового пространства.

Типы признаков

Эффективность модели критически зависит от того, правильно ли мы определили типы данных, так как математические операции над ними различаются:

Бинарные признаки. Принимают всего два значения: или (да/нет, болен/здоров, мужчина/женщина).

Вещественные (числовые) признаки. Могут принимать любые значения из некоторого диапазона (цена квартиры, температура, рост). С ними можно проводить любые арифметические операции.

Категориальные (номинальные) признаки. Значения представляют собой категории, которые нельзя сравнить между собой (город проживания, цвет автомобиля, марка телефона). Мы не можем сказать, что «Москва больше, чем Казань» в арифметическом смысле, если это просто метки.

Порядковые признаки. Это категории, которые можно ранжировать (уровень образования: среднее < высшее < ученая степень). Разница между ними не поддается точному измерению, но отношение порядка сохраняется.

Матрица «объекты-признаки»

В машинном обучении данные обычно представляются в виде матрицы , где строки соответствуют объектам, а столбцы — признакам:

Здесь — количество объектов в выборке, а — количество признаков. Целевые значения для этих объектов записываются в вектор-столбец длины . Работа специалиста по данным (Data Scientist) во многом заключается в подготовке этой матрицы: очистке от шума, заполнении пропусков и нормализации значений. Если один признак измеряется в миллионах (бюджет фильма), а другой в единицах (рейтинг IMDb), многие алгоритмы «зациклятся» на больших числах, игнорируя малые, но важные детали.

Типология задач: от классификации до регрессии

Машинное обучение принято делить на несколько больших классов в зависимости от того, какие данные нам доступны и какую цель мы преследуем.

Обучение с учителем (Supervised Learning)

Это наиболее распространенный тип задач, где для каждого входного объекта известен эталонный ответ . «Учитель» здесь — это размеченные данные. Внутри этого класса выделяют две основные задачи:

1. Регрессия. Целевая переменная является вещественным числом (). Мы предсказываем непрерывную величину. Примеры: * Прогноз стоимости акций на завтра. * Определение ожидаемого срока службы промышленного оборудования. * Оценка стоимости подержанного автомобиля на основе пробега и года выпуска.

В задаче регрессии мы минимизируем отклонение предсказания от истинного значения . Например, с помощью средней квадратичной ошибки (MSE):

Здесь — число объектов, — прогноз модели, — факт. Квадрат используется для того, чтобы штрафовать модель за отклонения в любую сторону и сильнее наказывать за крупные ошибки.

2. Классификация. Целевая переменная принимает значения из конечного набора меток (классов). * Бинарная классификация: классов всего два ( или ). Примеры: одобрить кредит или отказать, является ли опухоль злокачественной. * Многоклассовая классификация: классов больше двух (). Пример: распознавание рукописных цифр (10 классов) или классификация видов растений. * Классификация с несколькими метками (Multi-label): один объект может принадлежать сразу к нескольким категориям. Пример: теги к статье или жанры фильма.

Обучение без учителя (Unsupervised Learning)

Здесь у нас есть только объекты , но нет правильных ответов . Алгоритм должен сам найти структуру в данных. * Кластеризация: разбиение объектов на группы по схожести. Например, сегментация клиентской базы для маркетинга. * Понижение размерности: сжатие признакового пространства с сохранением максимума информации. Это помогает визуализировать данные или ускорить работу других моделей. * Поиск аномалий: выявление объектов, которые сильно выбиваются из общей массы (например, поиск мошеннических транзакций).

Обучение с подкреплением (Reinforcement Learning)

Это особый тип, где есть «агент» (программа), который взаимодействует со «средой». Агент совершает действия и получает либо награду, либо штраф. Его цель — максимизировать суммарную награду. Так обучаются роботы, системы управления беспилотными автомобилями и алгоритмы для игры в шахматы или Go.

Постановка задачи и функции потерь

Чтобы обучить модель, нам нужно математически определить, что значит «хорошо обученная модель». Для этого вводится понятие функции потерь (Loss Function) , которая измеряет «штраф» за ошибку на одном конкретном объекте.

Средняя ошибка по всей выборке называется эмпирическим риском:

Процесс обучения сводится к поиску таких параметров модели , которые минимизируют этот риск:

Выбор функции потерь зависит от задачи. В классификации часто используют индикатор ошибки: (равен 1, если предсказание неверно, и 0, если верно). Однако такая функция неудобна для оптимизации, так как она разрывна. В следующих главах мы увидим, как логистическая регрессия использует гладкие аппроксимации, такие как Log-Loss, чтобы применять методы градиентного спуска.

Жизненный цикл ML-модели: от гипотезы к продакшену

Построение модели — это не разовое написание кода, а итеративный процесс. Рассмотрим его этапы на примере задачи прогнозирования оттока клиентов банка.

Бизнес-постановка задачи. Что мы хотим получить? Снизить отток на 5%. Как мы будем использовать модель? Предлагать бонусы тем, кто собирается уйти.

Сбор и подготовка данных. Мы выгружаем историю транзакций, анкетные данные, записи обращений в поддержку. На этом этапе мы сталкиваемся с тем, что данные «грязные»: где-то не указан возраст, где-то закрались ошибки ввода.

Feature Engineering. Мы создаем новые признаки: «средний чек за последние 3 месяца», «частота использования мобильного приложения», «изменение баланса за месяц». Это самый творческий этап, требующий понимания предметной области.

Выбор модели и обучение. Мы пробуем разные алгоритмы — от простых линейных моделей до сложных градиентных бустингов.

Валидация. Мы не можем проверять качество модели на тех же данных, на которых она училась — она их просто «зазубрит». Мы делим данные на обучающую и тестовую выборки.

Интерпретация и деплой. Если модель работает хорошо, мы внедряем ее в банковскую систему. Но важно понимать, почему модель приняла то или иное решение, чтобы избежать дискриминации или глупых ошибок.

Проблема переобучения (Overfitting)

Это фундаментальное препятствие в машинном обучении. Представьте студента, который не учит предмет, а просто зазубривает ответы на вопросы из прошлогодних билетов. На экзамене он блестяще ответит на старые вопросы, но провалится на любом новом.

В ML происходит то же самое. Если модель слишком сложная (у нее слишком много параметров), она может идеально подстроиться под шум в обучающих данных, выучив случайные совпадения вместо реальных закономерностей. * Недообучение (Underfitting): модель слишком проста и не видит структуру даже в обучающих данных (например, пытаемся описать сложную кривую прямой линией). * Переобучение (Overfitting): модель слишком сложна и «заучивает» шум. Ошибка на обучении стремится к нулю, а на новых данных — огромна.

Борьба с переобучением ведется через регуляризацию (добавление штрафа за сложность модели) и использование независимых валидационных выборок. Мы будем подробно разбирать эти методы в контексте линейных моделей и деревьев решений.

Роль математики в машинном обучении

Хотя современные библиотеки (Scikit-learn, PyTorch, XGBoost) позволяют построить модель в три строки кода, понимание «подкапотной» части необходимо для решения нестандартных задач и отладки. * Линейная алгебра: операции с матрицами и векторами — это язык, на котором «говорят» данные. * Математический анализ: методы оптимизации (градиентный спуск) позволяют находить минимум функции потерь. * Теория вероятностей и статистика: без них невозможно оценить значимость признаков и достоверность полученных результатов.

Машинное обучение — это мост между строгой математикой и хаотичным миром реальных данных. Мы не ищем абсолютную истину, мы ищем модель, которая будет достаточно полезна для принятия решений.

В следующей главе мы перейдем от общих понятий к нашему первому серьезному алгоритму — линейной регрессии. Мы разберем, как простая идея проведения прямой линии через облако точек превращается в мощный инструмент прогнозирования и как аналитически найти оптимальные веса модели.

Линейная регрессия: аналитическое решение, метод наименьших квадратов и градиентный спуск

Представьте, что вы оцениваете стоимость квартиры. Вы интуитивно понимаете: чем больше квадратных метров, тем выше цена. Если добавить 10 метров площади, цена вырастет примерно на фиксированную сумму. Эта простая, почти бытовая логика — «приращение фактора ведет к пропорциональному изменению ответа » — лежит в основе линейной регрессии. Несмотря на свою почтенную историю (методу более 200 лет), линейная регрессия остается фундаментом машинного обучения. Она интерпретируема, быстра и служит идеальным полигоном для понимания того, как алгоритм «учится» на данных, минимизируя ошибку.

Математическая модель линейной зависимости

В задачах регрессии мы ищем функцию , которая максимально точно предсказывает целевую переменную для объекта . В линейной модели мы предполагаем, что целевая переменная — это линейная комбинация признаков объекта.

Пусть каждый объект описывается набором из признаков: . Тогда уравнение линейной регрессии записывается следующим образом:

Здесь:

— предсказанное значение (прогноз).

— свободный член, или смещение (bias). Он показывает значение целевой переменной, когда все признаки равны нулю.

— веса (параметры) модели. Они определяют вклад каждого признака в итоговый результат.

Чтобы упростить запись, мы часто вводим фиктивный признак . Тогда веса и признаки можно представить в виде векторов и . Векторная запись модели принимает элегантный вид скалярного произведения:

Если у нас есть матрица «объекты-признаки» размера , где — количество объектов, а — количество признаков (с учетом единичного столбца), то вектор предсказаний для всей выборки вычисляется как:

Геометрически линейная регрессия — это поиск гиперплоскости в -мерном пространстве, которая наилучшим образом «прошивает» облако точек данных. В случае одного признака это прямая на плоскости, в случае двух — плоскость в трехмерном пространстве.

Метод наименьших квадратов (МНК)

Как понять, какие веса являются «наилучшими»? Нам нужен критерий качества. В предыдущей теме мы упоминали функцию потерь, и для линейной регрессии классическим выбором является среднеквадратичная ошибка (Mean Squared Error, MSE).

Для одного объекта с истинным значением и предсказанием квадратичная потеря равна . Для всей обучающей выборки из объектов функционал ошибки (эмпирический риск) выглядит так:

Почему именно квадрат? Во-первых, это делает функцию потерь дифференцируемой, что критично для оптимизации. Во-вторых, квадратичная зависимость сильнее штрафует модель за большие отклонения (выбросы), чем за маленькие погрешности.

Метод наименьших квадратов (Ordinary Least Squares, OLS) — это способ нахождения таких весов , при которых значение минимально. В матричном виде функционал ошибки записывается как:

Аналитическое решение: нормальное уравнение

Чтобы найти минимум функции, нужно взять её производную по вектору весов и приравнять её к нулю. Проделав матричное дифференцирование, мы получим систему линейных уравнений, решение которой дает нам оптимальные веса:

Это выражение называется нормальным уравнением. Оно позволяет найти веса за один шаг, без итераций.

Однако у аналитического решения есть существенные ограничения:

Вычислительная сложность: Операция обращения матрицы имеет сложность порядка , где — количество признаков. Если признаков десятки тысяч (например, в задачах анализа текстов), вычисления станут непомерно долгими.

Вырожденность матрицы: Если признаки мультиколлинеарны (линейно зависимы), матрица становится необратимой (её определитель равен нулю). В этом случае аналитическое решение в чистом виде не существует.

Объем памяти: Хранение матрицы требует памяти, что также может быть проблемой при огромном количестве признаков.

Градиентный спуск: универсальный оптимизатор

Когда аналитическое решение становится слишком дорогим или невозможным, на помощь приходит численный метод — градиентный спуск (Gradient Descent). Его идея интуитивно понятна: представьте, что вы стоите на склоне горы в густом тумане. Ваша цель — спуститься в долину (минимум функции потерь). Вы не видите всей поверхности, но чувствуете уклон почвы под ногами. Логично сделать шаг в сторону самого крутого спуска.

Математически «уклон» — это градиент функции . Градиент — это вектор частных производных, указывающий направление наискорейшего роста функции. Чтобы минимизировать ошибку, нам нужно двигаться в противоположную сторону — в сторону антиградиента.

Алгоритм градиентного спуска состоит из повторяющихся шагов обновления весов:

Где:

— текущее значение весов.

(эта) — темп обучения (learning rate), определяющий размер шага.

— градиент функции потерь в текущей точке.

Для среднеквадратичной ошибки градиент вычисляется следующим образом:

Если расписать это для одного веса , мы увидим красивую закономерность:

Обновление веса пропорционально ошибке и значению самого признака . Если ошибка велика, шаг будет большим. Если признак равен нулю, он не влияет на изменение веса.

Темп обучения и его влияние

Выбор — критически важная задача при настройке модели.

Если слишком мал, алгоритм будет сходиться очень медленно, требуя тысяч итераций.

Если слишком велик, алгоритм может «перепрыгнуть» минимум, начать осциллировать (скакать из стороны в сторону) или вовсе разойтись, увеличивая ошибку до бесконечности.

На практике часто используют адаптивные стратегии: начинают с относительно большого шага, чтобы быстро приблизиться к минимуму, и постепенно уменьшают его (learning rate decay), чтобы точнее «приземлиться» в самой нижней точке.

Вариации градиентного спуска

Стандартный метод, описанный выше, называется Batch Gradient Descent (пакетный градиентный спуск). На каждой итерации он использует все объекты обучающей выборки для вычисления градиента.

Проблема: если в выборке миллионы строк, вычисление одного шага займет вечность. Для решения этой проблемы используют модификации.

Стохастический градиентный спуск (SGD)

В SGD на каждой итерации градиент вычисляется не по всей выборке, а по одному случайно выбранному объекту :

Плюсы:

Работает очень быстро.

Позволяет обучать модели на данных, которые не помещаются в оперативную память (online learning).

Вносит в процесс обучения «шум», который иногда помогает функции потерь выпрыгнуть из локальных минимумов (хотя для линейной регрессии это не актуально, так как её MSE-поверхность выпуклая и имеет один глобальный минимум).

Минусы:

Из-за случайности траектория спуска получается «рваной» и зигзагообразной. Алгоритм никогда не замирает строго в минимуме, а колеблется вокруг него.

Mini-batch Gradient Descent

Это «золотая середина». Мы разбиваем выборку на небольшие группы — батчи (обычно от 32 до 512 объектов). Градиент вычисляется как среднее по батчу. Это дает более стабильное направление движения, чем SGD, но работает значительно быстрее, чем Batch GD, за счет использования векторных вычислений на современных процессорах и GPU.

Интерпретация коэффициентов и статистический взгляд

Линейная регрессия ценится за прозрачность. Веса имеют четкий физический смысл: они показывают, на сколько единиц изменится предсказание при изменении признака на единицу, при условии, что остальные признаки остаются неизменными.

Однако здесь кроется ловушка. Чтобы интерпретация была корректной, признаки должны быть в одном масштабе. Если один признак — «возраст в годах» (0–100), а другой — «годовой доход в рублях» (десятки миллионов), то веса при них будут несопоставимы. Признак с огромными значениями получит крошечный вес, и наоборот. Поэтому перед обучением линейных моделей масштабирование признаков (StandardScaler или MinMaxScaler) является обязательным этапом.

С точки зрения статистики, метод наименьших квадратов эквивалентен методу максимального правдоподобия (Maximum Likelihood Estimation), если предположить, что ошибки модели распределены нормально (по Гауссу) с нулевым средним и постоянной дисперсией. Это предположение называется гомоскедастичностью. Если в ваших данных дисперсия ошибки растет вместе с ростом признака (например, разброс цен на дорогие дома выше, чем на дешевые), стандартная линейная регрессия может давать неоптимальные оценки.

Ограничения и проблемы линейных моделей

Несмотря на мощь, линейная регрессия сталкивается с рядом проблем, которые мы будем решать в следующих темах.

Нелинейные зависимости: Если связь между и криволинейная (например, параболическая), линейная модель даст плохой результат. Решение — введение полиномиальных признаков () или использование других алгоритмов.

Мультиколлинеарность: Если два признака сильно коррелируют (например, рост в см и рост в дюймах), матрица становится плохо обусловленной. Это приводит к неустойчивости весов: малейшее изменение в данных может вызвать гигантские скачки в значениях .

Выбросы: MSE возводит ошибку в квадрат, поэтому один аномальный объект, находящийся далеко от основной массы данных, может «притянуть» к себе всю плоскость регрессии, испортив прогноз для всех остальных объектов. В таких случаях иногда используют MAE (Mean Absolute Error) или функцию потерь Хубера, которая ведет себя как MSE при малых ошибках и как MAE при больших.

Практический пример: предсказание расхода топлива

Рассмотрим задачу предсказания расхода топлива автомобиля (целевая переменная — литры на 100 км) на основе двух признаков: массы автомобиля () и мощности двигателя ().

Допустим, после обучения мы получили веса:

(базовый расход)

(влияние массы)

(влияние мощности)

Модель выглядит так: .

Если у нас есть автомобиль массой 1500 кг и мощностью 100 л.с., прогноз составит:

Если мы увеличим массу на 200 кг, расход вырастет на литр. Это простая и понятная логика, которая позволяет бизнесу принимать решения на основе данных. Однако, если мы заметим, что при увеличении массы модель начинает ошибаться всё сильнее, это будет сигналом к тому, что линейная зависимость здесь недостаточна и пора переходить к более сложным инструментам или методам регуляризации, которые мы обсудим в следующей лекции.

Линейная регрессия — это не просто «простая модель». Это способ мышления, где мы пытаемся разложить сложный мир на сумму простых факторов. Понимание того, как веса подстраиваются под данные через градиент или нормальное уравнение, открывает дверь к пониманию самых глубоких архитектур нейронных сетей, которые, по сути, являются многослойными композициями таких же линейных преобразований и нелинейных функций активации.

Регуляризация моделей: математика L1 и L2 ограничений для борьбы с переобучением

Представьте, что вы готовитесь к экзамену по истории. У вас есть два пути: либо глубоко понять причинно-следственные связи событий, либо просто зазубрить даты и фамилии из учебника. Если на экзамене попадется вопрос, которого не было в книге (например, анализ влияния климата на конкретное сражение), «зубрилка» потерпит крах, а понимающий студент сможет вывести ответ логически. В машинном обучении алгоритмы ведут себя точно так же. Когда модель слишком усердно «зазубривает» шум и случайные колебания в обучающей выборке, она теряет способность к обобщению. Этот феномен называется переобучением, и регуляризация — это основной математический инструмент, который заставляет модель «понимать суть», а не «заучивать знаки после запятой».

Природа переобучения через призму весов модели

Чтобы понять, зачем нам нужна регуляризация, необходимо взглянуть на то, что происходит с коэффициентами (весами) линейной модели при переобучении. В предыдущих лекциях мы установили, что линейная регрессия пытается минимизировать среднеквадратичную ошибку (MSE):

Здесь — количество объектов, — истинный ответ, — вектор признаков, а — вектор весов. Когда признаков становится много, или когда они сильно коррелируют между собой (мультиколлинеарность), матрица становится близкой к вырожденной. В этом случае аналитическое решение приводит к тому, что веса принимают огромные значения по модулю.

Почему это плохо? Огромные веса означают, что модель стала гиперчувствительной. Малейшее изменение входного признака на мизерную величину приводит к гигантскому скачку предсказания , так как этот умножается на огромный вес . Модель начинает «объяснять» случайные выбросы в данных, выстраивая сложную, изломанную гиперплоскость, которая проходит точно через все точки обучающей выборки, но совершенно не отражает реальную зависимость.

Регуляризация — это метод «штрафования» модели за слишком большие значения весов. Мы модифицируем исходную функцию потерь, добавляя к ней аддитивный член, который растет вместе с нормой вектора весов.

Ridge-регрессия: штраф за квадраты (L2-регуляризация)

L2-регуляризация, также известная как гребневая регрессия (Ridge Regression) или регуляризация по Тихонову, добавляет к функции потерь сумму квадратов весов. Новая целевая функция выглядит так:

В этой формуле:

(лямбда) — коэффициент регуляризации. Это гиперпараметр, который определяет баланс между качеством подгонки под данные и «простотой» модели.

— количество признаков.

— квадрат евклидовой нормы вектора весов .

Математический смысл L2

Если мы попробуем найти минимум этой функции, взяв производную по и приравняв её к нулю (аналогично выводу МНК), мы получим модифицированное нормальное уравнение:

Где — единичная матрица. Добавление к матрице гарантирует, что итоговая матрица будет обратимой, даже если признаки мультиколлинеарны. С точки зрения геометрии, мы добавляем «гребень» (ridge) на главной диагонали матрицы, что делает решение более устойчивым.

L2-регуляризация заставляет веса распределяться равномерно. Она не зануляет их полностью, но эффективно уменьшает их значения. Если два признака сильно коррелируют, Ridge-регрессия разделит вес между ними примерно поровну, вместо того чтобы присвоить одному гигантский положительный коэффициент, а другому — гигантский отрицательный.

Геометрическая интерпретация

Представьте линии уровня функции потерь MSE на плоскости весов и . Это эллипсы, центром которых является точка идеального решения МНК. Штраф L2 можно представить как окружность с центром в начале координат (радиус которой ограничен бюджетом на веса). Оптимальное решение с регуляризацией — это точка касания эллипса MSE и окружности штрафа. Поскольку окружность гладкая, касание обычно происходит в точке, где оба веса отличны от нуля, но значительно меньше своих исходных значений.

Lasso-регрессия: отбор признаков через L1-регуляризацию

Lasso (Least Absolute Shrinkage and Selection Operator) использует другой подход. Вместо квадратов весов мы берем их абсолютные значения (модули):

Где — это -норма вектора весов .

Эффект зануления весов

Главное отличие Lasso от Ridge заключается в том, что L1-регуляризация способна занулять веса некоторых признаков. Это делает Lasso мощным инструментом для отбора признаков (feature selection). Если у вас есть 1000 признаков, но реально на целевую переменную влияют только 10, Lasso при достаточно большом просто выставит коэффициенты остальных 990 признаков в 0.

Почему это происходит математически? Функция модуля имеет излом (недифференцируема) в нуле. В геометрической интерпретации «бюджет» на веса в Lasso выглядит не как круг, а как ромб (в многомерном случае — октаэдр). У ромба есть острые углы, расположенные прямо на осях координат. Когда эллипс функции потерь MSE расширяется из центра, он с высокой вероятностью впервые коснется штрафного ромба именно в одном из его углов — то есть на оси, где один из весов равен нулю.

Ограничения Lasso

Несмотря на полезность отбора признаков, у Lasso есть нюансы:

Если признаки сильно коррелируют, Lasso выберет один из них случайным образом и занулит остальные. Это может быть плохо для интерпретации, если нам важно знать вклад всех факторов.

В отличие от Ridge, для Lasso не существует аналитического решения в виде одной формулы (из-за недифференцируемости модуля в нуле). Для оптимизации здесь используются специальные методы, такие как координатный спуск (Coordinate Descent).

Elastic Net: объединение двух миров

Когда мы не можем выбрать между Ridge и Lasso, на помощь приходит Elastic Net (Эластичная сетка). Она комбинирует оба типа штрафов:

Часто это записывают через один общий коэффициент регуляризации и параметр смешивания :

При мы получаем чистый Lasso.

При мы получаем чистый Ridge.

Промежуточные значения позволяют одновременно занулять бесполезные признаки (благодаря L1) и сохранять устойчивость при работе с коррелирующими признаками (благодаря L2).

Elastic Net особенно эффективен в задачах, где количество признаков значительно превышает количество объектов (например, в генетике или анализе текстов).

Байесовская интерпретация: априорное знание

Регуляризацию можно понимать не только как «штраф», но и как введение априорных предположений о распределении весов в рамках байесовской статистики.

Когда мы обучаем обычную линейную регрессию без регуляризации, мы фактически ищем оценку максимального правдоподобия (Maximum Likelihood Estimation, MLE). Мы предполагаем, что веса могут быть любыми, и ищем те, что лучше всего объясняют данные.

Регуляризация переводит нас к поиску максимума апостериорной вероятности (Maximum A Posteriori, MAP):

L2-регуляризация эквивалентна предположению, что веса распределены по нормальному закону (Гауссу) с центром в нуле. Мы заранее «верим», что веса скорее всего маленькие и колоколообразно распределены вокруг нуля.

L1-регуляризация соответствует предположению, что веса распределены по закону Лапласа. У распределения Лапласа острый пик в нуле, что и отражает нашу априорную уверенность в том, что многие веса должны быть строго равны нулю.

Практические аспекты и тонкая настройка

Важность масштабирования

Это критический нюанс, на котором часто ошибаются новички. Регуляризация требует предварительного масштабирования признаков (Standardization или Normalization).

Представьте задачу предсказания цены дома, где один признак — «площадь в кв. метрах» (значения около 100), а другой — «количество комнат» (значения около 3). Если мы не отмасштабируем данные, веса при этих признаках будут иметь разный порядок величины. Штраф будет действовать на них несправедливо: он будет гораздо сильнее «давить» на тот признак, чей вес больше по чисто техническим причинам масштаба, а не по его реальной значимости. После StandardScaler (приведения к среднему 0 и дисперсии 1) все признаки становятся равноправными перед регуляризатором.

Выбор коэффициента

Как найти идеальное значение ?

Если слишком мал, регуляризация не работает, и мы остаемся с проблемой переобучения.

Если слишком велик, штраф перевешивает ошибку на данных. Веса стремятся к нулю, и модель становится слишком простой — наступает недообучение (underfitting). Модель предсказывает константу и не видит зависимостей.

Оптимальный выбирается с помощью кросс-валидации. Мы обучаем модель на разных значениях (обычно по логарифмической сетке: 0.001, 0.01, 0.1, 1, 10...) и смотрим, при каком значении ошибка на отложенной (валидационной) выборке минимальна.

Регуляризация и Bias-Variance Tradeoff

В контексте дилеммы смещения и разброса (bias-variance tradeoff), регуляризация — это осознанный обмен:

Мы намеренно увеличиваем смещение (bias) модели. Регулируемая модель в среднем дает чуть менее точные предсказания на обучающей выборке, так как мы «связали ей руки» штрафом.

Взамен мы радикально уменьшаем разброс (variance). Модель перестает метаться вслед за каждым случайным шумом в данных.

Итоговая ошибка (MSE) на новых данных складывается из (Bias)² + Variance + Шум. Уменьшая Variance сильнее, чем растет Bias, регуляризация снижает общую ошибку и делает модель пригодной для реального использования.

Граничные случаи: когда регуляризация не помогает

Регуляризация — не панацея. Существуют ситуации, когда она бессильна:

Недостаток данных. Если данных катастрофически мало, никакая регуляризация не вытащит из них сигнал, который там не представлен.

Плохие признаки. Если признаки вообще не коррелируют с целевой переменной, регуляризация просто превратит модель в константу.

Нелинейные зависимости. Если истинная связь между и квадратичная, а вы используете линейную регрессию, регуляризация может лишь немного сгладить углы, но она не исправит фундаментальное несоответствие архитектуры модели и природы данных.

В этих случаях стоит задуматься о добавлении полиномиальных признаков или переходе к более сложным моделям (например, деревьям решений), которые мы разберем в следующих главах. Однако даже там концепция «штрафа за сложность» останется ключевой, просто она примет иные формы — например, ограничение глубины дерева.

Завершая разговор о регуляризации в линейных моделях, важно помнить: это не просто добавка к формуле, а способ управления сложностью нашего знания. Математика L1 и L2 позволяет нам формализовать принцип бритвы Оккама: «Не следует множить сущее без необходимости». Если простое объяснение (модель с маленькими весами) работает почти так же хорошо, как сложное, мы всегда должны выбирать простое.