Основы нейросетей: от теории к архитектуре трансформеров

Введение в глубокое обучение: биологические прототипы и искусственный нейрон

Глубокое обучение сегодня лежит в основе технологий, которыми мы пользуемся ежедневно: от голосовых помощников до систем автопилота. Однако, чтобы понять архитектуру современных трансформеров, таких как GPT, необходимо вернуться к истокам — к попытке математически смоделировать работу человеческого мозга. В основе самых сложных нейросетей лежит простая, но элегантная концепция — искусственный нейрон.

Биологическое вдохновение

Человеческий мозг состоит примерно из 86 миллиардов нейронов, связанных между собой триллионами синапсов. Эта колоссальная сеть способна обучаться, распознавать образы и принимать решения. Искусственные нейронные сети (ИНС) не являются точной копией мозга, но они заимствуют ключевые принципы его архитектуры.

Рассмотрим строение биологического нейрона, чтобы понять, как эти части были перенесены в математику.

!Строение биологического нейрона: от приема сигнала до его передачи

Биологический нейрон состоит из четырех основных функциональных зон:

Дендриты: Входные каналы. Это ветвящиеся отростки, которые принимают сигналы от других нейронов.

Сома (тело клетки): Процессор. Здесь суммируются все входящие сигналы. Если суммарный сигнал превышает определенный порог, нейрон активируется.

Аксон: Выходной канал. Длинное волокно, по которому электрический импульс передается к другим клеткам.

Синапсы: Точки соединения. Места контакта аксона одного нейрона с дендритом другого. Важно отметить, что синапсы могут усиливать или ослаблять сигнал. Именно изменение проводимости синапсов является физической основой обучения и памяти.

Математическая модель: Перцептрон

В 1957 году Фрэнк Розенблатт предложил математическую модель нейрона, названную перцептроном. Эта модель абстрагирует биологические процессы до простых арифметических операций.

В искусственном нейроне: * Входы () заменяют дендриты. * Веса () моделируют синапсы (силу связи). * Сумматор выполняет роль тела клетки. * Функция активации определяет, «выстрелит» ли нейрон (аналог порога возбуждения). * Выход () — это сигнал, идущий по аксону.

!Архитектура искусственного нейрона

Анатомия искусственного нейрона

Разберем процесс обработки информации внутри одного нейрона пошагово.

#### 1. Взвешенная сумма Нейрон получает набор входных данных. Это могут быть пиксели изображения, параметры объекта или выходы предыдущего слоя нейросети. Каждый вход умножается на соответствующий ему вес.

Вес () — это числовой коэффициент, определяющий важность данного входа. Если вес большой и положительный, вход сильно стимулирует нейрон. Если вес отрицательный, вход подавляет активность нейрона (аналог тормозящих синапсов).

Математически это записывается как сумма произведений:

Где: * — взвешенная сумма входных сигналов. * — количество входов. * — вес -го входа. * — значение -го входа.

#### 2. Смещение (Bias) К взвешенной сумме часто добавляется специальный параметр, называемый смещением или байасом ().

Смещение позволяет сдвигать график функции активации влево или вправо. Без смещения нейрон всегда выдавал бы ноль при нулевых входах, что ограничивает гибкость модели. В биологии это можно сравнить с порогом чувствительности нейрона: некоторым нейронам нужно меньше стимулов для активации, другим — больше.

Полная формула входа в функцию активации выглядит так:

Где: * — итоговый аргумент (потенциал), передаваемый в функцию активации. * — вес связи для -го входа. * — значение -го входного сигнала. * — смещение (bias), константа для данного нейрона.

#### 3. Функция активации Полученное значение может быть любым числом: от минус бесконечности до плюс бесконечности. Чтобы решить, должен ли нейрон активироваться и какой сигнал передать дальше, используется функция активации ().

Итоговая формула работы одного нейрона:

Где: * — выходное значение нейрона. * — нелинейная функция активации. * — взвешенная сумма со смещением. * — веса, входы и смещение, описанные ранее.

Программная реализация

Для разработчика на Java нейрон — это не мистическая сущность, а простой класс или метод. Представим простейшую реализацию нейрона без использования библиотек, чтобы увидеть логику «под капотом».

В этом коде:

Массив inputs соответствует вектору .

Массив weights соответствует вектору .

Переменная bias соответствует .

Цикл for реализует операцию .

Метод sigmoid реализует функцию .

Зачем нужна нелинейность?

Вы могли заметить, что вычисление взвешенной суммы — это линейная операция. Если бы мы просто передавали сумму дальше без функции активации (или использовали линейную активацию ), то, сколько бы слоев нейронов мы ни соединили, вся сеть была бы эквивалентна одному единственному линейному преобразованию.

Функция активации вносит нелинейность. Это позволяет нейросетям моделировать сложные зависимости, такие как кривые линии, границы объектов на фото или семантические связи в тексте. Без нелинейности глубокое обучение было бы математически невозможно.

Итоги

* Биологическая основа: Искусственный нейрон имитирует передачу сигналов в мозге, где дендриты — это входы, синапсы — веса, а частота импульсов — выходной сигнал. * Ключевые компоненты: Архитектура нейрона состоит из входов (), весов (), смещения () и функции активации (). * Математическая суть: Работа нейрона сводится к вычислению взвешенной суммы входов, добавлению смещения и применению нелинейной функции: . * Роль весов и смещения: Веса определяют важность входных данных, а смещение регулирует порог активации нейрона. * Код: На уровне программирования нейрон представляет собой функцию, принимающую вектор данных и возвращающую скалярное значение после математических преобразований.

Математика обучения: функции активации, градиентный спуск и обратное распространение ошибки

В предыдущей статье мы создали модель искусственного нейрона и реализовали его структуру на Java. Однако наш нейрон был статичным: он мог обрабатывать данные, но не мог учиться. Веса задавались вручную или случайно, что делало сеть бесполезной для реальных задач. Чтобы нейросеть стала интеллектуальной системой, нам нужно добавить механизм автоматической настройки весов.

Обучение нейросети — это, по сути, задача оптимизации. Мы ищем такой набор весов, при котором ошибка предсказания будет минимальной. В этой статье мы разберем три кита, на которых держится этот процесс: функции активации, функцию потерь и алгоритм обратного распространения ошибки.

Функции активации: от теории к практике

Мы уже упоминали, что функция активации добавляет нелинейность. Без неё нейросеть, независимо от количества слоев, превращается в простую линейную регрессию. Рассмотрим наиболее популярные функции, которые используются в современных архитектурах, включая трансформеры.

Сигмоида (Sigmoid)

Исторически одна из первых функций активации. Она сжимает любое входное значение в диапазон от 0 до 1.

Где: * — выходное значение функции (сигмоида). * — число Эйлера (основание натурального логарифма, ). * — входное значение (взвешенная сумма).

График этой функции напоминает латинскую букву S. Она отлично подходит для задач бинарной классификации (например, «спам» или «не спам»), так как выход можно интерпретировать как вероятность.

Однако у сигмоиды есть существенный недостаток — затухание градиента. При очень больших или очень маленьких значениях производная функции становится близкой к нулю, и обучение практически останавливается. Из-за этого в глубоких сетях её используют редко, за исключением выходного слоя.

ReLU (Rectified Linear Unit)

На данный момент это стандарт де-факто для скрытых слоев глубоких нейросетей. Идея ReLU гениально проста: если сигнал положительный, пропускаем его без изменений; если отрицательный — зануляем.

Где: * — выходное значение функции. * — операция выбора максимального значения. * — пороговое значение. * — входной сигнал.

!Сравнение плавного изгиба Сигмоиды и ломаной линии ReLU

В Java реализация ReLU выглядит тривиально:

Преимущества ReLU:

Вычислительная эффективность: Сравнение с нулем выполняется процессором мгновенно, в отличие от вычисления экспоненты.

Решение проблемы затухания градиента: Для положительных значений производная всегда равна 1, что позволяет ошибке свободно распространяться по глубоким слоям.

Функция потерь (Loss Function)

Чтобы обучить сеть, нам нужно уметь измерять, насколько сильно она ошибается. Для этого используется функция потерь (или функция стоимости). Это метрика, которая возвращает одно число: чем оно меньше, тем лучше работает модель.

Для задач регрессии (предсказания чисел) часто используют среднеквадратичную ошибку (MSE — Mean Squared Error).

Где: * — значение среднеквадратичной ошибки. * — количество примеров в наборе данных. * — знак суммирования (сумма по всем примерам от 1 до ). * — правильный ответ (истинное значение) для -го примера. * — предсказание нейросети для -го примера.

Квадрат разности используется для того, чтобы ошибки с разными знаками не компенсировали друг друга (например, -5 и +5), и чтобы сильнее «наказывать» сеть за большие промахи.

Градиентный спуск: навигация в тумане

Представьте, что вы стоите на вершине горы в густом тумане. Ваша задача — спуститься в самую низкую точку долины. Вы не видите долину целиком, но можете чувствовать наклон земли под ногами. Логичная стратегия: сделать шаг в ту сторону, где спуск наиболее крутой.

В нейросетях: * Горы и долины — это график функции потерь. * Ваши координаты — это текущие значения весов нейросети. * Наклон земли — это градиент.

Градиент — это вектор частных производных, который указывает направление самого быстрого роста функции. Чтобы уменьшить ошибку, нам нужно двигаться в сторону, противоположную градиенту (антиградиент).

!Визуализация процесса градиентного спуска

Формула обновления весов выглядит так:

Где: * — новое значение веса после обновления. * — текущее значение веса. * (эта) — скорость обучения (learning rate). Это размер вашего «шага». Если шаг слишком маленький, спуск займет вечность. Если слишком большой — вы можете перепрыгнуть минимум. * — частная производная функции потерь по весу (градиент). Она показывает, как изменение веса влияет на ошибку.

На Java логика обновления веса выглядит так:

Обратное распространение ошибки (Backpropagation)

Самый сложный вопрос: как вычислить градиент для веса, который находится глубоко внутри сети, в первом слое? Ведь ошибка вычисляется только в самом конце, на выходе.

Здесь на помощь приходит алгоритм обратного распространения ошибки. Он базируется на цепном правиле дифференцирования (Chain Rule).

Представьте, что нейросеть — это конвейер. Входные данные проходят через слои, преобразуются и дают результат. Это прямое распространение (Forward Pass). Мы сравниваем результат с эталоном, получаем ошибку и отправляем её назад по конвейеру.

Математически цепное правило гласит: если зависит от , а зависит от , то производная по равна произведению промежуточных производных.

Где: * — искомый градиент: как изменение веса влияет на общую ошибку . * — как ошибка меняется при изменении выхода нейрона . * — производная функции активации (как выход зависит от взвешенной суммы ). * — производная взвешенной суммы по весу (обычно это просто значение входа , так как ).

!Прямое и обратное распространение

Алгоритм действий

Forward Pass: Прогоняем данные через сеть, получаем предсказание.

Loss Calculation: Считаем ошибку.

Backward Pass: Идем от последнего слоя к первому. Для каждого нейрона вычисляем его «вклад» в ошибку, используя цепное правило.

Update: Обновляем веса, используя градиентный спуск.

Этот цикл повторяется тысячи или миллионы раз (эпохи обучения), пока ошибка не станет приемлемо малой.

Итоги

* Функции активации: ReLU — стандарт для скрытых слоев благодаря скорости и отсутствию затухания градиента; Сигмоида полезна для вероятностных выходов. * Функция потерь: Это компас нейросети. MSE используется для регрессии, показывая среднеквадратичное отклонение от идеала. * Градиентный спуск: Метод оптимизации, позволяющий итеративно находить минимум функции потерь, корректируя веса против направления градиента. * Обратное распространение: Эффективный способ вычисления градиентов для всех весов сети, распространяя информацию об ошибке от выхода к входу через цепное правило.