Трансформеры и Диффузионные модели: Сходства, различия и путь к унификации мышления

Фундаментальные основы: Механизм Self-Attention против итеративного процесса шумоподавления

Добро пожаловать в курс «Трансформеры и Диффузионные модели: Сходства, различия и путь к унификации мышления». Мы начинаем наше путешествие с фундаментального разбора двух архитектур, которые сегодня определяют ландшафт искусственного интеллекта.

С одной стороны, у нас есть Трансформеры (Transformers) — архитектура, лежащая в основе ChatGPT, Claude и других языковых моделей. Их суперсила — понимание контекста и связей между элементами данных.

С другой стороны, Диффузионные модели (Diffusion Models) — технология, подарившая нам Midjourney и Stable Diffusion. Их стихия — создание информации из хаоса через постепенное уточнение.

В этой статье мы разберем их «двигатели»: механизм Self-Attention (самовнимания) и процесс итеративного шумоподавления (iterative denoising).

Часть 1: Трансформеры и механизм Self-Attention

До появления Трансформеров (статья «Attention Is All You Need», 2017) нейросети обрабатывали текст последовательно, слово за словом. Это было медленно и неэффективно для длинных текстов: к концу предложения сеть часто «забывала», что было в начале.

Трансформеры изменили правила игры благодаря механизму Self-Attention. Представьте, что вы читаете предложение:

> «Животное не перешло улицу, потому что оно было слишком уставшим».

Чтобы понять, к чему относится слово «оно» (к животному или к улице), ваш мозг мгновенно связывает «оно» с «животным», опираясь на контекст «уставшим». Механизм Self-Attention делает именно это: он позволяет модели смотреть на все слова в предложении одновременно и вычислять, насколько сильно каждое слово связано с каждым другим.

!Визуализация того, как слово «оно» уделяет разное количество «внимания» другим словам в предложении для понимания контекста.

Триада Q, K, V

В основе математики внимания лежит концепция, заимствованная из баз данных: Query (Запрос), Key (Ключ) и Value (Значение).

Для каждого слова (токена) создаются три вектора:

Математика внимания

Формула Scaled Dot-Product Attention выглядит следующим образом:

Разберем каждый элемент этой формулы:

* — матрица запросов (Queries). * — транспонированная матрица ключей (Keys). Умножение на вычисляет «похожесть» или релевантность между запросом и ключом. * — размерность векторов ключей. Деление на необходимо для масштабирования, чтобы значения не становились слишком большими, иначе градиенты при обучении будут исчезать. * — функция активации, которая превращает полученные числа в вероятности (от 0 до 1), сумма которых равна 1. Это и есть «веса внимания». * — матрица значений (Values). Мы умножаем полученные веса внимания на значения, чтобы получить итоговое представление слова с учетом контекста.

Суть: Трансформер говорит: «Возьми мое текущее слово (), сравни его со всеми остальными словами (), узнай, кто наиболее важен, и собери информацию () от этих важных слов».

Часть 2: Диффузионные модели и итеративное шумоподавление

Если Трансформер — это аналитик, который видит всю картину сразу, то Диффузионная модель — это скульптор, работающий в тумане. Процесс генерации изображений (или аудио) в диффузии строится на совершенно ином принципе.

Идея вдохновлена термодинамикой: если капнуть чернила в стакан воды, они постепенно расплывутся (диффузия), превращая чистую воду в хаотичную смесь. Диффузионные модели учатся делать обратное: превращать хаос обратно в структуру.

Два процесса: Прямой и Обратный

!Иллюстрация прямого процесса зашумления и обратного процесса восстановления изображения.

Математика шумоподавления

В упрощенном виде задача модели на каждом шаге — предсказать шум , чтобы восстановить чуть более чистое изображение из зашумленного . Обновление состояния происходит по формуле:

Разберем ключевые элементы:

* — изображение на предыдущем (более чистом) шаге времени. * — текущее зашумленное изображение. * — это сама нейросеть (функция), которая предсказывает шум, присутствующий в картинке на шаге . * и — заранее определенные коэффициенты, управляющие расписанием шума (насколько быстро мы добавляем или убираем шум). * — добавление небольшого случайного шума (стохастичность) для вариативности генерации, где — случайная величина из нормального распределения.

Суть: Диффузия — это итеративный процесс. Модель не рисует картину за один раз. Она делает сотни маленьких шагов, каждый раз спрашивая: «Какой шум мне нужно убрать прямо сейчас, чтобы приблизиться к результату?».

Часть 3: Сравнительный анализ

Теперь, когда мы понимаем механику, давайте сравним эти подходы. Это критически важно для понимания того, как мы можем их объединить в будущем.

| Характеристика | Трансформеры (Self-Attention) | Диффузионные модели (Denoising) | | :--- | :--- | :--- | | Тип данных | Дискретные (токены, слова) | Непрерывные (пиксели, сигналы) | | Процесс | Параллельный (видит всё сразу) | Итеративный (шаг за шагом) | | Вычисления | Однократный проход (обычно) | Многократный прогон одной сети | | Главная цель | Поиск взаимосвязей и структуры | Уточнение сигнала из шума | | Природа | Детерминированная (при ) | Стохастическая (вероятностная) |

Главное различие

Трансформеры блестяще справляются с глобальной структурой и дальними зависимостями благодаря механизму внимания. Они «знают», что если в начале книги висело ружье, в конце оно должно выстрелить.

Диффузионные модели превосходны в локальной детализации и текстурах. Они создают фотореалистичные детали, потому что на каждом шаге решают простую задачу очистки от шума, но им сложнее удерживать глобальную композицию без помощи извне (например, текстового промпта).

Заключение

Мы рассмотрели два полюса современного ИИ. Трансформеры используют матричные операции для мгновенного схватывания контекста. Диффузионные модели используют итеративный процесс для постепенного выстраивания реальности.

Однако, наука не стоит на месте. Что если мы заменим «мозг» диффузионной модели (обычно это архитектура U-Net) на Трансформер? Что если Трансформер научится «думать» итеративно? В следующих статьях мы увидим, как эти границы стираются, приводя нас к архитектурам типа Diffusion Transformers (DiT), которые объединяют лучшее из обоих миров.

В следующей статье мы углубимся в архитектуру Трансформера и разберем, почему «Attention» — это действительно всё, что вам нужно.

Дискретное и непрерывное: Сравнение авторегрессионного подхода и моделирования на основе скоров

Добро пожаловать обратно. В предыдущей лекции мы разобрали механизмы внимания и шумоподавления как отдельные «двигатели» современных нейросетей. Сегодня мы поднимемся на уровень выше и посмотрим на философию данных, с которыми эти двигатели работают.

Мир искусственного интеллекта разделен на два больших лагеря: тех, кто видит мир как набор четких, раздельных символов (дискретный подход), и тех, кто воспринимает его как плавный поток сигналов (непрерывный подход). Это различие фундаментально влияет на то, как модели «думают» и создают новое.

В этой статье мы столкнем лбами классический для языковых моделей авторегрессионный подход и основу генерации изображений — моделирование на основе скоров (Score-Based Modeling).

Часть 1: Авторегрессия и дискретный мир

Языковые модели, такие как GPT (Generative Pre-trained Transformer), живут в дискретном мире. Текст состоит из слов, букв или токенов. Между словом «кот» и словом «собака» нет промежуточного состояния «котопёс» в математическом смысле словаря — это два разных индекса в базе данных модели.

Что такое авторегрессия?

Термин авторегрессия (Autoregression) звучит сложно, но идея проста: предсказание будущего на основе прошлого. В контексте генерации текста это означает, что модель пишет слово за словом, и каждое новое слово зависит от всего, что было написано ранее.

Представьте, что вы строите башню из кубиков. Вы не можете положить пятый кубик, пока не положили четвертый. Вы обязаны соблюдать порядок.

!Визуализация последовательной генерации текста, где каждый шаг зависит от предыдущих.

Математика вероятностной цепочки

Авторегрессионные модели оценивают вероятность всей последовательности (например, предложения) как произведение вероятностей каждого следующего токена при условии наличия предыдущих. Это описывается правилом цепочки (chain rule) вероятностей:

Разберем эту формулу:

* — вероятность появления всей последовательности (например, всего предложения «Мама мыла раму»). * — знак произведения (аналог суммы , только для умножения). Мы перемножаем значения для каждого шага от 1 до (длины последовательности). * — токен (слово), который мы предсказываем прямо сейчас (на шаге ). — вертикальная черта означает «при условии». обозначает все токены, которые были сгенерированы до* шага (история).

Суть: Модель спрашивает: «Какова вероятность слова

Великая конвергенция: Diffusion Transformers (DiT) и масштабируемость генеративных архитектур

Добро пожаловать на третью лекцию нашего курса. В предыдущих частях мы разделили мир ИИ на два лагеря. С одной стороны — Трансформеры, короли дискретного текста и глобального контекста. С другой — Диффузионные модели, мастера непрерывных сигналов и локальных текстур.

Долгое время казалось, что эти технологии живут в параллельных вселенных. Языковые модели (LLM) использовали архитектуру Transformer, а генераторы изображений (как Stable Diffusion) полагались на архитектуру U-Net.

Но что произойдет, если мы возьмем «мозг» языковой модели и заставим его выполнять работу художника? В этой статье мы разберем архитектуру Diffusion Transformers (DiT) — технологию, которая легла в основу OpenAI Sora и Stable Diffusion 3, ознаменовав эру унификации в искусственном интеллекте.

Часть 1: Предел возможностей U-Net

Чтобы понять революционность DiT, нужно сначала взглянуть на то, что было до него. Классические диффузионные модели (DDPM, первые версии Stable Diffusion) использовали архитектуру U-Net.

Что такое U-Net?

U-Net — это нейросеть, похожая на букву «U». Она состоит из двух частей:

Ключевая особенность U-Net — это skip connections (пропускные соединения), которые перебрасывают информацию с этапа сжатия сразу на этап разжатия, помогая сохранить мелкие детали.

!Схематичное изображение архитектуры U-Net с характерными skip connections.

Проблема индуктивного смещения

U-Net использует сверточные слои (Convolutions). Свертки обладают сильным индуктивным смещением (inductive bias): они заранее «знают», что пиксели, находящиеся рядом, связаны друг с другом. Это отлично для картинок, но это жесткое ограничение.

Проблема U-Net в том, что она плохо масштабируется. Когда исследователи пытались просто сделать U-Net больше (добавить больше слоев и параметров), качество генерации росло не так стремительно, как у Трансформеров в текстовых задачах. U-Net сложнее «научить» глобальным связям между удаленными частями изображения.

Часть 2: Входит Трансформер

Трансформеры, напротив, доказали свою невероятную масштабируемость. Существуют так называемые Scaling Laws (законы масштабирования): если вы увеличиваете вычислительную мощность и количество данных, Трансформер предсказуемо становится умнее.

Идея Diffusion Transformer (DiT), предложенная исследователями (включая Уильяма Пиблза, который позже возглавил команду Sora в OpenAI), проста и гениальна: давайте заменим U-Net на стандартный Transformer.

Мы оставляем процесс диффузии (добавление и удаление шума) без изменений. Но функцию (нейросеть, предсказывающую шум) мы меняем.

Как скормить картинку Трансформеру?

Трансформеры не понимают 2D-картинки, они понимают последовательности (как текст). Чтобы решить эту проблему, используется метод Patchification (разбиение на патчи), заимствованный из Vision Transformers (ViT).

!Визуализация процесса Patchification: от 2D изображения к 1D последовательности токенов.

Часть 3: Архитектура DiT и AdaLN

Внутри DiT работает стандартный механизм Self-Attention, который мы разбирали в первой статье. Каждый патч «смотрит» на все остальные патчи, чтобы понять глобальный контекст изображения.

Однако есть нюанс. Диффузионной модели нужно знать две важные вещи:

В U-Net эта информация добавлялась через сложные механизмы. В DiT используется элегантный механизм Adaptive Layer Normalization (adaLN).

Математика адаптивной нормализации

Обычная нормализация слоя (Layer Norm) выравнивает данные, чтобы обучение было стабильным. AdaLN идет дальше: она модулирует (изменяет) нормализацию в зависимости от времени и условия.

Формула выглядит так:

Разберем элементы этой формулы:

* — скрытое состояние (hidden state), то есть текущее представление патчей внутри нейросети. * — стандартная операция нормализации, которая приводит данные к нулевому среднему и единичной дисперсии. * — информация о времени (уровень шума) и условии (текст/класс). * — коэффициент масштабирования (scale). Он вычисляется маленькой нейросетью (MLP) на основе и . Он говорит: «Насколько важным или ярким должен быть этот сигнал?». * — коэффициент сдвига (shift). Он также вычисляется на основе и . Он говорит: «В какую сторону сместить значения?».

Суть: Вместо того чтобы просто подавать время и текст как дополнительные токены, DiT использует их, чтобы управлять самой структурой вычислений в каждом блоке. Это похоже на то, как дирижер (время и текст) управляет громкостью и тональностью оркестра (патчей изображения).

Часть 4: Масштабируемость — ключ к победе

Почему переход на DiT так важен? Ответ кроется в графиках эффективности.

Авторы DiT показали, что качество генерации (измеряемое метрикой FID — чем меньше, тем лучше) линейно улучшается с ростом:

В отличие от U-Net, которая упирается в «потолок» качества, DiT продолжает улучшаться. Если вы хотите модель, которая рисует лучше, вам просто нужно сделать её больше и обучать дольше. Именно это свойство позволило создать такие модели, как Sora.

Sora и видео

OpenAI Sora — это, по сути, DiT, но работающий не с 2D-патчами (квадратами), а с 3D-патчами (кубиками пространства-времени). Видео рассматривается просто как очень длинная последовательность патчей. Благодаря механизму Self-Attention модель может связывать кадр из начала видео с кадром в конце, обеспечивая постоянство объектов, чего было очень трудно добиться с U-Net.

Часть 5: Унификация мышления

Мы приходим к великой конвергенции. Границы стираются.

* Раньше: Для текста — RNN/Transformers, для картинок — CNN/U-Net, для аудио — свои архитектуры. * Сейчас: Всё есть последовательность токенов.

Текст — это токены слов. Картинка — это токены патчей. Видео — это токены пространственно-временных кубов. Аудио — это токены спектрограмм.

Один и тот же архитектурный блок (Transformer Block) с механизмом внимания (Attention) становится универсальным двигателем для обработки любой информации. Разница лишь в том, как мы «нарезаем» реальность на кусочки перед подачей в сеть.

Заключение

Переход от U-Net к Diffusion Transformers (DiT) — это не просто техническое обновление. Это смена парадигмы. Мы отказались от архитектур, специально заточенных под картинки, в пользу универсальной, масштабируемой архитектуры, которая учится понимать структуру данных сама.

В следующей, заключительной статье курса, мы заглянем в будущее и обсудим Flow Matching — концепцию, которая упрощает математику диффузии и делает генерацию еще быстрее и качественнее.

Мы прошли путь от внимания к диффузии, от дискретного к непрерывному, и теперь увидели, как они слились воедино. Остался последний шаг к полному пониманию современной генеративной магии.

Унификация обучения: Flow Matching и поиск общих математических принципов

Добро пожаловать на заключительную лекцию нашего курса. Мы прошли долгий путь: от понимания механизма внимания в Трансформерах до итеративного шумоподавления в Диффузионных моделях. Мы увидели, как архитектура Diffusion Transformers (DiT) объединила эти миры на уровне «железа» нейросети.

Но остался один фундаментальный вопрос: можно ли объединить их на уровне математики обучения? Действительно ли «предсказание следующего слова» и «очистка картинки от шума» — это настолько разные задачи?

В этой статье мы познакомимся с концепцией Flow Matching (Сопоставление потоков) — элегантной теорией, которая не только упрощает диффузию, но и прокладывает мост к единому уравнению для обучения любого искусственного интеллекта.

Часть 1: Проблема «пьяной» прогулки

Давайте вспомним, как работает классическая диффузионная модель. В процессе обучения мы берем изображение и постепенно зашумляем его, пока оно не превратится в случайный гауссовский шум. Задача модели — пройти этот путь в обратном направлении.

Проблема в том, что классическая диффузия (основанная на стохастических дифференциальных уравнениях) — это процесс случайный. Путь от шума к картинке не прямой. Он извилистый, дрожащий и хаотичный.

Представьте, что вы находитесь в густом лесу (шум) и хотите выйти к дому (изображение). Классическая диффузия похожа на блуждание: вы делаете шаг, немного отклоняетесь, корректируете курс, снова отклоняетесь. Именно поэтому генерация требует 50 или 100 шагов — вам нужно постоянно исправлять мелкие ошибки случайности.

А что, если бы мы могли проложить прямую асфальтированную дорогу от точки «Шум» до точки «Картинка»?

!Сравнение траектории классической диффузии и метода Flow Matching.

Часть 2: Векторные поля и потоки

Здесь на сцену выходит Flow Matching. Вместо того чтобы думать о «удалении шума», мы начинаем думать о векторных полях.

Представьте, что все возможные изображения и все возможные варианты шума плавают в жидкости. Если мы зададим скорость и направление течения этой жидкости в каждой точке пространства, то любой объект, брошенный в поток, сам приплывет куда нужно.

Обыкновенные дифференциальные уравнения (ODE)

Математически движение точки во времени описывается Обыкновенным Дифференциальным Уравнением (Probability Flow ODE):

Разберем эту формулу:

* — состояние нашего объекта (например, картинки) в момент времени . * — скорость изменения этого состояния (куда и как быстро оно меняется). * — векторное поле скорости. Это функция (наша нейросеть), которая говорит: «Если ты находишься в состоянии , плыви вот в этом направлении».

В отличие от классической диффузии, здесь нет случайности в процессе генерации. Если мы знаем поле скоростей , мы просто решаем это уравнение и плавно перетекаем из шума в данные.

Часть 3: Rectified Flow — искусство прямых линий

Самая популярная реализация этой идеи сегодня называется Rectified Flow (Выпрямленный поток). Именно она используется в новейших моделях, таких как Stable Diffusion 3 и Flux.1.

Идея гениально проста: зачем усложнять? Давайте заставим нейросеть учить прямую линию между шумом и данными.

Формула обучения

Мы хотим, чтобы наша нейросеть предсказывала вектор, который соединяет шум и чистое изображение . Функция потерь (Loss Function) выглядит так:

Разберем элементы формулы:

* — значение ошибки (Loss), которое мы хотим минимизировать (Conditional Flow Matching). * — математическое ожидание (усредение по всем данным). * — целевое чистое изображение (куда мы хотим попасть). * — исходный шум (откуда мы стартуем). * — это вектор, указывающий кратчайший путь по прямой от шума к картинке. * — предсказание нашей нейросети в момент времени . * — квадрат разности. Мы штрафуем модель, если её предсказание отклоняется от прямой линии.

Суть: Мы говорим модели: «Смотри, вот шум, вот картинка. Твоя задача — построить вектор скорости так, чтобы движение было строго по прямой линии между ними».

Почему это лучше?

Часть 4: Великая унификация

Теперь вернемся к названию курса. Как это связано с Трансформерами и языковыми моделями (LLM)?

Языковые модели работают дискретно. Они предсказывают следующий токен. Диффузия и Flow Matching работают непрерывно. Они предсказывают вектор в пространстве.

Однако, последние исследования показывают, что эти границы условны.

Discrete Flow Matching

Ученые разрабатывают методы (например, Discrete Flow Matching), которые применяют логику потоков к тексту. Вместо того чтобы прыгать от слова к слову, мы можем представить текст как точку в многомерном пространстве, которая плавно «течет» от одного смысла к другому.

С другой стороны, авторегрессионные модели (как GPT) можно рассматривать как частный случай диффузии, где «шум» удаляется не со всей картинки сразу, а последовательно, токен за токеном.

Мы движемся к единой математической парадигме:

!Концептуальная схема унификации архитектур и методов обучения.

Заключение курса

Мы начали этот курс с противопоставления: Внимание против Шумоподавления. Мы увидели, как Трансформеры захватили мир текста, а Диффузия — мир изображений.

Затем мы разобрали Diffusion Transformers (DiT), где Трансформер научился рисовать. И наконец, сегодня мы узнали о Flow Matching — математическом языке, который делает процесс генерации простым, быстрым и геометрически красивым.

Искусственный интеллект перестает быть набором разрозненных трюков. Он превращается в строгую науку о том, как преобразовывать информацию. Будь то текст, видео, звук или 3D-модели — всё это потоки данных, и теперь у нас есть карта, как по ним плавать.

Спасибо, что прошли этот путь вместе с нами. Будущее ИИ — это не просто большие модели, это элегантная математика.

Синтез рассуждений: Как объединение моделей ведет к улучшению логического планирования и генерации

Добро пожаловать на финальную статью нашего курса «Трансформеры и Диффузионные модели». Мы прошли увлекательный путь: разобрали механизм внимания, изучили магию шумоподавления, увидели, как они слились в архитектуре Diffusion Transformers (DiT), и нашли общую математику в Flow Matching.

Но до сих пор мы говорили преимущественно о форме — о том, как генерировать пиксели или токены. Сегодня мы поговорим о сути — о мышлении.

Современные языковые модели (LLM) часто критикуют за то, что они не «думают», а просто статистически предсказывают следующее слово. Они могут написать поэму, но ошибиться в простой логической задаче. Диффузионные модели, в свою очередь, умеют создавать сложные структуры из хаоса, но обычно применяются только к картинкам.

В этой статье мы обсудим, как объединение дискретной логики Трансформеров и итеративного процесса Диффузии рождает новый тип искусственного интеллекта — способный планировать, рассуждать и исправлять свои ошибки до того, как совершит их.

Часть 1: Проклятие авторегрессии и Система 1

Чтобы понять, зачем нам нужен синтез, давайте вспомним, как «думает» обычный ChatGPT или Claude. Это авторегрессионный процесс.

Модель пишет слово за словом. Как только слово выбрано и добавлено в контекст, оно становится незыблемой частью прошлого. Модель не может вернуться назад и сказать: «Ой, я начала предложение неправильно, давай перепишу». Она вынуждена продолжать мысль, даже если та зашла в тупик.

Математически это описывается уже знакомой нам формулой условной вероятности:

Где: * — вероятность. * — текущий токен (слово), который мы выбираем. * — все предыдущие токены (контекст).

Нобелевский лауреат Даниэль Канеман в книге «Думай медленно... решай быстро» описал два режима работы мозга:

Классические Трансформеры — это чистая Система 1. Они выдают ответ мгновенно, токен за токеном. У них нет времени «подумать» или построить черновик в голове.

!Иллюстрация различия между быстрым линейным ответом и сложным процессом размышления.

Часть 2: Диффузия как процесс размышления (Система 2)

А теперь вспомните, как работают Диффузионные модели. Они начинают с шума (хаоса) и постепенно, шаг за шагом, вырисовывают картину. На первых шагах очертания грубые, затем они уточняются. Это итеративный процесс.

Что если применить этот принцип к мыслям?

Представьте, что перед тем как ответить на сложный вопрос, нейросеть создает латентный план (скрытое представление ответа). Сначала это просто «шум» — смутная идея. Затем модель делает несколько шагов диффузии, уточняя этот план. Она «крутит» мысль в голове, проверяет её на непротиворечивость, и только когда «картинка мысли» становится четкой, она переводит её в текст.

Это и есть внедрение Системы 2 в ИИ. Мы заменяем мгновенную генерацию на процесс постепенного уточнения.

Энергетический ландшафт мысли

В физике и диффузионных моделях мы часто говорим о минимизации энергии. Вода течет вниз, в точку с наименьшей потенциальной энергией. Мысль тоже должна «течь» в сторону наибольшей логичности.

Если мы представим пространство всех возможных рассуждений как ландшафт, то: * Вершины — это логические ошибки и противоречия (высокая энергия, «шум»). * Низины — это верные, стройные логические цепочки (низкая энергия, «чистые данные»).

Диффузионный процесс в пространстве рассуждений — это скатывание шарика мысли в лунку правильного решения.

Часть 3: Дерево мыслей и поиск пути

Одной из первых реализаций этой идеи стала концепция Tree of Thoughts (ToT) — Дерево Мыслей. Это попытка объединить способность Трансформеров генерировать варианты с умением алгоритмов поиска (как в шахматах) выбирать лучший ход.

Вместо того чтобы просто генерировать одно продолжение текста, модель:

Это очень похоже на процесс шумоподавления: * В диффузии мы предсказываем вектор (шум), чтобы убрать его. * В планировании мы предсказываем «ошибочность» мысли, чтобы отбросить её.

!Визуализация алгоритма Tree of Thoughts, где модель исследует разные пути решения и выбирает оптимальный.

Часть 4: Непрерывное мышление и Latent Space

Самый передовой край науки сегодня — это отказ от дискретных токенов в процессе мышления. Зачем нам формулировать промежуточные мысли словами? Слова — это узкое бутылочное горлышко. Человек часто мыслит образами или абстракциями, и лишь в конце облекает их в речь.

Исследователи работают над архитектурами, где Flow Matching (о котором мы говорили в прошлой лекции) применяется к векторам мыслей.

Как это работает концептуально?

Именно этот принцип лежит в основе новых «рассуждающих» моделей (reasoning models), таких как OpenAI o1. Они тратят время на вычисления перед тем, как начать отвечать. Это время тратится на скрытый поиск пути в пространстве логики.

Часть 5: Великая унификация

Мы приходим к выводу, что генерация и планирование — это две стороны одной медали.

* Трансформеры дали нам универсальный язык (токены) и механизм связи всего со всем (Attention). * Диффузионные модели дали нам математику итеративного улучшения и движения по градиенту качества.

Объединив их, мы получаем систему, которая:

Формула будущего ИИ

Можно сказать, что идеальный ИИ будущего будет работать по принципу:

Где: * — превращение задачи в начальное скрытое состояние. * — длительный процесс «размышления», очистки идеи от противоречий и поиска решения (используя принципы Flow Matching или итеративного вычисления). * — превращение найденного решения в понятный человеку текст или код.

Заключение курса

Наш курс подошел к концу. Мы начали с разбора кирпичиков: Q, K, V в механизме внимания и гауссовского шума в диффузии. Мы увидели, как эти технологии развивались параллельно, конкурировали, а затем начали сливаться.

Сегодня мы стоим на пороге новой эры. Границы между «языковой моделью» и «генератором картинок» стираются. Границы между «генерацией» и «мышлением» исчезают. Всё становится единым потоком информации, который мы учимся направлять.

Спасибо, что прошли этот путь к унификации мышления вместе с нами. Теперь у вас есть фундаментальное понимание того, как работают самые современные системы искусственного интеллекта, и куда движется эта захватывающая наука.