1. Почему ИИ «не понимает»: базовые принципы работы языковых моделей
Почему ИИ «не понимает»: базовые принципы работы языковых моделей
Вы открываете чат с нейросетью, пишете простой запрос: «Напиши пост для соцсетей про мой магазин цветов», а в ответ получаете набор банальностей про «прекрасные букеты» и «индивидуальный подход». Вы разочарованы. Кажется, что искусственный интеллект глуп или ленив. Но проблема не в лени. Проблема в том, что мы часто приписываем машине человеческие качества, которыми она не обладает.
Чтобы научиться управлять ИИ, нужно перестать воспринимать его как собеседника-человека и начать видеть в нем сложный математический инструмент. Давайте разберем, что происходит «под капотом», когда вы нажимаете кнопку «Отправить».
Иллюзия понимания
Когда вы общаетесь с человеком, он понимает смысл ваших слов. Если вы скажете другу «Я голоден», он поймет ваше физическое состояние и потребность в еде. Если вы напишете это нейросети, она не «поймет» голод. У нее нет желудка, нет чувств и нет сознания.
Современные большие языковые модели (LLM — Large Language Models) — это, по сути, сверхмощные системы автозаполнения. Вспомните Т9 в старых телефонах или подсказки в поисковой строке. Они пытаются угадать следующее слово. ChatGPT, Claude и другие модели делают то же самое, только на невероятно сложном уровне.
Они не отвечают на вопросы в человеческом смысле. Они продолжают текст.
Вероятностная машина
В основе работы любой языковой модели лежит статистика. Обучившись на терабайтах текстов из интернета (книги, статьи, код, диалоги), модель выучила не факты, а связи между словами.
Представьте, что мы дали модели начало фразы: «Мама мыла...».
Модель не знает, кто такая мама и зачем она что-то моет. Но она видела миллионы текстов. На основе своей статистики она рассчитывает вероятность следующего слова (токена).
Где — это вероятность, — прогнозируемое слово, а — контекст (то, что было написано ранее).
В данном случае вероятность слова «раму» очень высока. Вероятность слова «посуду» — ниже. Вероятность слова «слона» — ничтожно мала, но не равна нулю.
!Как нейросеть выбирает следующее слово на основе вероятностей
ИИ пишет ответ слово за словом (или токен за токеном), каждый раз заново пересчитывая вероятности для следующего шага с учетом всего, что уже было написано.
Контекст и Внимание
Если бы модели смотрели только на одно предыдущее слово, они бы генерировали бред. Секрет современных моделей в механизме, который называется Attention (Внимание).
Этот механизм позволяет модели «смотреть» на весь текст вашего запроса одновременно и понимать, какие слова связаны друг с другом, даже если они стоят далеко друг от друга.
Рассмотрим пример: «Банк заблокировал карту, потому что на ней закончились деньги».
Слово «ней» относится к карте или к банку? Для человека это очевидно из смысла. Для машины механизм внимания вычисляет математическую связь между словом «ней» и словом «карта», основываясь на тысячах похожих примеров в обучающих данных.
Именно поэтому контекст в вашем промпте так важен. Чем больше деталей вы даете, тем точнее механизм внимания настраивает связи.
* Плохой запрос: «Напиши письмо клиенту». * У модели слишком широкий выбор вероятных слов. Она выберет самые усредненные, «серые» варианты. * Хороший запрос: «Напиши письмо разгневанному клиенту, которому задержали доставку на 3 дня, в вежливом, но официальном тоне». * Вы сузили коридор вероятностей. Теперь слова «извините», «компенсация», «задержка» имеют наивысший приоритет.
!Механизм внимания определяет, к чему относится местоимение
Почему ИИ галлюцинирует (врет)
Одна из самых частых жалоб новичков: «ИИ придумал несуществующую книгу» или «ИИ соврал про исторический факт».
Это явление называют галлюцинациями. Но если вспомнить принцип работы (автозаполнение), это не ошибка, а особенность.
Модель не имеет доступа к базе данных истинных фактов (если не подключена к поисковику). Она имеет доступ к шаблонам речи.
Если вы попросите: «Напиши биографию ученого Ивана Ивановича Пупкина, который изобрел машину времени в 19 веке», модель, скорее всего, напишет очень убедительную биографию. Почему?
Для языковой модели «правдоподобно звучит» важнее, чем «является правдой».
Температура: от порядка к хаосу
Почему на один и тот же вопрос ИИ может давать разные ответы? В настройках генерации есть параметр, который называют Temperature (Температура).
Это коэффициент случайности при выборе следующего слова.
* Низкая температура (ближе к 0): Модель всегда выбирает слово с самой высокой вероятностью. Ответы становятся сухими, точными, детерминированными. Идеально для кода или математики. * Высокая температура (ближе к 1): Модель может выбрать слово, которое находится не на первом месте по вероятности, а на втором или третьем. Это добавляет креативности, неожиданных поворотов, но повышает риск бреда.
В большинстве чат-ботов (ChatGPT, Gemini) температура настроена на среднее значение (около 0.7), чтобы речь была живой и естественной.
Как это знание помогает писать промпты?
Понимание того, что ИИ — это вероятностный генератор, меняет ваш подход к составлению запросов.
!Промпт работает как набор фильтров, отсекающих лишние варианты
Итоги
* ИИ не думает: Языковые модели — это сложные системы автозаполнения, предсказывающие следующее слово на основе вероятностей. * Контекст — это король: Механизм «внимания» связывает слова в запросе. Чем точнее контекст, тем точнее модель подберет связи и выдаст релевантный ответ. Правдоподобие против Правды: Модель стремится создать текст, который выглядит* правильным. Она может выдумывать факты (галлюцинировать), чтобы соблюсти структуру и стиль. * Вы управляете вероятностью: Хороший промпт сужает пространство вариантов, заставляя модель генерировать именно то, что вам нужно.