Подготовка к международной олимпиаде по искусственному интеллекту (IOAI)

Математический фундамент и инструменты Python для анализа данных

Добро пожаловать на курс подготовки к Международной олимпиаде по искусственному интеллекту (IOAI). Это первая статья нашего цикла, и мы начнем с самого главного — фундамента, на котором строится весь современный AI.

Участие в IOAI требует не просто умения запускать готовые модели, но и глубокого понимания того, как они работают «под капотом». Это понимание невозможно без математики и владения инструментами обработки данных. Сегодня мы разберем ключевые математические концепции и научимся применять их с помощью языка Python.

Роль математики в искусственном интеллекте

Многие новички ошибочно полагают, что AI — это магия. На самом деле, это статистика и линейная алгебра, реализованные в программном коде. Чтобы модель «обучалась», нам нужно перевести реальный мир (изображения, текст, звук) на язык чисел.

Линейная алгебра: язык данных

Линейная алгебра — это «двигатель» нейронных сетей. Она позволяет нам эффективно работать с большими массивами данных. Основными объектами здесь являются векторы и матрицы.

Вектор — это упорядоченный набор чисел. В контексте AI вектор может представлять собой признаки объекта (например, рост, вес и возраст человека).

Где — это вектор, а — это отдельные компоненты (числа) этого вектора, описывающие конкретные характеристики.

Одной из самых важных операций является скалярное произведение (dot product). Оно показывает, насколько два вектора «похожи» или направлены в одну сторону.

Где и — два вектора одинаковой длины, — количество элементов в векторе, и — соответствующие элементы векторов, а — знак суммирования.

!Визуализация градиентного спуска к минимуму функции потерь.

Теория вероятностей и статистика: работа с неопределенностью

Мир не идеален, и данные всегда содержат шум. Статистика помогает нам извлекать закономерности из хаоса. Важнейшим понятием является нормальное распределение (распределение Гаусса).

Где: * — плотность вероятности. * (мю) — математическое ожидание (среднее значение). * (сигма) — стандартное отклонение (мера разброса данных). * — число Пи (примерно 3.14159). * — число Эйлера (примерно 2.71828).

Понимание распределений критически важно для предобработки данных перед подачей их в модель.

Инструменты Python для Data Science

На олимпиаде IOAI вам не придется считать градиенты вручную на бумаге (в большинстве случаев). Вашим главным оружием будет Python и его экосистема библиотек.

NumPy: Фундамент вычислений

Библиотека NumPy (Numerical Python) — это стандарт де-факто для научных вычислений. Она предоставляет объект ndarray — многомерный массив, который работает гораздо быстрее стандартных списков Python.

Пример создания векторов и вычисления скалярного произведения:

NumPy позволяет выполнять операции над целыми массивами без использования медленных циклов for. Это называется векторизацией.

Pandas: Работа с табличными данными

В реальных задачах данные часто приходят в виде таблиц (CSV, Excel). Библиотека Pandas предоставляет удобные структуры данных: Series (одномерная) и DataFrame (двумерная таблица).

Основные возможности Pandas: * Загрузка и сохранение данных. * Фильтрация и сортировка. * Обработка пропущенных значений. * Группировка и агрегация статистики.

Matplotlib и Seaborn: Визуализация

Человеку сложно воспринимать сухие цифры. Визуализация помогает найти инсайты и аномалии в данных. Matplotlib — это базовая библиотека для построения графиков, а Seaborn — надстройка над ней, делающая графики более красивыми и информативными с меньшим количеством кода.

!Основные типы визуализации данных в Python.

Практический процесс анализа данных (EDA)

На олимпиаде вам часто придется выполнять разведочный анализ данных (Exploratory Data Analysis — EDA). Это процесс предварительного исследования датасета. Типичный пайплайн выглядит так:

Загрузка данных: Использование pd.read_csv().

Осмотр структуры: Методы .head(), .info(), .shape.

Очистка: Поиск дубликатов и пропусков (.isnull().sum()).

Статистический анализ: Изучение среднего, медианы, дисперсии.

Визуализация: Построение гистограмм распределения признаков и матриц корреляции.

> Данные — это новая нефть. Но как и нефть, они бесполезны в сыром виде. Их нужно очистить и переработать, чтобы получить энергию для принятия решений. — Клайв Хамби

Заключение

Мы рассмотрели математический базис и основные инструменты, необходимые для старта в Data Science и подготовки к IOAI. Линейная алгебра дает нам структуру, матанализ — способ обучения, а статистика — понимание данных. Python, NumPy и Pandas объединяют всё это в мощный рабочий процесс.

В следующих статьях мы углубимся в конкретные алгоритмы машинного обучения, начиная с линейной регрессии, где применим все изученные сегодня концепции на практике.

Классическое машинное обучение: от регрессии до ансамблевых методов

В предыдущей статье мы заложили математический фундамент и освоили инструменты Python (NumPy, Pandas) для работы с данными. Теперь мы переходим к сердцу искусственного интеллекта — алгоритмам машинного обучения (Machine Learning, ML).

На олимпиаде IOAI задачи часто делятся на работу с неструктурированными данными (картинки, текст — здесь царит Deep Learning) и табличными данными. Для последних классическое машинное обучение до сих пор остается «золотым стандартом» эффективности. Сегодня мы пройдем путь от простейшей прямой линии до мощных ансамблей, которые выигрывают чемпионаты Kaggle.

Обучение с учителем (Supervised Learning)

Большинство задач на олимпиаде будет относиться к категории обучения с учителем. Это означает, что у нас есть набор данных (датасет), состоящий из:

Признаков (Features, ): Входные данные (например, площадь дома, количество комнат).

Целевой переменной (Target, ): То, что нужно предсказать (например, цена дома).

Наша цель — найти такую функцию , чтобы .

Линейная регрессия: начало всех начал

Самый простой способ описать зависимость в данных — провести через них прямую линию. Если мы предсказываем числовое значение (например, температуру или цену), это называется задачей регрессии.

Математическая модель

В основе линейной регрессии лежит предположение, что целевая переменная линейно зависит от признаков:

Где: * — предсказываемое значение. * — свободный член (bias), смещение прямой относительно начала координат. * — веса модели (коэффициенты), показывающие важность каждого признака. * — значения признаков.

В векторном виде это записывается компактнее:

Где: * — предсказание модели. * — транспонированный вектор весов. * — вектор признаков.

!Визуализация того, как линейная регрессия аппроксимирует данные.

Функция потерь (Loss Function)

Как найти идеальные веса ? Нам нужно минимизировать ошибку. В регрессии чаще всего используют среднеквадратичную ошибку (MSE — Mean Squared Error):

Где: * — количество объектов в выборке. * — знак суммирования по всем объектам от 1 до . * — реальное значение для -го объекта. * — предсказанное значение для -го объекта.

Метод, с помощью которого мы обновляем веса, чтобы уменьшить MSE, называется градиентным спуском. Мы вычисляем производную функции ошибки по весам и делаем шаг в сторону антиградиента.

Реализация на Python

Библиотека Scikit-learn (sklearn) — это основной инструмент для классического ML.

Логистическая регрессия: когда нужно выбрать класс

Несмотря на название, логистическая регрессия используется для задач классификации (например, определить, болен пациент или здоров, спам это или не спам).

Здесь нам нужно предсказать не число, а вероятность принадлежности к классу (от 0 до 1). Для этого линейное уравнение оборачивается в сигмоиду:

Где: * — значение сигмоид-функции (вероятность), лежащее в диапазоне . * — число Эйлера (основание натурального логарифма, ) * — результат линейной комбинации признаков (то самое ).

Если , мы относим объект к классу 1, иначе — к классу 0.

Деревья решений (Decision Trees)

Линейные модели хороши, но мир не всегда линеен. Иногда зависимость выглядит как набор правил: «Если возраст > 18 и доход > 50000, выдать кредит».

Дерево решений — это алгоритм, который автоматически строит такие правила, разбивая данные на все более мелкие группы.

!Структура дерева решений, показывающая процесс принятия решения через последовательные вопросы.

Как дерево выбирает вопрос?

Алгоритм перебирает все признаки и ищет такое разбиение, которое максимально упорядочивает данные. Мерой беспорядка часто служит энтропия:

Где: * — энтропия множества (мера неопределенности). * — количество классов. * — сумма по всем классам. * — доля объектов класса в этом множестве. * — логарифм по основанию 2.

Если в группе только объекты одного класса, энтропия равна 0 (полный порядок). Если классов поровну — энтропия максимальна. Дерево стремится снизить энтропию (увеличить Information Gain).

Главная проблема деревьев — они склонны к переобучению (overfitting). Дерево может построить настолько сложные правила, что просто «запомнит» обучающую выборку, но не сможет работать на новых данных.

Ансамблевые методы: сила единства

На соревнованиях IOAI одиночные деревья решений используются редко. Побеждают ансамбли — группы моделей, работающие вместе. Существует две основные стратегии ансамблирования.

1. Бэггинг (Bagging) и Случайный лес

Идея: обучить много независимых деревьев на случайных подвыборках данных и усреднить их ответы.

Самый известный пример — Random Forest (Случайный лес). Поскольку каждое дерево видит только часть данных и часть признаков, их ошибки взаимно компенсируются при голосовании. Это значительно снижает переобучение.

2. Бустинг (Boosting)

Идея: обучать модели последовательно. Каждая новая модель учится исправлять ошибки предыдущей.

Строим первое слабое дерево.

Смотрим, где оно ошиблось.

Строим второе дерево, которое фокусируется именно на этих ошибках.

Повторяем раз.

Самые популярные библиотеки для бустинга, которые вы обязаны знать для IOAI: * XGBoost * LightGBM * CatBoost (от Яндекс)

Бустинг часто дает более высокую точность, чем случайный лес, но его легче переобучить, и он требует более тщательной настройки гиперпараметров.

!Различие в архитектуре параллельного (Random Forest) и последовательного (Boosting) ансамблирования.

Оценка качества моделей

Мало обучить модель, нужно понять, насколько она хороша. Просто «точности» (Accuracy) часто недостаточно, особенно если классы несбалансированы (например, 99% здоровых и 1% больных).

Матрица ошибок (Confusion Matrix)

Для бинарной классификации результаты делятся на: * TP (True Positive): Верно предсказали класс 1. * TN (True Negative): Верно предсказали класс 0. * FP (False Positive): Ошибка 1-го рода (ложная тревога). * FN (False Negative): Ошибка 2-го рода (пропуск цели).

Ключевые метрики

Precision (Точность): Какая доля объектов, названных нами классом 1, действительно является классом 1?

Где — истинно положительные, — ложно положительные срабатывания.

Recall (Полнота): Какую долю объектов класса 1 из всех существующих мы нашли?

Где — истинно положительные, — ложно отрицательные (пропущенные).

F1-Score: Гармоническое среднее между Precision и Recall. Используется, когда важны оба показателя.

Где и — метрики, описанные выше.

Заключение

Мы прошли путь от линейной регрессии до градиентного бустинга. Для успешного выступления на IOAI вам нужно:

Понимать природу данных (линейная она или нет?).

Уметь быстро строить бейзлайн (базовое решение) на sklearn.

Использовать бустинг (XGBoost/CatBoost) для максимизации метрик на табличных данных.

Правильно валидировать модель, чтобы не обмануть себя хорошими цифрами на обучении.

В следующей статье мы сделаем шаг в сторону нейронных сетей и Deep Learning, начав с перцептрона и алгоритма обратного распространения ошибки.

Глубокое обучение и компьютерное зрение: архитектуры нейронных сетей

Добро пожаловать на третий этап нашего курса подготовки к IOAI. В прошлых статьях мы разобрали классическое машинное обучение, которое отлично справляется с табличными данными. Но что делать, если наши данные — это не аккуратные строки в Excel, а фотографии, звуковые дорожки или текст?

Здесь на сцену выходит Глубокое обучение (Deep Learning). Это подраздел машинного обучения, основанный на искусственных нейронных сетях. Сегодня мы разберем, как устроены нейросети, почему они совершили революцию в компьютерном зрении и как написать свою первую сверточную сеть.

От биологии к математике: Перцептрон

Идея нейронных сетей вдохновлена устройством человеческого мозга. Наш мозг состоит из миллиардов нейронов, связанных между собой синапсами. В компьютерных науках мы используем упрощенную математическую модель нейрона, называемую перцептроном.

Анатомия искусственного нейрона

Перцептрон принимает на вход несколько чисел (сигналов), умножает их на веса (важность сигнала), суммирует и добавляет смещение. Затем полученное число проходит через функцию активации.

Математически это записывается так:

Где: * — результат линейной комбинации (взвешенная сумма). * — количество входов нейрона. * — знак суммирования. * — вес -го входа (параметр, который сеть обучается настраивать). * — значение -го входного сигнала. * — смещение (bias), позволяющее сдвигать функцию активации влево или вправо.

!Схема работы одного нейрона: от входов до выхода.

Функция активации

Если бы нейрон просто суммировал входы, вся огромная нейросеть была бы эквивалентна одной большой линейной регрессии. Чтобы моделировать сложные зависимости (например, форму кота на фото), нам нужна нелинейность.

Самая популярная функция активации сегодня — ReLU (Rectified Linear Unit):

Где: * — выходное значение нейрона после активации. * — функция, которая возвращает , если оно положительное, и , если оно отрицательное.

Это простая, но мощная идея: если сигнал слабый (меньше нуля), нейрон «молчит». Если сильный — передает его дальше.

Многослойный перцептрон (MLP)

Один нейрон может решать только простейшие задачи. Но если мы объединим их в слои, где выходы одного слоя служат входами для следующего, мы получим Многослойный перцептрон (Multi-Layer Perceptron, MLP).

В MLP есть:

Входной слой: Принимает сырые данные.

Скрытые слои: Преобразуют данные, извлекая признаки.

Выходной слой: Выдает финальное предсказание.

Процесс обучения такой сети называется обратным распространением ошибки (Backpropagation). Сеть делает предсказание, мы считаем ошибку (Loss), а затем с помощью цепного правила вычисляем градиенты и обновляем веса в обратном направлении — от выхода к входу.

Компьютерное зрение и проблемы MLP

Представьте, что мы хотим научить сеть различать рукописные цифры на изображениях размером 28x28 пикселей. В MLP нам пришлось бы вытянуть картинку в один длинный вектор длиной элемента.

Проблемы такого подхода:

Потеря пространственной структуры: Сеть не знает, что пиксель в левом верхнем углу находится рядом с соседним пикселем. Для неё это просто и .

Огромное количество весов: Для цветного фото 1000x1000 пикселей входной слой имел бы 3 миллиона нейронов. Если следующий слой такой же, количество весов будет . Это невозможно вычислить.

Решением стали Сверточные нейронные сети (CNN).

Сверточные нейронные сети (CNN)

CNN (Convolutional Neural Networks) учитывают двумерную структуру изображений. Они не смотрят на все пиксели сразу, а сканируют изображение небольшим «окном».

Операция свертки (Convolution)

Главный элемент CNN — это сверточный слой. У него есть набор фильтров (ядер/kernels). Фильтр — это маленькая матрица весов (например, 3x3).

Мы скользим этим фильтром по изображению, перемножая значения пикселей на веса фильтра и суммируя результат.

Где: * — значение пикселя в выходной карте признаков. * — двойная сумма по высоте и ширине фильтра. * — входное изображение (или карта признаков с предыдущего слоя). * — матрица весов фильтра (ядро). * — индексы внутри фильтра.

!Принцип работы свертки: сканирующее окно превращает исходное изображение в карту признаков.

Зачем это нужно? Фильтры учатся выделять визуальные паттерны. Первые слои находят простые линии и границы. Следующие слои собирают из линий фигуры (глаза, уши). Последние слои распознают целые объекты (коты, собаки).

Пулинг (Pooling)

После свертки размер данных все еще велик. Слой пулинга (подвыборки) уменьшает размерность изображения, оставляя только самое важное.

Самый частый метод — Max Pooling. Мы берем окно 2x2 и оставляем только максимальное значение из четырех пикселей.

Это делает сеть устойчивой к небольшим сдвигам объекта на картинке и уменьшает количество вычислений.

Архитектуры, изменившие мир

На олимпиаде IOAI вам полезно знать эволюцию архитектур, чтобы понимать, какую модель выбрать для задачи.

1. LeNet-5 (1998)

Одна из первых успешных сетей для распознавания цифр. Структура: Свертка -> Пулинг -> Свертка -> Пулинг -> Полносвязный слой.

2. AlexNet (2012)

Сеть, начавшая революцию Deep Learning. Она была глубже, использовала ReLU вместо сигмоиды и обучалась на видеокартах (GPU).

3. ResNet (2015)

С увеличением глубины сети (до 20+ слоев) обучение становилось невозможным из-за затухания градиентов. ResNet (Residual Network) ввела Skip Connections (остаточные связи).

Идея проста: добавить вход слоя к его выходу.

Где: * — выход блока. * — результат работы слоев внутри блока. * — исходный вход, который «перепрыгивает» через слои.

Это позволило обучать сети глубиной в сотни слоев.

Практика: CNN на PyTorch

Для IOAI стандартом является библиотека PyTorch. Она гибкая и удобная для исследований. Вот пример простой сети для классификации:

> «Я думаю, что в будущем глубокое обучение будет выглядеть как часть операционной системы. Вы просто попросите компьютер сделать что-то, и он это сделает». — Джеффри Хинтон

Заключение

Мы разобрали, как нейронные сети видят мир. Свертка позволяет находить локальные паттерны, пулинг убирает лишнее, а полносвязные слои принимают финальное решение. Архитектуры вроде ResNet позволяют строить невероятно глубокие модели.

В следующей статье мы перейдем к обработке естественного языка (NLP) и разберем архитектуру Transformer, которая лежит в основе ChatGPT и других современных языковых моделей.

Обработка естественного языка (NLP) и современные генеративные модели

Мы продолжаем наш курс подготовки к IOAI. В предыдущей статье мы исследовали компьютерное зрение и узнали, как сверточные нейронные сети (CNN) «смотрят» на мир через фильтры и карты признаков. Но что, если данные — это не сетка пикселей, а последовательность символов? Что, если мы хотим научить машину читать, переводить тексты или писать стихи?

Добро пожаловать в мир Natural Language Processing (NLP). Сегодня мы разберем эволюцию обработки текста: от простых векторов до архитектуры Transformer, которая лежит в основе ChatGPT, Claude и Gemini.

Представление текста: от слов к числам

Компьютер не понимает слова «король» или «королева». Он понимает только числа. Первая задача NLP — превратить текст в математический объект.

Токенизация и One-Hot Encoding

Сначала текст разбивается на части — токены (слова, части слов или символы). Самый простой способ закодировать их — One-Hot Encoding. Если у нас словарь из 10 000 слов, то слово «яблоко» может быть вектором, где на 534-й позиции стоит 1, а все остальные — 0.

Проблема этого подхода: векторы огромные и разреженные (почти одни нули), и, главное, они не несут смысла. В таком представлении математическое расстояние между словами «яблоко» и «груша» такое же, как между «яблоко» и «синхрофазотрон».

Эмбеддинги (Embeddings)

Революция произошла с появлением эмбеддингов (например, Word2Vec). Это плотные векторы фиксированной длины (например, 300 или 768 чисел), которые обучаются так, чтобы похожие по смыслу слова находились рядом в многомерном пространстве.

!Визуализация векторного пространства, где геометрические отношения отражают смысловые связи между словами.

Математически близость слов определяется через косинусное сходство:

Где: * — степень похожести (от -1 до 1). * — косинус угла между векторами. * и — векторы эмбеддингов двух слов. * — скалярное произведение векторов. * и — длины (нормы) векторов.

Если слова похожи, угол между ними близок к 0, а косинус — к 1.

Проблема памяти: RNN и LSTM

До 2017 года стандартом были Рекуррентные нейронные сети (RNN). Они читали текст последовательно, слово за словом, передавая скрытое состояние (память) от предыдущего шага к следующему.

Главная проблема RNN — затухание градиента. Если предложение очень длинное, сеть «забывает» начало фразы к моменту, когда дочитывает конец. Представьте, что вы читаете книгу, но помните только последние 5 слов. Понять смысл сюжета так невозможно.

Революция Transformer: Attention Is All You Need

В 2017 году исследователи из Google опубликовали статью «Attention Is All You Need», предложив архитектуру Transformer. Она отказалась от последовательного чтения (рекурсии) в пользу механизма внимания (Self-Attention).

Трансформер может смотреть на все слова в предложении одновременно и решать, какие из них важны друг для друга, независимо от расстояния между ними.

Механизм внимания (Self-Attention)

Это сердце современного NLP. Для каждого токена создаются три вектора:

Query (Q, Запрос): Что я ищу?

Key (K, Ключ): Что я содержу (как метка)?

Value (V, Значение): Какую информацию я передам?

Аналогия: Вы в библиотеке (это база данных). Вы ищете книгу по квантовой физике (это ваш Query). На корешках книг написаны названия (это Keys). Вы сравниваете свой запрос с ключами. Когда находите совпадение, вы берете содержание книги (это Value).

Формула Scaled Dot-Product Attention:

Где: * — матрица запросов. * — матрица ключей. * — матрица значений. * — транспонированная матрица ключей (нужна для перемножения). * — размерность векторов ключей. * — коэффициент масштабирования, чтобы числа не становились слишком большими (иначе градиенты исчезнут). — функция, превращающая числа в вероятности (сумма равна 1). Она показывает, насколько* сильно нужно обратить внимание на каждый токен.

!Архитектура Transformer, состоящая из кодирующей (Encoder) и декодирующей (Decoder) частей.

Multi-Head Attention

Одной «головы» внимания недостаточно. Слово может быть связано с подлежащим грамматически, а с дополнением — по смыслу. Multi-Head Attention позволяет модели создавать несколько независимых механизмов внимания, каждый из которых фокусируется на разных аспектах языка.

Архитектуры на базе Transformer

После появления Трансформера мир NLP разделился на три лагеря:

Encoder-only (например, BERT): Используют только левую часть Трансформера. Они видят весь текст сразу. Идеальны для классификации, поиска именованных сущностей и анализа тональности.

Decoder-only (например, GPT): Используют только правую часть. Они видят только предыдущие слова и пытаются предсказать следующее. Это и есть генеративные модели.

Encoder-Decoder (например, T5, BART): Используют обе части. Хороши для перевода текста и суммаризации.

Генеративные модели (LLM)

Современные большие языковые модели (Large Language Models, LLM) — это, по сути, огромные Декодеры. Их обучение строится на простой задаче: Next Token Prediction (предсказание следующего токена).

Если мы подаем фразу «Мама мыла», модель вычисляет вероятности для всех слов в словаре, которые могут идти следом. Например: * «раму»: 60% * «посуду»: 20% * «машину»: 5%

Температура и сэмплирование

Как модель выбирает слово? Если всегда брать самое вероятное (Greedy Search), текст будет сухим и повторяющимся. Чтобы добавить «креативности», используют параметры генерации.

Формула модификации вероятностей температурой:

Где: * — вероятность выбора -го токена. * — логит (сырое предсказание модели) для -го токена. * — температура. * — экспонента. * — сумма по всем возможным токенам.

Если , распределение заостряется (модель становится уверенной и консервативной). Если , распределение сглаживается (модель чаще выбирает неочевидные варианты, становится «креативной», но может начать бредить).

Практика: Hugging Face Transformers

На IOAI вам не нужно писать Attention с нуля (хотя понимать формулу обязательно). Стандартом индустрии является библиотека transformers от Hugging Face.

Пример использования предобученной модели для анализа тональности:

А вот пример генерации текста с помощью GPT-2:

> «Язык — это не просто способ описания мира, это инструмент для его создания».

Заключение

Мы прошли путь от простых векторов до мощнейших генеративных моделей. Теперь вы знаете, что «магия» ChatGPT строится на математике векторов, механизме внимания и вероятностном предсказании следующего слова.

Ключевые выводы для олимпиады:

Текст превращается в эмбеддинги.

Attention позволяет связывать любые слова в контексте.

Transformer — базовая архитектура для всего современного NLP.

Генерация управляется вероятностями и температурой.

В следующем блоке мы обсудим этику ИИ и тонкую настройку (Fine-tuning) моделей под конкретные задачи.

Практикум решения задач формата IOAI и этика искусственного интеллекта

Поздравляю! Вы прошли огромный путь: от основ линейной алгебры и Python до архитектур трансформеров и генеративных моделей. Теперь у вас есть технический инструментарий. Однако Международная олимпиада по искусственному интеллекту (IOAI) — это не просто соревнование по написанию кода. Это тест на умение мыслить научно, решать нестандартные задачи и, что не менее важно, понимать ответственность за создаваемые технологии.

В этой финальной статье курса мы разберем структуру олимпиадных задач, стратегии их решения и погрузимся в критически важную тему — этику ИИ.

Анатомия олимпиады IOAI

Олимпиада обычно делится на два типа раундов: Научный (Scientific) и Практический (Practical). У каждого из них своя специфика.

1. Научный раунд: Теория и исследования

Здесь вам не всегда нужно писать код. Часто задача состоит в том, чтобы проанализировать существующую проблему, предложить теоретическое решение или модифицировать математическую модель. Вам могут дать описание новой архитектуры нейросети и попросить рассчитать количество параметров или предложить функцию потерь для специфического случая.

Пример задачи: Представьте, что вы разрабатываете систему диагностики редкого заболевания. Больных пациентов всего 1%, здоровых — 99%. Обычная метрика Accuracy (точность) здесь бесполезна: модель, которая всем ставит диагноз «здоров», получит 99% точности, но пропустит всех больных.

Решение: Вам нужно предложить метрику, которая учитывает баланс между точностью (Precision) и полнотой (Recall). Стандартный F1-score дает им равный вес, но в медицине пропуск больного (False Negative) страшнее, чем ложная тревога (False Positive). Поэтому мы используем F-beta score.

Где: * — значение метрики. * (бета) — коэффициент, определяющий важность полноты относительно точности. * — точность (доля верно предсказанных положительных классов среди всех предсказанных положительных). * — полнота (доля верно предсказанных положительных классов среди всех реальных положительных).

Если мы выберем , то полнота станет важнее точности, что и требуется для медицинской задачи. Умение жонглировать такими формулами — ключ к успеху в научном раунде.

2. Практический раунд: Оптимизация и Fine-tuning

Здесь вам дадут датасет и задачу: «Обучите модель переводить тексты с суахили на английский». Но есть подвох: ресурсы ограничены (время, память GPU).

В предыдущей статье мы говорили о LLM. Обучать их с нуля на олимпиаде невозможно. Вы будете использовать Fine-tuning (дообучение). Однако даже дообучение всех весов модели требует огромной памяти. Здесь на помощь приходит метод LoRA (Low-Rank Adaptation).

Математическая суть LoRA: Вместо того чтобы обновлять огромную матрицу весов , мы добавляем к ней небольшую поправку , которую представляем как произведение двух маленьких матриц и .

Где: * — выходной вектор слоя. * — замороженные веса исходной модели (мы их не трогаем). * — входной вектор. * и — обучаемые матрицы низкого ранга (размера и , где очень мало).

!Схематичное изображение метода LoRA, показывающее параллельную ветку обучаемых параметров.

Использование LoRA позволяет сократить количество обучаемых параметров в 10 000 раз, что идеально подходит для условий олимпиады.

Пример использования библиотеки peft (Parameter-Efficient Fine-Tuning) от Hugging Face:

Этика искусственного интеллекта

На IOAI этика — это не просто «поговорить о хорошем», это часть задания, которая оценивается баллами. Вы должны уметь находить уязвимости в своих решениях.

1. Предвзятость (Bias) и Справедливость (Fairness)

Данные, на которых учатся модели, собираются людьми, а люди предвзяты. Если вы обучаете модель для найма сотрудников на исторических данных, где 90% руководителей были мужчинами, модель научится отсеивать резюме женщин.

Для оценки справедливости используется метрика Disparate Impact (DI):

Где: * — коэффициент несоразмерного влияния. * — вероятность события. * — положительное предсказание модели (например, «нанять»). * — ущемленная группа (например, меньшинства). * — привилегированная группа.

Идеальное значение равно 1. Если , модель считается предвзятой (правило 80%). На олимпиаде вас могут попросить не просто обучить модель, но и доказать, что ее находится в допустимых границах.

2. Объяснимость (Explainability / XAI)

«Черный ящик» — это плохо. Если нейросеть отказала в кредите, банк обязан объяснить почему. Для этого используют методы интерпретации, например, SHAP (SHapley Additive exPlanations).

Метод основан на теории игр. Он рассчитывает, какой вклад внес каждый признак в итоговое предсказание, перебирая все возможные комбинации признаков.

Где: * — значение Шепли для -го признака (его вклад). * — множество всех признаков. * — подмножество признаков без участия -го. * и другие факториалы — весовые коэффициенты для усреднения. * — предсказание модели, обученной только на признаках из набора . * — разница в предсказании при добавлении признака (маржинальный вклад).

Понимать эту формулу полезно, но на практике важнее уметь интерпретировать графики SHAP values, чтобы понять, на что именно смотрит ваша модель.

3. Безопасность (Safety) и Jailbreaking

Современные LLM могут быть атакованы. Jailbreak — это способ заставить модель нарушить свои правила безопасности (например, выдать инструкцию по созданию вируса). На IOAI могут быть задания по защите промптов или, наоборот, по тестированию модели на устойчивость к атакам (Red Teaming).

Стратегия победы на IOAI

Читайте условия до конца. В задачах часто скрыты мелкие детали (constraints), игнорирование которых обнуляет решение.

Начинайте с простого (Baseline). Не пытайтесь сразу обучить трансформер на 100 слоев. Сначала запустите логистическую регрессию или Random Forest. Получите первый результат, а затем улучшайте его.

Валидация — ваше всё. Если на вашем компьютере метрика отличная, а на лидерборде низкая — вы переобучились. Используйте кросс-валидацию.

Работайте в команде. Распределяйте роли: кто-то пишет пайплайн загрузки данных, кто-то подбирает архитектуру, кто-то пишет отчет по этике.

Заключение курса

Мы прошли путь от векторов и матриц до этики и LoRA. Искусственный интеллект — это быстро меняющаяся область. То, что актуально сегодня, может устареть завтра. Но фундамент — математика, понимание данных и научный метод — остается неизменным.

Участие в IOAI — это не только шанс получить медаль, но и возможность стать частью сообщества, которое будет формировать будущее технологий. Удачи в подготовке и до встречи на олимпиаде!