Разработка ML-моделей для прогнозирования цен на фондовом рынке

Сбор, очистка и предварительная обработка финансовых временных рядов

Добро пожаловать на курс «Разработка ML-моделей для прогнозирования цен на фондовом рынке». Это первая и, пожалуй, самая важная статья нашего цикла. Почему? Потому что в мире Data Science существует золотое правило: «Garbage In, Garbage Out» (Мусор на входе — мусор на выходе).

Даже самая сложная нейронная сеть не сможет предсказать движение рынка, если вы «скормите» ей грязные, некорректные или неправильно обработанные данные. В этой статье мы разберем фундамент: откуда брать данные, как их чистить от ошибок и как превратить сырые цифры в топливо для алгоритмов машинного обучения.

Что такое финансовый временной ряд?

Временной ряд — это последовательность данных, измеренных через равные промежутки времени. В финансах это обычно история цен на активы (акции, валюты, криптовалюты).

В отличие от классических задач машинного обучения (например, классификации изображений), здесь критически важен порядок данных. Цена сегодня зависит от цены вчера, а цена завтра будет зависеть от цены сегодня. Мы не можем просто перемешать эти данные, как колоду карт.

Формат данных OHLCV

Стандартом де-факто для финансовых данных является формат OHLCV. Это агрегированные данные за определенный период (таймфрейм: минута, час, день).

Атрибут	Расшифровка	Описание
Open	Цена открытия	Цена первой сделки за период
High	Максимум	Самая высокая цена сделки за период
Low	Минимум	Самая низкая цена сделки за период
Close	Цена закрытия	Цена последней сделки за период (наиболее важна для анализа)
Volume	Объем	Количество акций/контрактов, проданных за этот период

Сбор данных

Для начала работы нам нужен источник данных. В профессиональной среде используются платные терминалы (Bloomberg, Refinitiv), но для обучения и разработки собственных моделей отлично подходят открытые API и библиотеки.

Популярные источники:

Yahoo Finance (yfinance) — самый популярный бесплатный источник. Отлично подходит для дневных данных.
Alpha Vantage — предоставляет API для получения исторических данных.
Биржевые API (Binance, MOEX) — если вы работаете с конкретной биржей.

Пример того, как выглядит загрузка данных на Python (библиотека yfinance):

import yfinance as yf

# Загрузка данных Apple с 2020 по 2023 год
data = yf.download("AAPL", start="2020-01-01", end="2023-01-01")
print(data.head())

Очистка данных: подводные камни

Сырые данные редко бывают идеальными. Вот основные проблемы, с которыми вы столкнетесь.

1. Пропуски в данных (Missing Values)

Финансовые рынки не работают 24/7 (кроме крипты). Есть выходные и праздники. В данных могут появляться «дыры» (NaN).

Важно: В финансах нельзя просто удалять строки с пропусками или заполнять их средним значением по всему датасету, так как это нарушит временную структуру.

Лучшая стратегия — Forward Fill (ffill). Мы берем последнее известное значение и переносим его вперед. Логика проста: если цена не менялась (биржа закрыта), значит, она осталась такой же, как в момент закрытия.

2. Корпоративные события (Splits & Dividends)

Это самая коварная ловушка для новичков. Представьте, что акция стоила 100 долларов. Компания провела сплит (дробление) 2 к 1. Теперь у вас две акции по 50 долларов.

Для алгоритма это выглядит как обвал цены на 50% за один день! Чтобы избежать этого, нужно использовать Adjusted Close (Скорректированная цена закрытия). Она пересчитывает исторические цены так, будто сплит произошел в прошлом, сохраняя процентные изменения.

Предварительная обработка (Preprocessing)

Модели машинного обучения плохо работают с «сырыми» ценами. Акция может стоить 10 долларов, а через год — 2000. Такой разброс значений мешает обучению нейросетей.

Переход к доходностям (Returns)

Вместо абсолютной цены мы используем относительное изменение цены — доходность. Это делает ряд более стационарным (его статистические свойства, такие как среднее и дисперсия, меньше меняются со временем).

Простая доходность (Simple Return)

Формула простой доходности выглядит так:

R_t = \frac{P_t - P_{t-1}}{P_{t-1}}

Где:

$R_t$ — доходность в момент времени $t$ .
$P_t$ — цена в текущий момент времени $t$ .
$P_{t-1}$ — цена в предыдущий момент времени $t-1$ .

Логарифмическая доходность (Log Return)

В ML чаще используют логарифмическую доходность. Она обладает свойством аддитивности (доходности за периоды можно складывать) и часто имеет распределение, близкое к нормальному.

r_t = \ln\left(\frac{P_t}{P_{t-1}}\right)

Где:

$r_t$ — логарифмическая доходность.
$\ln$ — натуральный логарифм.
$P_t$ — цена в текущий момент.
$P_{t-1}$ — цена в предыдущий момент.

Масштабирование (Scaling)

Нейронные сети работают эффективнее, когда входные данные находятся в небольшом диапазоне (например, от 0 до 1 или имеют среднее 0 и дисперсию 1).

Два основных метода:

Min-Max Scaling (нормализация): сжимает данные в диапазон [0, 1].
Standardization (Z-score): делает среднее значение равным 0, а стандартное отклонение равным 1.

Формула стандартизации:

z = \frac{x - \mu}{\sigma}

Где:

$z$ — стандартизированное значение.
$x$ — исходное значение.
$\mu$ — среднее значение выборки (мю).
$\sigma$ — стандартное отклонение выборки (сигма).

Разделение данных: Осторожно, будущее!

В классическом ML мы часто используем функцию train_test_split с перемешиванием (shuffle=True). В финансах это строго запрещено.

Если вы перемешаете данные, модель может обучиться на данных из 2022 года, чтобы предсказывать 2021 год. Это называется Look-ahead bias (подглядывание в будущее).

Данные нужно делить строго хронологически:

Train: (например, 2010–2018 гг.) — учим модель.
Validation: (2019–2020 гг.) — подбираем параметры.
Test: (2021–2022 гг.) — проверяем финальное качество.

Заключение

Мы разобрали первый этап построения ML-системы. Теперь у вас есть понимание того, как собрать данные, почему важен Adjusted Close, зачем нужны логарифмические доходности и как правильно делить выборку. В следующих статьях мы перейдем к созданию признаков (Feature Engineering) и выбору моделей.

Инжиниринг признаков: технические индикаторы и фундаментальные факторы

В предыдущей статье мы научились собирать и очищать данные. Теперь у нас есть качественный набор OHLCV (Open, High, Low, Close, Volume). Но если мы подадим эти «голые» цифры в модель машинного обучения, результат, скорее всего, будет посредственным. Почему?

Потому что модель должна не просто видеть цену, а понимать контекст. Растет рынок или падает? Высокая сейчас волатильность или низкая? Перекуплен актив или перепродан?

Процесс создания переменных, которые помогают модели лучше понимать данные, называется Feature Engineering (Инжиниринг признаков). В финансовом ML признаки делятся на две большие группы: технические и фундаментальные.

Технические индикаторы

Технический анализ исходит из предположения, что вся необходимая информация уже заложена в цене и объеме. Мы используем математические формулы, чтобы извлечь из истории цен скрытые паттерны.

1. Трендовые индикаторы

Они помогают определить направление движения рынка. Самый простой и популярный пример — Скользящая средняя (Moving Average).

Простая скользящая средняя (SMA)

SMA сглаживает ценовой шум, показывая среднюю цену за определенный период.

SMA_t = \frac{1}{n} \sum_{i=0}^{n-1} P_{t-i}

Где:

$SMA_t$ — значение простой скользящей средней в момент времени $t$ .
$n$ — размер окна (период усреднения, например, 14 дней).
$\sum$ — знак суммирования.
$P_{t-i}$ — цена закрытия в момент времени $t-i$ (текущая и предыдущие цены).

Если текущая цена выше SMA, это часто интерпретируется как восходящий тренд.

Экспоненциальная скользящая средняя (EMA)

Проблема SMA в том, что она одинаково учитывает и вчерашнюю цену, и цену 20 дней назад. EMA придает больший вес последним данным, быстрее реагируя на изменения.

2. Осцилляторы (Индикаторы импульса)

Осцилляторы помогают понять силу движения и определить моменты разворота. Классический пример — RSI (Relative Strength Index).

RSI = 100 - \frac{100}{1 + RS}

Где:

$RSI$ — индекс относительной силы.
$RS$ — отношение среднего прироста цены к среднему падению за период (обычно 14 периодов).

Значения RSI колеблются от 0 до 100.

$RSI > 70$ : Актив перекуплен (цена выросла слишком быстро, возможна коррекция вниз).
$RSI < 30$ : Актив перепродан (цена упала слишком сильно, возможен отскок вверх).

3. Индикаторы волатильности

Волатильность показывает, насколько сильно «скачет» цена. Для ML это критически важный признак, так как в периоды высокой турбулентности старые паттерны могут ломаться.

Популярный инструмент — Полосы Боллинджера (Bollinger Bands). Они состоят из трех линий:

Средняя линия: SMA (обычно 20 периодов).
Верхняя линия: $SMA + 2\sigma$ .
Нижняя линия: $SMA - 2\sigma$ .

\sigma = \sqrt{\frac{1}{n} \sum_{i=1}^{n} (P_i - \mu)^2}

Где:

$\sigma$ — стандартное отклонение (сигма).
$n$ — количество периодов.
$P_i$ — цена в $i$ -й период.
$\mu$ — средняя цена за период (мю).

Когда полосы сужаются, волатильность падает (затишье перед бурей). Когда расширяются — начинается сильное движение.

Фундаментальные факторы

Если технический анализ изучает график, то фундаментальный — здоровье компании или экономики. В ML эти данные добавляют долгосрочный контекст.

Макроэкономические показатели

Эти данные влияют на весь рынок сразу.

Процентная ставка ЦБ: Рост ставки обычно давит на акции (кредиты становятся дороже).
Инфляция (CPI): Высокая инфляция обесценивает будущие доходы компаний.
Цена на нефть/золото: Важно для сырьевых экономик и секторов.

Микроэкономические показатели (данные компании)

Эти данные выходят раз в квартал (отчетность).

P/E (Price to Earnings): Отношение цены акции к прибыли на акцию. Показывает, переоценена компания или недооценена.
EPS (Earnings Per Share): Прибыль на одну акцию.

Проблема частоты данных: Цены меняются каждую секунду, а P/E — раз в квартал. Чтобы объединить их, мы используем метод «растягивания» (forward fill). Значение P/E за 1-й квартал дублируется для каждого дня 2-го квартала до выхода нового отчета.

Работа со временем (Time-based Features)

Финансовые рынки цикличны. Поведение трейдеров в понедельник отличается от пятницы, а декабрь часто бывает месяцем роста («Ралли Санта-Клауса»).

Мы можем извлечь признаки из даты:

День недели (0–6).
Месяц (1–12).
Квартал (1–4).

Циклическое кодирование

Проблема обычных чисел в том, что для модели месяц 12 (декабрь) и месяц 1 (январь) находятся далеко друг от друга (разница 11). Но во времени они соседи.

Чтобы сохранить цикличность, используют Sin/Cos трансформацию:

x_{sin} = \sin\left(\frac{2 \pi t}{T}\right)

x_{cos} = \cos\left(\frac{2 \pi t}{T}\right)

Где:

$x_{sin}, x_{cos}$ — новые признаки (координаты на круге).
$\sin, \cos$ — тригонометрические функции синус и косинус.
$\pi$ — число Пи (примерно 3.14159).
$t$ — текущее значение времени (например, номер месяца от 1 до 12).
$T$ — период цикла (для месяцев $T=12$ , для дней недели $T=7$ ).

Лаговые признаки (Lag Features)

Это, пожалуй, самые мощные признаки для прогнозирования временных рядов. Мы просто берем значения из прошлого и подаем их как входные данные для текущего момента.

Пример создания лагов для цены закрытия ( $Close$ ):

$Lag_1 = Close_{t-1}$ (Цена вчера)
$Lag_2 = Close_{t-2}$ (Цена позавчера)
$Lag_7 = Close_{t-7}$ (Цена неделю назад)

Это позволяет модели напрямую видеть динамику изменений.

Опасность мультиколлинеарности

Создавая сотни признаков, легко попасть в ловушку. Если вы добавите в модель $SMA_5$ , $SMA_{10}$ и $SMA_{15}$ , они будут очень сильно коррелировать друг с другом (похожи друг на друга).

Для линейных моделей это критично: они могут начать выдавать нестабильные предсказания. Для деревьев решений (Random Forest, XGBoost) это менее страшно, но все же избыточные признаки замедляют обучение и могут привести к переобучению.

Совет: Всегда проверяйте корреляционную матрицу ваших признаков и удаляйте те, у которых корреляция близка к 1 (например, $>0.95$ ).

Реализация на Python

Для расчета технических индикаторов не обязательно писать формулы вручную. Существуют отличные библиотеки, такие как ta (Technical Analysis Library) или pandas-ta.

import pandas as pd
import pandas_ta as ta

# df - ваш DataFrame с данными OHLCV

# Добавление SMA
df['SMA_14'] = df.ta.sma(length=14)

# Добавление RSI
df['RSI_14'] = df.ta.rsi(length=14)

# Добавление Полос Боллинджера
df.ta.bbands(length=20, append=True)

Заключение

Мы превратили сырые данные в богатый набор признаков. Теперь наша модель «видит» тренды через скользящие средние, чувствует перегрев рынка через RSI и понимает сезонность через циклические признаки.

В следующей статье мы перейдем к выбору архитектуры модели и процессу обучения. Мы разберем, почему для временных рядов часто используют LSTM и GRU, и как правильно настроить валидацию.

Классические алгоритмы ML: от линейной регрессии до градиентного бустинга

В предыдущих статьях мы проделали огромную работу: собрали данные, очистили их от шума и создали мощные признаки (технические индикаторы и макроэкономические факторы). Теперь перед нами стоит главный вопрос: как научить компьютер находить закономерности в этих данных?

Многие новички сразу бросаются изучать сложные нейронные сети (LSTM, Transformers), пропуская классические алгоритмы. Это ошибка. В финансовом мире, где данных часто мало, а шума много, классические модели машинного обучения (Machine Learning) часто превосходят глубокое обучение (Deep Learning) или служат отличным базовым решением (baseline).

В этой статье мы пройдем путь от простейшей линейной регрессии до мощных ансамблевых методов, которые выигрывают соревнования на Kaggle.

Постановка задачи: Регрессия или Классификация?

Прежде чем выбрать алгоритм, нужно определиться, что именно мы предсказываем.

Регрессия (Regression): Мы пытаемся предсказать конкретное число. Например, цену закрытия завтра ($152.50) или доходность (+1.5%).
Классификация (Classification): Мы предсказываем категорию. Например, пойдет цена вверх (1) или вниз (0).

В финансах задача классификации часто работает стабильнее, так как предсказать точную цену невероятно сложно, а угадать направление — более реалистично.

Линейные модели

Линейная регрессия (Linear Regression)

Это самый простой алгоритм. Представьте, что мы пытаемся провести прямую линию через облако точек на графике так, чтобы она проходила максимально близко ко всем точкам.

Математически модель выглядит так:

y = w_0 + w_1 x_1 + w_2 x_2 + ... + w_n x_n

Где:

$y$ — целевая переменная (например, будущая доходность).
$w_0$ — свободный член (bias), смещение линии.
$w_1, w_2, ..., w_n$ — веса модели (коэффициенты важности признаков).
$x_1, x_2, ..., x_n$ — входные признаки (RSI, SMA, P/E и т.д.).

Плюсы:

Очень быстрая.
Легко интерпретировать (если вес при RSI положительный, значит, рост RSI ведет к росту цены).

Минусы:

Слишком проста. Рынок нелинеен. Зависимости между индикаторами и ценой редко бывают прямыми линиями.

Регуляризация (Lasso и Ridge)

В финансах мы часто создаем сотни признаков. Если их слишком много, линейная регрессия начинает «переобучаться» (overfitting) — она находит ложные закономерности в шуме.

Чтобы этого избежать, используют регуляризацию — штраф за слишком большие веса модели.

Lasso (L1): Зануляет веса бесполезных признаков. Это отличный способ отобрать самые важные индикаторы.
Ridge (L2): Уменьшает веса, но не зануляет их полностью. Делает модель более устойчивой.

Деревья решений (Decision Trees)

Деревья решений имитируют человеческую логику. Модель задает последовательность вопросов «Да/Нет».

Пример дерева:

RSI > 70?
- Да: Продавать.
- Нет: Цена выше скользящей средней (SMA)?
  - Да: Покупать.
  - Нет: Ждать.

Плюсы:

Улавливают нелинейные зависимости.
Не требуют масштабирования данных (Min-Max scaling не обязателен).

Минусы:

Сильное переобучение. Одиночное дерево склонно запоминать исторические данные наизусть, вместо того чтобы находить общие правила. На новых данных (Test set) оно часто работает плохо.

Ансамблевые методы (Ensembles)

Здесь начинается настоящая магия. Идея проста: «Мудрость толпы». Если мы возьмем много слабых моделей (например, деревьев) и объединим их решения, результат будет намного точнее и стабильнее.

Случайный лес (Random Forest)

Этот алгоритм использует метод Бэггинг (Bagging).

Мы создаем сотни деревьев решений. Каждое дерево обучается:

На случайной подвыборке данных.
Используя случайное подмножество признаков.

В итоге у нас получается «лес» из разнообразных деревьев. Чтобы получить прогноз, мы усредняем ответы всех деревьев (для регрессии) или проводим голосование (для классификации).

Y_{pred} = \frac{1}{N} \sum_{i=1}^{N} T_i(x)

Где:

$Y_{pred}$ — итоговое предсказание.
$N$ — количество деревьев в лесу.
$\sum$ — сумма результатов всех деревьев.
$T_i(x)$ — предсказание $i$ -го дерева для входных данных $x$ .

Почему это работает в финансах? Случайный лес отлично борется с шумом. Если одно дерево ошиблось из-за рыночной аномалии, другие деревья исправят эту ошибку своим голосованием.

Градиентный бустинг (Gradient Boosting)

На сегодняшний день это «золотой стандарт» для табличных данных. Самые популярные реализации: XGBoost, LightGBM, CatBoost.

В отличие от Случайного леса, где деревья строятся независимо, здесь деревья строятся последовательно.

Строим первое дерево. Оно дает грубый прогноз.
Считаем ошибку (разницу между прогнозом и фактом).
Строим второе дерево, которое учится предсказывать ошибку первого дерева.
Повторяем процесс, каждый раз улучшая результат.

Математически это можно записать как добавление новой функции $f_k$ к ансамблю:

F_k(x) = F_{k-1}(x) + \eta \cdot f_k(x)

Где:

$F_k(x)$ — предсказание ансамбля на шаге $k$ .
$F_{k-1}(x)$ — предсказание ансамбля на предыдущем шаге.
$\eta$ — скорость обучения (learning rate), коэффициент, контролирующий вклад нового дерева (обычно маленькое число, например, 0.01).
$f_k(x)$ — новое дерево, обученное на ошибках предыдущих.

Преимущества бустинга:

Высочайшая точность.
Гибкость настроек.

Риски:

Легко переобучить, если поставить слишком много деревьев.

Метрики качества: Как измерить успех?

В финансах стандартные метрики ML могут вводить в заблуждение. Тем не менее, мы используем их для настройки моделей.

Для регрессии

MSE (Mean Squared Error): Штрафует за большие ошибки. Полезна, если мы боимся сильных промахов.
MAE (Mean Absolute Error): Средняя абсолютная ошибка. Легче интерпретировать (ошибка в долларах или процентах).

Для классификации

Accuracy (Точность): Доля правильных ответов. Осторожно! Если рынок растет 60% времени, модель, которая всегда говорит «Покупать», будет иметь Accuracy 60%, но она бесполезна.
Precision и Recall: Важнее Accuracy. Precision показывает, сколько из наших сигналов «Покупать» были верными.

Важно: Финальным судьей всегда является Backtesting (тестирование на истории). Модель может иметь низкую ошибку MSE, но приносить убытки из-за комиссий или неправильного управления рисками.

Пример кода (XGBoost)

Вот как просто запустить мощный алгоритм на Python:

from xgboost import XGBClassifier
from sklearn.metrics import precision_score

# Инициализация модели
model = XGBClassifier(n_estimators=100, learning_rate=0.05)

# Обучение (помните про хронологическое разделение!)
model.fit(X_train, y_train)

# Предсказание
preds = model.predict(X_test)

# Оценка
print(f"Precision: {precision_score(y_test, preds)}")

Заключение

Мы рассмотрели эволюцию алгоритмов от простых линий до сложных ансамблей. Для старта в алготрейдинге Random Forest и Gradient Boosting являются лучшим выбором благодаря их устойчивости и способности находить сложные паттерны.

Однако, у всех этих моделей есть предел. Они плохо работают с «сырыми» последовательностями данных и не обладают «памятью» в том виде, в котором она нужна для анализа временных рядов. В следующей статье мы перейдем к Нейронным сетям и разберем архитектуры LSTM и GRU, созданные специально для последовательных данных.

Глубокое обучение для трейдинга: LSTM, GRU и архитектуры Трансформеров

В предыдущей статье мы рассмотрели классические алгоритмы машинного обучения, такие как Случайный лес и Градиентный бустинг. Они отлично справляются с табличными данными и часто служат надежным базовым решением. Однако у них есть существенный недостаток: они не обладают «памятью» в привычном понимании.

Для классического ML каждая строка данных — это отдельное событие. Модель не знает, что цена, которую она анализирует сейчас, идет сразу после цены, которую она видела шаг назад. Мы пытались компенсировать это созданием лаговых признаков (Lag Features), но это лишь «костыль».

Сегодня мы погрузимся в мир Deep Learning (Глубокого обучения) и разберем архитектуры, созданные специально для работы с последовательностями: рекуррентные нейронные сети (RNN), их продвинутые версии LSTM и GRU, а также революционный механизм Attention (Внимание), лежащий в основе Трансформеров.

Почему обычные нейросети не подходят?

Обычная полносвязная нейронная сеть (Feedforward Neural Network) работает по принципу «один вход — один выход». Она принимает фиксированный вектор признаков и выдает прогноз. В контексте временных рядов это создает две проблемы:

Отсутствие контекста: Сеть не помнит, что происходило 10 шагов назад, если мы явно не подадим это на вход.
Фиксированный размер входа: Мы не можем подать на вход историю за 5 дней сегодня, а завтра — за 10 дней. Архитектура жестко задана.

Рекуррентные нейронные сети (RNN)

Идея RNN (Recurrent Neural Network) гениально проста: давайте передавать информацию не только от слоя к слою, но и во времени.

В RNN выход нейрона на текущем шаге зависит не только от текущего входа, но и от его собственного состояния на предыдущем шаге. Это создает своего рода краткосрочную память.

Математически скрытое состояние обновляется так:

h_t = \tanh(W_h h_{t-1} + W_x x_t + b)

Где:

$h_t$ — скрытое состояние (память) в момент времени $t$ .
$\tanh$ — функция активации (гиперболический тангенс), сжимающая значения в диапазон [-1, 1].
$W_h$ — весовая матрица для предыдущего скрытого состояния.
$h_{t-1}$ — скрытое состояние в предыдущий момент времени $t-1$ .
$W_x$ — весовая матрица для текущих входных данных.
$x_t$ — входные данные в момент времени $t$ (например, цена и индикаторы сегодня).
$b$ — вектор смещения (bias).

Проблема исчезающего градиента

Несмотря на красивую теорию, обычные RNN имеют фатальный недостаток. При обучении на длинных последовательностях (например, история цен за год) градиенты (сигналы ошибки), которые используются для корректировки весов, становятся все меньше и меньше, пока идут от конца последовательности к началу.

В итоге сеть отлично помнит, что было вчера, но напрочь забывает, что было месяц назад. Это называется проблемой исчезающего градиента (Vanishing Gradient Problem).

LSTM: Долгая краткосрочная память

Чтобы решить проблему памяти, в 1997 году была предложена архитектура LSTM (Long Short-Term Memory). Она работает как конвейер, на котором сидит «менеджер», решающий, какую информацию пропустить дальше, какую запомнить, а какую забыть.

Ключевая особенность LSTM — наличие состояния ячейки (Cell State), которое проходит сквозь всю цепочку с минимальными изменениями. Регулируют поток информации три «вентиля» (gates).

1. Вентиль забывания (Forget Gate)

Решает, какую информацию из прошлого нужно выбросить. Например, если рынок сменил тренд с бычьего на медвежий, нам, возможно, стоит «забыть» старые уровни поддержки.

f_t = \sigma(W_f \cdot [h_{t-1}, x_t] + b_f)

Где:

$f_t$ — вектор значений от 0 до 1 (0 — забыть полностью, 1 — сохранить).
$\sigma$ — сигмоидальная функция активации.
$W_f$ — веса вентиля забывания.
$h_{t-1}$ — выход предыдущего шага.
$x_t$ — текущий вход.
$b_f$ — смещение.

2. Вентиль ввода (Input Gate)

Решает, какую новую информацию записать в ячейку памяти.

3. Вентиль вывода (Output Gate)

Определяет, что именно выдать наружу (в следующий скрытый слой или как предсказание) на основе текущей памяти и входа.

Благодаря этой сложной структуре, LSTM способны улавливать зависимости в финансовых рядах на сотни шагов назад, «понимая» долгосрочные тренды.

GRU: Упрощенная версия LSTM

Архитектура GRU (Gated Recurrent Unit) появилась в 2014 году как более легкая альтернатива LSTM. В ней нет отдельного состояния ячейки, а механизмы забывания и ввода объединены.

В GRU всего два вентиля:

Update Gate (Вентиль обновления): Аналог комбинации Forget и Input gate в LSTM.
Reset Gate (Вентиль сброса): Решает, сколько прошлой информации нужно забыть.

Что выбрать для трейдинга?

LSTM мощнее и лучше работает на очень длинных и сложных последовательностях.
GRU обучается быстрее (меньше параметров) и часто показывает сравнимое качество на небольших датасетах.

Обычно начинают с LSTM, а если модель слишком тяжелая — пробуют GRU.

Трансформеры и механизм Attention

До 2017 года RNN правили миром последовательностей. Но у них была проблема: они обрабатывают данные строго по порядку (шаг 1, шаг 2, шаг 3...). Это медленно и мешает параллельным вычислениям.

Появление архитектуры Transformer (статья «Attention Is All You Need») изменило всё. Трансформеры отказались от рекурсии в пользу механизма Self-Attention (Само-внимание).

Как работает Attention?

Представьте, что вы смотрите на график цены за год, чтобы предсказать цену завтра. Вы не сканируете его день за днем. Ваш взгляд сразу фокусируется на ключевых моментах: пиках, падениях, уровнях поддержки. Вы уделяете внимание важным участкам, игнорируя шум.

Механизм Attention позволяет модели на каждом шаге видеть всю последовательность целиком и самой решать, какие прошлые моменты важны для текущего прогноза.

Формула Scaled Dot-Product Attention:

Attention(Q, K, V) = \text{softmax}\left(\frac{QK^T}{\sqrt{d_k}}\right)V

Где:

$Q$ (Query) — запрос (то, что мы ищем, текущее состояние).
$K$ (Key) — ключ (метки данных в памяти, с которыми мы сверяем запрос).
$V$ (Value) — значение (сама информация, которую мы извлекаем).
$d_k$ — размерность векторов ключей (используется для масштабирования, чтобы градиенты не взрывались).
$\text{softmax}$ — функция, превращающая результаты в вероятности (веса внимания).

В трейдинге Трансформеры позволяют находить сложные паттерны, которые разбросаны во времени и не связаны прямой последовательностью (например, реакция цены на событие, похожее на то, что было 3 года назад).

Подготовка данных для Deep Learning

Главная ошибка новичков при переходе от sklearn к tensorflow/pytorch — неправильная форма данных.

Классические модели (Random Forest) ожидают 2D-матрицу: [Количество примеров, Количество признаков]

LSTM и Трансформеры ожидают 3D-тензор: [Количество примеров, Длина окна (Time Steps), Количество признаков]

Если вы используете окно в 30 дней и у вас 10 признаков (OHLCV + индикаторы), то один входной образец для сети будет иметь размерность (30, 10).

Заключение

Мы прошли путь от простых рекуррентных сетей до современных Трансформеров.

Используйте LSTM/GRU, если вам нужно стабильное решение для временных рядов, где важен порядок событий.
Смотрите в сторону Трансформеров, если у вас огромный объем данных и вы хотите найти сложные глобальные зависимости.

Однако помните: глубокое обучение — это не магия. Оно требует гораздо больше данных и более тщательной настройки, чем классический ML. В следующей, заключительной статье курса, мы обсудим то, без чего любая модель бесполезна — валидацию, бэктестинг и управление рисками.

Валидация моделей, бэктестинг торговых стратегий и метрики качества

Поздравляю! Вы прошли долгий путь: собрали данные, сгенерировали признаки, обучили классические модели и даже поэкспериментировали с нейросетями. У вас есть файл с весами модели, и она выдает предсказания. Готовы ли вы доверить ей свои деньги?

Если ваш ответ «да», то, скорее всего, вы их потеряете. В финансовом машинном обучении (Financial ML) создание модели — это лишь 20% успеха. Остальные 80% — это валидация и бэктестинг.

В этой финальной статье курса мы разберем, как правильно проверять модели, почему высокая точность (Accuracy) может привести к банкротству и как симулировать торговлю в прошлом, чтобы не разориться в будущем.

Проблема времени: почему стандартная валидация не работает

В классическом Data Science (например, при распознавании котиков на фото) мы привыкли использовать K-Fold Cross-Validation (Кросс-валидацию по $k$ блокам). Мы перемешиваем данные, делим их на 5 частей, учим на 4-х и проверяем на 1-й.

В финансах это строго запрещено.

Причина проста: корреляция во времени. Финансовые данные — это последовательность. Если вы перемешаете данные и обучите модель на ценах за 2022 год, а проверите её на ценах за 2021 год, вы совершите ошибку Look-ahead bias (подглядывание в будущее). Модель «выучит» будущее, которого она не могла знать в момент торговли.

Правильный подход: Walk-Forward Validation

Единственный верный способ проверки — двигаться строго по хронологии. Мы используем метод Walk-Forward (Скользящее окно).

Шаг 1: Обучаем на [Январь-Март], тестируем на [Апрель].
Шаг 2: Обучаем на [Январь-Апрель], тестируем на [Май].
Шаг 3: Обучаем на [Январь-Май], тестируем на [Июнь].

Это имитирует реальный процесс: вы переобучаете модель по мере поступления новых данных.

Метрики ML против Метрик Торговли

Дата-сайентисты любят смотреть на MSE (среднеквадратичную ошибку) или Accuracy (точность). Трейдеры смотрят на P&L (Profit and Loss — прибыль и убыток). Эти метрики часто не коррелируют.

Почему Accuracy обманчива?

Представьте стратегию:

Рынок растет в 60% случаев.
Ваша модель всегда предсказывает «Рост».
Ваша Accuracy = 60%.

Звучит неплохо? Но если во время падений (оставшиеся 40%) рынок обваливается сильнее, чем растет, вы потеряете деньги, имея высокую точность.

Precision (Точность срабатывания)

В трейдинге нам важнее Precision, чем Recall. Нам не нужно находить все возможности для заработка (Recall). Нам нужно, чтобы когда мы входим в сделку, мы были максимально уверены в успехе.

Precision = \frac{TP}{TP + FP}

Где:

$Precision$ — точность (доля верных срабатываний).
$TP$ (True Positive) — истинно положительные (модель сказала «Покупать», и цена выросла).
$FP$ (False Positive) — ложно положительные (модель сказала «Покупать», а цена упала).

Высокий $FP$ убивает депозит комиссиями и убытками.

Финансовые метрики качества

Чтобы оценить стратегию, нужно перевести предсказания модели в виртуальные сделки. Вот главные показатели:

1. Коэффициент Шарпа (Sharpe Ratio)

Показывает доходность на единицу риска. Это стандарт индустрии.

S = \frac{R_p - R_f}{\sigma_p}

Где:

$S$ — коэффициент Шарпа.
$R_p$ — доходность портфеля (стратегии).
$R_f$ — безрисковая ставка (например, доходность гособлигаций США, обычно 2-5%).
$\sigma_p$ — стандартное отклонение доходности портфеля (риск/волатильность).
$S > 1$ : Хорошая стратегия.
$S > 2$ : Отличная стратегия.
$S > 3$ : Грааль (или ошибка в расчетах).

2. Максимальная просадка (Maximum Drawdown, MDD)

Показывает максимальное падение капитала от пика до дна в процентах. Это мера боли, которую вам придется перетерпеть.

MDD = \frac{P_{min} - P_{max}}{P_{max}}

Где:

$MDD$ — максимальная просадка.
$P_{min}$ — минимальное значение капитала после пика.
$P_{max}$ — значение капитала на пике перед падением.

Если у стратегии доходность 100% годовых, но просадка 80%, ни один инвестор не даст вам денег. Вы просто закроете счет на дне падения.

3. Профит-фактор (Profit Factor)

Отношение валовой прибыли к валовому убытку.

PF = \frac{\sum Profit}{\sum Loss}

Где:

$PF$ — профит-фактор.
$\sum Profit$ — сумма всех прибыльных сделок.
$\sum Loss$ — сумма всех убыточных сделок (по модулю).

Значение должно быть больше 1.5–2.0 для устойчивой системы.

Бэктестинг: Симуляция реальности

Бэктестинг — это процесс прогона вашей стратегии на исторических данных. Вы пишете код, который «притворяется», что торгует в 2015, 2016... 2023 годах.

Но здесь кроется главная ловушка новичков: игнорирование трения (Friction).

Комиссии (Commissions)

Каждая сделка стоит денег. Биржа берет комиссию (например, 0.1%). Если ваша модель торгует часто (скальпинг), комиссии могут съесть всю прибыль.

Пример:

Прибыль сделки: +0.15%
Комиссия (вход + выход): 0.2%
Итог: Убыток -0.05%.

Проскальзывание (Slippage)

Это разница между ценой, которую вы видели на экране (сигнал модели), и ценой, по которой реально исполнилась сделка.

Вы хотите купить Apple по 150.00. Вы отправляете ордер. Пока он летит на биржу (миллисекунды), цена становится 150.05. Вы купили дороже. В бэктестах обязательно нужно закладывать проскальзывание.

Подводные камни (Biases)

Даже с правильной валидацией можно обмануть себя.

1. Ошибка выжившего (Survivorship Bias)

Если вы берете список компаний из индекса S&P 500 сегодня и тестируете стратегию на их истории за 10 лет, вы совершаете ошибку. Вы игнорируете компании, которые обанкротились и вылетели из индекса за эти 10 лет. Ваша выборка искусственно «успешна».

Решение: Использовать базы данных, включающие делистингованные (удаленные) акции.

2. Подгонка (Overfitting / P-hacking)

Если вы перебрали 1000 комбинаций параметров (размер окна RSI, количество слоев LSTM) и нашли одну, которая дает Шарп 3.0, это не стратегия. Это случайность.

Решение: Проверять стратегию на отложенной выборке (Hold-out set), которую вы никогда не использовали при подборе параметров.

Заключение курса

Мы прошли полный цикл разработки ML-системы для фондового рынка:

Научились работать с OHLCV данными и понимать природу временных рядов.
Создали признаки на основе технического анализа и макроэкономики.
Разобрали классические модели (Бустинг) и глубокое обучение (LSTM, Трансформеры).
И сегодня мы узнали, как честно оценить результат через бэктестинг и коэффициент Шарпа.

Рынок — это самая сложная среда для машинного обучения из-за высокого уровня шума и конкуренции. Здесь нет кнопки «Бабло», но есть строгий научный подход, статистика и дисциплина. Удачи в ваших исследованиях и торговле!