Продвинутое A/B-тестирование для Senior-аналитиков

Многие аналитики воспринимают A/B-тестирование как набор готовых функций в библиотеке SciPy или SQL-скриптов, которые выдают заветное p-value. На базовом уровне этого достаточно. Однако для Senior-аналитика, который проектирует сложные эксперименты, работает с ratio-метриками и сталкивается с неоднородным трафиком, подход «черного ящика» неприемлем. Непонимание математического фундамента приводит к ложноположительным результатам, неверной интерпретации эффектов и, как следствие, к убыткам для бизнеса.

Любой A/B-тест — это попытка оценить параметры генеральной совокупности на основе ограниченной выборки. Чтобы делать это корректно, необходимо глубоко понимать природу случайных величин, их распределения и свойства статистических оценок.

Случайные величины в продуктовой аналитике

В контексте A/B-тестирования каждое действие пользователя (клик, покупка, время в приложении) — это реализация случайной величины. Мы не можем заранее предсказать, купит ли конкретный пользователь подписку, но мы можем описать вероятностные характеристики этого события для всей аудитории.

Случайные величины делятся на два основных типа:

Дискретные: принимают счетное количество значений. Например, факт конверсии (0 или 1), количество добавленных в корзину товаров (0, 1, 2, 3).

Непрерывные: могут принимать любое значение из определенного диапазона. Например, выручка с пользователя (ARPU), время сессии в секундах.

Поведение любой случайной величины описывается двумя главными характеристиками: математическим ожиданием и дисперсией.

Математическое ожидание (Expected Value)

Математическое ожидание — это среднее значение случайной величины при бесконечно большом количестве испытаний. В бизнесе это та самая метрика, которую мы чаще всего пытаемся вырастить: средний чек, средняя конверсия, среднее количество сессий.

Для дискретной случайной величины математическое ожидание вычисляется как сумма произведений всех возможных значений на их вероятности:

Где — возможное значение, а — вероятность этого значения.

Пример из практики: Представьте, что вы анализируете ARPU (Average Revenue Per User) в freemium-игре. 95% пользователей ничего не платят (5 долл., и 1% — «киты», покупающие премиум за \mathbb{E}[X] = 0 \times 0.95 + 5 \times 0.04 + 100 \times 0.01 = 0 + 0.2 + 1 = 1.2\sigmap1-pp = 0.10.1 \times 0.9 = 0.09p = 0.5\mu\sigma^2\bar{X}\mu\bar{X} = \frac{1}{n} \sum X_i\frac{1}{n} \sum (X_i - \bar{X})^2nn-1n \to \infty$ вероятность того, что оценка отклонится от истинного значения больше чем на заданную величину, стремится к нулю.

Для аналитика это означает простое правило: чем больше трафика мы соберем в A/B-тесте, тем точнее будет наша метрика. Если оценка несостоятельна, сбор дополнительных данных не поможет приблизиться к истине.

3. Эффективность (Efficiency)

Среди всех несмещенных оценок эффективной называется та, которая имеет наименьшую дисперсию.

Представьте, что мы хотим оценить средний рост пользователей. Мы можем взять среднее арифметическое всех значений, а можем взять медиану. Обе оценки при нормальном распределении будут несмещенными и состоятельными. Но дисперсия выборочного среднего будет меньше, чем дисперсия выборочной медианы. Значит, среднее арифметическое — более эффективная оценка.

В A/B-тестировании эффективность оценки напрямую влияет на длительность эксперимента. Чем эффективнее математический аппарат (например, использование CUPED для оценки разницы средних), тем меньшая выборка нам нужна для фиксации статистически значимого результата.

Понимание этих фундаментальных концепций — математического ожидания, дисперсии, свойств распределений и оценок — это база, без которой невозможно корректно применять продвинутые методы. Опираясь на этот фундамент, аналитик перестает слепо доверять скриптам и начинает осознанно управлять дизайном эксперимента.

Проектирование и запуск A/B-тестов

В предыдущем материале мы разобрали математический фундамент: дисперсию, математическое ожидание и свойства статистических оценок. Эти знания необходимы, чтобы понимать природу случайных величин. Однако на практике 80% успеха A/B-теста закладывается еще до того, как первая порция трафика попадет в эксперимент — на этапе дизайна.

Дизайн A/B-теста — это не визуальное оформление кнопок. Это строго документированная стратегия (часто называемая «карточкой теста»), в которой зафиксированы гипотеза, метрики, математические параметры и ограничения. Отсутствие такого документа неизбежно приводит к ложным выводам, проблеме подглядывания (peeking problem) и внедрению убыточных фич.

Анатомия продуктовой гипотезы

Любой эксперимент начинается с гипотезы. Для Senior-аналитика недопустима формулировка в стиле «давайте перекрасим кнопку и посмотрим, что будет». Гипотеза должна быть конкретной, измеримой и обоснованной.

Золотой стандарт формулирования гипотезы строится по следующему шаблону:

> Если мы [сделаем X], то это повлияет на [метрику Y], потому что [логическое обоснование], и мы ожидаем изменение на [Z%].

Пример из практики: Представьте, что вы анализируете воронку оформления заказа. Плохая гипотеза: «Новый экран корзины увеличит продажи». Хорошая гипотеза: «Если мы добавим возможность оплаты через Apple Pay на экран корзины, то конверсия в успешный заказ вырастет на 5%, потому что пользователям не придется вручную вводить данные банковской карты, что снизит когнитивную нагрузку и количество отказов на этапе оплаты».

Такая формулировка сразу определяет, что именно мы меняем, зачем мы это делаем и как будем измерять успех.

Иерархия метрик эксперимента

В A/B-тесте нельзя смотреть на все метрики подряд в надежде найти хоть какой-то статистически значимый результат. Это прямой путь к проблеме множественного тестирования (которую мы детально разберем в следующих статьях). Метрики должны быть разделены на три уровня.

!Иерархия метрик A/B-теста: от главной цели до защитных показателей

1. Целевая метрика (OEC — Overall Evaluation Criterion)

Это главная «звезда» вашего теста. На основе этой метрики принимается финальное решение о раскатке или откате фичи. В идеале целевая метрика должна быть одна. Она должна быть максимально чувствительной к вашим изменениям.

Если вы меняете алгоритм рекомендаций на главной странице, целевой метрикой может быть CTR (Click-Through Rate) рекомендательного блока или среднее количество добавленных в корзину товаров из этого блока.

2. Прокси-метрики

Часто бизнес хочет растить глобальные показатели: LTV (Lifetime Value) или Retention 30-го дня. Проблема в том, что для оценки этих метрик тест придется держать месяцами.

В таких случаях используют прокси-метрики — краткосрочные показатели, которые сильно коррелируют с долгосрочными целями. Например, вместо Retention 30-го дня можно использовать Retention 1-го дня или количество сессий на пользователя в первую неделю.

3. Защитные метрики (Guardrails)

Это показатели, которые не должны статистически значимо просесть в результате эксперимента. Мы можем растить конверсию в клик, но обязаны следить за тем, чтобы не пострадал пользовательский опыт или техническая стабильность.

Примеры защитных метрик:

Время загрузки страницы (в миллисекундах).

Количество обращений в службу поддержки.

Процент возвратов товаров.

Общая выручка (Revenue).

Статистические ошибки и мощность

Принимая решение по результатам выборочного тестирования, мы всегда рискуем ошибиться. В статистике выделяют два типа ошибок, баланс между которыми определяет дизайн теста.

Ошибка I рода ()

Ошибка первого рода (False Positive) — это ситуация, когда мы видим статистически значимую разницу между группами, хотя в реальности (в генеральной совокупности) ее нет.

Вероятность этой ошибки обозначается греческой буквой (уровень значимости). Исторически сложившийся стандарт (5%). Это означает, что мы готовы смириться с 5% шансом внедрить бесполезную фичу, приняв случайный шум за реальный эффект.

В бизнесе цена ошибки I рода — это затраты на разработку, поддержку ненужного кода и усложнение интерфейса. Если вы тестируете критическое изменение (например, новый биллинг), уровень значимости стоит ужесточить до .

Ошибка II рода () и Мощность

Ошибка второго рода (False Negative) — это ситуация, когда изменение действительно улучшило продукт, но наш тест этого не заметил. Вероятность этой ошибки обозначается буквой .

Чаще аналитики оперируют обратным понятием — мощностью теста, которая равна . Мощность показывает вероятность того, что мы обнаружим эффект, если он действительно существует. Индустриальный стандарт мощности составляет 80% ().

Цена ошибки II рода — это упущенная выгода бизнеса от не внедренной хорошей фичи.

!Интерактивная визуализация статистической мощности и ошибок I/II рода

MDE и расчет размера выборки

Один из самых частых вопросов от продакт-менеджеров: «Сколько времени нужно крутить тест?». Ответ на него дает математический расчет размера выборки, который невозможен без определения MDE.

MDE (Minimum Detectable Effect) — это минимальный размер эффекта, который имеет смысл фиксировать с точки зрения бизнеса, и который наш тест способен обнаружить с заданной мощностью.

Представьте, что разработка новой фичи стоит 500 000 руб. Если эта фича увеличит конверсию на 0.001%, дополнительная выручка составит 10 000 руб. Бизнесу просто невыгодно ловить такие микроскопические изменения. Мы заранее договариваемся: «Нам интересно изменение конверсии минимум на 2% (это наш MDE). Все, что меньше — не окупит затраты».

Размер необходимой выборки для каждой группы зависит от четырех параметров:

Базовая конверсия или дисперсия метрики (чем выше дисперсия, тем больше нужна выборка).

Уровень значимости (чем строже, тем больше выборка).

Мощность (чем выше желаемая мощность, тем больше выборка).

MDE (чем меньше эффект мы хотим поймать, тем экспоненциально больше нужна выборка).

Длительность теста и сезонность

Допустим, калькулятор показал, что нам нужно 14 000 пользователей в каждой группе (всего 28 000). Ежедневный трафик на тестируемой странице составляет 4 000 пользователей.

Математически: 28 000 / 4 000 = 7 дней.

Однако на практике трафик неоднороден. Поведение пользователей в понедельник кардинально отличается от их поведения в субботу. Если вы запустите тест в среду и остановите во вторник, вы соберете искаженные данные.

Золотое правило: длительность A/B-теста всегда должна быть кратна полным неделям (7, 14, 21 или 28 дней), чтобы нивелировать влияние дневной сезонности. В нашем примере тест нужно держать ровно 7 дней, даже если нужная выборка соберется за 6 дней из-за внезапного всплеска трафика.

Сплитование (Рандомизация) трафика

Последний критический этап дизайна — алгоритм распределения пользователей по группам. Сплитование должно отвечать трем требованиям:

Случайность: каждый пользователь имеет равный шанс попасть в любую группу.

Взаимоисключаемость: один и тот же пользователь не может одновременно находиться в группе А и группе B.

Консистентность: если пользователь попал в группу B, при повторном заходе на сайт завтра он должен снова увидеть вариант B.

В индустрии стандартом де-факто является использование хеш-функций (например, MD5 или MurmurHash). Идентификатор пользователя (User ID или Cookie ID) склеивается с уникальной «солью» (названием эксперимента), после чего от этой строки берется хеш. Полученное число делится с остатком на 100.

Если остаток от деления попадает в диапазон от 0 до 49 — пользователь видит контрольный вариант (А). Если от 50 до 99 — тестовый (B). Использование уникальной «соли» для каждого эксперимента гарантирует, что пользователи, попавшие в группу B в первом тесте, не будут всегда попадать в группу B во всех последующих тестах.

Грамотный дизайн эксперимента — это страховка аналитика. Зафиксировав гипотезу, метрики, MDE и длительность до старта, вы лишаете себя соблазна остановить тест пораньше при виде «красивых» цифр и гарантируете, что итоговое бизнес-решение будет опираться на строгую математику, а не на когнитивные искажения.

Продвинутые методы анализа экспериментов

Спроектировать A/B-тест, рассчитать размер выборки и корректно разделить трафик — это лишь половина работы Senior-аналитика. Настоящие вызовы начинаются после остановки эксперимента, когда сырые данные превращаются в бизнес-решения. Базовое сравнение двух средних через t-тест работает только в идеальных лабораторных условиях. В реальных продуктах аналитик сталкивается с зависимыми переменными, искажениями в трафике и необходимостью проверять десятки гипотез одновременно.

Проблема множественного тестирования

Представьте ситуацию: продакт-менеджер просит вас посмотреть, как новый дизайн главной страницы повлиял на 20 различных метрик (конверсия в клик, добавление в корзину, использование поиска, глубина просмотра и так далее). Вы применяете стандартный статистический критерий с уровнем значимости для каждой метрики и радостно сообщаете, что две из них статистически значимо выросли.

Это классическая ошибка, известная как проблема множественного тестирования (Multiple Testing Problem).

Уровень значимости означает, что в 5% случаев мы будем находить эффект там, где его нет (ошибка I рода). Но это справедливо только для одного сравнения. Если мы проверяем 20 независимых гипотез, вероятность получить хотя бы один ложноположительный результат (эта метрика называется FWER — Family-Wise Error Rate) вычисляется по формуле:

Где — количество проверяемых гипотез. Для 20 метрик . Это значит, что с вероятностью 64% вы найдете «покрасневшую» метрику исключительно из-за случайного шума.

!Интерактивная визуализация роста вероятности ошибки I рода при увеличении количества проверяемых метрик

Методы коррекции

Чтобы защитить результаты от ложных открытий, Senior-аналитики используют математические поправки:

Поправка Бонферрони. Самый простой и жесткий метод. Мы делим базовый уровень значимости на количество тестов: . Для 20 метрик новый порог составит . Проблема этого метода в его излишней консервативности: он радикально снижает мощность теста (растет ошибка II рода), из-за чего мы рискуем пропустить реальные улучшения.

Метод Холма-Бонферрони. Более мягкая пошаговая процедура, где p-value сортируются по возрастанию и сравниваются с динамически изменяющимся порогом.

FDR (False Discovery Rate) и метод Бенджамини-Хохберга. В продуктовой аналитике чаще контролируют не вероятность хотя бы одной ошибки (FWER), а долю ложных открытий среди всех признанных значимыми (FDR). Этот метод позволяет находить больше реальных эффектов, допуская контролируемый процент ложных.

Метрики отношений и Дельта-метод

В продуктовой аналитике большинство ключевых метрик — это отношения (Ratio Metrics). Например, CTR (Click-Through Rate) — это клики, деленные на просмотры. ARPU (Average Revenue Per User) — это суммарная выручка, деленная на количество пользователей.

Базовый t-тест Стьюдента предполагает, что мы сравниваем средние значения независимых случайных величин. Но в метриках отношений и числитель, и знаменатель — это случайные величины, которые часто зависят друг от друга (пользователь, который делает больше просмотров, может делать и больше кликов).

Дисперсия отношения не равна отношению дисперсий. Если вы просто посчитаете дисперсию CTR как дисперсию массива нулей и единиц, вы получите некорректную оценку, что приведет к неверному расчету p-value.

Для решения этой проблемы используется Дельта-метод (Delta Method). Это математический прием, основанный на разложении функции в ряд Тейлора, который позволяет аппроксимировать (приближенно вычислить) дисперсию сложной функции от случайных величин.

При использовании Дельта-метода для метрики вида , итоговая дисперсия учитывает три компонента:

Дисперсию числителя (например, кликов).

Дисперсию знаменателя (например, просмотров).

Ковариацию (меру совместной изменчивости) между числителем и знаменателем.

На практике Дельта-метод реализуется через линеаризацию метрики: мы преобразуем сложную метрику отношения в простую линейную метрику для каждого пользователя, после чего к ней можно применять стандартный t-тест. Это золотой стандарт индустрии для анализа CTR и ARPU.

Статистические парадоксы: Парадокс Симпсона

Иногда данные могут сыграть с аналитиком злую шутку, показав результат, прямо противоположный реальности. Самый коварный из таких феноменов — парадокс Симпсона.

Суть парадокса: тенденция, которая четко наблюдается в отдельных группах данных, полностью исчезает или меняется на противоположную при объединении этих групп.

Пример из практики: Вы тестируете новый экран онбординга. В группе А (старый экран) общая конверсия в регистрацию составила 4.5%. В группе B (новый экран) общая конверсия составила 5.0%. Тест показывает статистически значимую победу группы B. Вы готовы раскатывать фичу.

Но Senior-аналитик всегда делает сегментацию. Вы разбиваете данные по платформам (iOS и Android) и видите шокирующую картину:

Пользователи iOS: Конверсия группы А = 10%, группы B = 8%.

Пользователи Android: Конверсия группы А = 3%, группы B = 2%.

В обеих подгруппах старый вариант (А) побеждает! Как новый вариант (B) мог победить в общем зачете?

!Визуализация парадокса Симпсона: векторы в подгруппах направлены вверх, но общий вектор направлен вниз

Ответ кроется в нарушении пропорций трафика (часто это связано с Sample Ratio Mismatch или SRM). Допустим, в группу B из-за бага маршрутизации попало 90% пользователей iOS (у которых конверсия исторически выше) и только 10% Android. А в группе А пропорция была обратной. Высокая конверсия группы B обеспечена не новым онбордингом, а тем, что в эту группу «налили» более качественный трафик.

Парадокс Симпсона учит главному правилу: перед анализом метрик всегда проверяйте однородность распределения трафика по ключевым сегментам (платформа, география, тип устройства) между тестовой и контрольной группами.

Основы Uplift-моделирования

Классический A/B-тест отвечает на вопрос: «Сработала ли фича в среднем для всех пользователей?». Эта концепция называется ATE (Average Treatment Effect).

Однако бизнес-реалии сложнее. Скидка в 10% может повысить общую конверсию, но при этом мы отдадим часть маржи тем клиентам, которые купили бы товар и без скидки. Здесь на сцену выходит Uplift-моделирование — оценка условного среднего эффекта воздействия (CATE — Conditional Average Treatment Effect).

Uplift-моделирование позволяет предсказать, как конкретный пользователь отреагирует на наше воздействие (например, на push-уведомление с промокодом). Вся аудитория делится на четыре сегмента:

Sure things (Железобетонные). Купят продукт в любом случае. Тратить на них маркетинговый бюджет (давать скидку) — значит терять деньги.

Lost causes (Потерянные). Не купят продукт ни при каких условиях. Воздействие на них бесполезно.

Persuadables (Убеждаемые). Купят только в том случае, если получат воздействие (промокод). Это наша главная целевая аудитория.

Sleeping dogs (Спящие собаки). Самый опасный сегмент. Это пользователи, которые отпишутся от сервиса или удалят приложение именно потому, что мы их потревожили push-уведомлением. Воздействие на них приносит прямой вред.

Задача Uplift-модели (которая строится методами машинного обучения на данных проведенных A/B-тестов) — найти сегмент Persuadables и направить всю коммуникацию исключительно на них, изолировав Sleeping dogs.

Переход от оценки средних эффектов (A/B-тесты) к оценке индивидуальных эффектов (Uplift) — это качественный скачок, который позволяет Senior-аналитику не просто констатировать факты, а максимизировать ROI (окупаемость инвестиций) продуктовых инициатив.

Продвинутые методы анализа экспериментов

Спроектировать A/B-тест, рассчитать размер выборки и корректно разделить трафик — это лишь половина работы Senior-аналитика. Настоящие вызовы начинаются после остановки эксперимента, когда сырые данные превращаются в бизнес-решения. Базовое сравнение двух средних через t-тест работает только в идеальных лабораторных условиях. В реальных продуктах аналитик сталкивается с зависимыми переменными, искажениями в трафике и необходимостью проверять десятки гипотез одновременно.

Проблема множественного тестирования

Представьте ситуацию: продакт-менеджер просит вас посмотреть, как новый дизайн главной страницы повлиял на 20 различных метрик (конверсия в клик, добавление в корзину, использование поиска, глубина просмотра и так далее). Вы применяете стандартный статистический критерий с уровнем значимости для каждой метрики и радостно сообщаете, что две из них статистически значимо выросли.

Это классическая ошибка, известная как проблема множественного тестирования (Multiple Testing Problem).

Уровень значимости означает, что в 5% случаев мы будем находить эффект там, где его нет (ошибка I рода). Но это справедливо только для одного сравнения. Если мы проверяем 20 независимых гипотез, вероятность получить хотя бы один ложноположительный результат (эта метрика называется FWER — Family-Wise Error Rate) вычисляется по формуле:

Где — количество проверяемых гипотез. Для 20 метрик . Это значит, что с вероятностью 64% вы найдете «покрасневшую» метрику исключительно из-за случайного шума.

!Интерактивная визуализация роста вероятности ошибки I рода при увеличении количества проверяемых метрик

Методы коррекции

Чтобы защитить результаты от ложных открытий, Senior-аналитики используют математические поправки:

Поправка Бонферрони. Самый простой и жесткий метод. Мы делим базовый уровень значимости на количество тестов: . Для 20 метрик новый порог составит . Проблема этого метода в его излишней консервативности: он радикально снижает мощность теста (растет ошибка II рода), из-за чего мы рискуем пропустить реальные улучшения.

Метод Холма-Бонферрони. Более мягкая пошаговая процедура, где p-value сортируются по возрастанию и сравниваются с динамически изменяющимся порогом.

FDR (False Discovery Rate) и метод Бенджамини-Хохберга. В продуктовой аналитике чаще контролируют не вероятность хотя бы одной ошибки (FWER), а долю ложных открытий среди всех признанных значимыми (FDR). Этот метод позволяет находить больше реальных эффектов, допуская контролируемый процент ложных.

Метрики отношений и Дельта-метод

В продуктовой аналитике большинство ключевых метрик — это отношения (Ratio Metrics). Например, CTR (Click-Through Rate) — это клики, деленные на просмотры. ARPU (Average Revenue Per User) — это суммарная выручка, деленная на количество пользователей.

Базовый t-тест Стьюдента предполагает, что мы сравниваем средние значения независимых случайных величин. Но в метриках отношений и числитель, и знаменатель — это случайные величины, которые часто зависят друг от друга (пользователь, который делает больше просмотров, может делать и больше кликов).

Дисперсия отношения не равна отношению дисперсий. Если вы просто посчитаете дисперсию CTR как дисперсию массива нулей и единиц, вы получите некорректную оценку, что приведет к неверному расчету p-value.

Для решения этой проблемы используется Дельта-метод (Delta Method). Это математический прием, основанный на разложении функции в ряд Тейлора, который позволяет аппроксимировать (приближенно вычислить) дисперсию сложной функции от случайных величин.

При использовании Дельта-метода для метрики вида , итоговая дисперсия учитывает три компонента:

Дисперсию числителя (например, кликов).

Дисперсию знаменателя (например, просмотров).

Ковариацию (меру совместной изменчивости) между числителем и знаменателем.

На практике Дельта-метод реализуется через линеаризацию метрики: мы преобразуем сложную метрику отношения в простую линейную метрику для каждого пользователя, после чего к ней можно применять стандартный t-тест. Это золотой стандарт индустрии для анализа CTR и ARPU.

Статистические парадоксы: Парадокс Симпсона

Иногда данные могут сыграть с аналитиком злую шутку, показав результат, прямо противоположный реальности. Самый коварный из таких феноменов — парадокс Симпсона.

Суть парадокса: тенденция, которая четко наблюдается в отдельных группах данных, полностью исчезает или меняется на противоположную при объединении этих групп.

Пример из практики: Вы тестируете новый экран онбординга. В группе А (старый экран) общая конверсия в регистрацию составила 4.5%. В группе B (новый экран) общая конверсия составила 5.0%. Тест показывает статистически значимую победу группы B. Вы готовы раскатывать фичу.

Но Senior-аналитик всегда делает сегментацию. Вы разбиваете данные по платформам (iOS и Android) и видите шокирующую картину:

Пользователи iOS: Конверсия группы А = 10%, группы B = 8%.

Пользователи Android: Конверсия группы А = 3%, группы B = 2%.

В обеих подгруппах старый вариант (А) побеждает! Как новый вариант (B) мог победить в общем зачете?

!Визуализация парадокса Симпсона: векторы в подгруппах направлены вверх, но общий вектор направлен вниз

Ответ кроется в нарушении пропорций трафика (часто это связано с Sample Ratio Mismatch или SRM). Допустим, в группу B из-за бага маршрутизации попало 90% пользователей iOS (у которых конверсия исторически выше) и только 10% Android. А в группе А пропорция была обратной. Высокая конверсия группы B обеспечена не новым онбордингом, а тем, что в эту группу «налили» более качественный трафик.

Парадокс Симпсона учит главному правилу: перед анализом метрик всегда проверяйте однородность распределения трафика по ключевым сегментам (платформа, география, тип устройства) между тестовой и контрольной группами.

Основы Uplift-моделирования

Классический A/B-тест отвечает на вопрос: «Сработала ли фича в среднем для всех пользователей?». Эта концепция называется ATE (Average Treatment Effect).

Однако бизнес-реалии сложнее. Скидка в 10% может повысить общую конверсию, но при этом мы отдадим часть маржи тем клиентам, которые купили бы товар и без скидки. Здесь на сцену выходит Uplift-моделирование — оценка условного среднего эффекта воздействия (CATE — Conditional Average Treatment Effect).

Uplift-моделирование позволяет предсказать, как конкретный пользователь отреагирует на наше воздействие (например, на push-уведомление с промокодом). Вся аудитория делится на четыре сегмента:

Sure things (Железобетонные). Купят продукт в любом случае. Тратить на них маркетинговый бюджет (давать скидку) — значит терять деньги.

Lost causes (Потерянные). Не купят продукт ни при каких условиях. Воздействие на них бесполезно.

Persuadables (Убеждаемые). Купят только в том случае, если получат воздействие (промокод). Это наша главная целевая аудитория.

Sleeping dogs (Спящие собаки). Самый опасный сегмент. Это пользователи, которые отпишутся от сервиса или удалят приложение именно потому, что мы их потревожили push-уведомлением. Воздействие на них приносит прямой вред.

Задача Uplift-модели (которая строится методами машинного обучения на данных проведенных A/B-тестов) — найти сегмент Persuadables и направить всю коммуникацию исключительно на них, изолировав Sleeping dogs.

Переход от оценки средних эффектов (A/B-тесты) к оценке индивидуальных эффектов (Uplift) — это качественный скачок, который позволяет Senior-аналитику не просто констатировать факты, а максимизировать ROI (окупаемость инвестиций) продуктовых инициатив.

Uplift-моделирование и оптимизация метрик

Классическое A/B-тестирование отвечает на вопрос: «Какая версия продукта работает лучше в среднем для всей аудитории?». Это концепция ATE (Average Treatment Effect). Однако для Senior-аналитика знание среднего эффекта часто бывает недостаточным. Если маркетинговая кампания со скидкой показала статистически значимый рост конверсии, это не значит, что скидку нужно давать всем. Часть пользователей купила бы товар и без нее (мы теряем маржу), а часть могла отписаться от навязчивого пуш-уведомления (мы теряем клиента).

Чтобы максимизировать ROI (окупаемость инвестиций), необходимо перейти от оценки среднего эффекта к оценке индивидуального — CATE (Conditional Average Treatment Effect). Именно эту задачу решает Uplift-моделирование.

Фундаментальная проблема причинно-следственного вывода

Математически индивидуальный эффект воздействия (Uplift) для конкретного пользователя выражается формулой:

Где:

— вектор признаков пользователя (история покупок, возраст, география).

— потенциальный результат, если пользователь получил воздействие (например, промокод).

— потенциальный результат, если пользователь не получил воздействие.

Здесь мы сталкиваемся с фундаментальной проблемой причинно-следственного вывода (Fundamental Problem of Causal Inference): мы никогда не можем наблюдать оба состояния одновременно для одного и того же человека. Пользователь либо получил промокод, либо нет. У нас нет параллельной вселенной, чтобы проверить альтернативный сценарий. Поэтому мы не можем обучить классическую модель машинного обучения (например, предсказывать отток), так как у нас нет истинных значений (ground truth) самого аплифта для каждого клиента.

Для решения этой проблемы аналитики используют специальные архитектуры машинного обучения, которые позволяют косвенно оценить этот эффект на основе данных проведенных рандомизированных экспериментов (A/B-тестов).

Базовые архитектуры Uplift-моделей

Существует несколько подходов к построению моделей, предсказывающих инкрементальный эффект. Рассмотрим два самых популярных в индустрии.

Подход с двумя моделями (T-Learner)

T-Learner (Two-model learner) — самый интуитивно понятный метод. Мы разбиваем данные A/B-теста на две части: тестовую группу (Treatment) и контрольную (Control).

На данных тестовой группы обучается первая модель машинного обучения (например, градиентный бустинг), которая предсказывает вероятность целевого действия при наличии воздействия: .

На данных контрольной группы обучается вторая модель, предсказывающая вероятность действия без воздействия: .

Итоговый Uplift для нового пользователя рассчитывается как разность предсказаний этих двух независимых моделей:

!Схема архитектуры T-Learner: данные разделяются на две группы, обучаются две независимые модели, их предсказания вычитаются для получения Uplift Score

Главный недостаток T-Learner заключается в том, что модели обучаются независимо. Если реальный эффект воздействия очень мал по сравнению с общим шумом в данных, разность предсказаний двух моделей может уловить не реальный инкремент, а просто разницу в ошибках самих моделей.

Трансформация классов (Class Transformation / Label Transformation)

Этот метод использует элегантный математический трюк. Вместо того чтобы предсказывать вероятность покупки, мы создаем новую искусственную целевую переменную , которая объединяет информацию о том, в какой группе был пользователь и совершил ли он покупку.

Пусть — индикатор группы ( — тестовая, — контрольная), а — факт покупки ( — купил, — не купил). Новая переменная задается так:

Простыми словами, в двух случаях:

Пользователь получил промокод и совершил покупку (потенциальный Убеждаемый или Железобетонный).

Пользователь не получил промокод и не совершил покупку (потенциальный Убеждаемый или Потерянный).

Если трафик в A/B-тесте был разделен ровно 50/50, математическое ожидание этой новой переменной линейно связано с аплифтом:

Теперь мы можем обучить одну классическую модель бинарной классификации предсказывать переменную . Этот метод (часто называемый S-Learner с трансформацией) отлично работает на практике и менее подвержен переобучению, чем T-Learner.

Оценка качества: Метрики без Ground Truth

Поскольку мы не знаем реального аплифта для каждого пользователя, мы не можем использовать стандартные метрики вроде ROC AUC или RMSE. Оценка качества Uplift-моделей строится на группировке пользователей.

Метрика Uplift@k

Uplift@k показывает реальный инкрементальный эффект на топ-% пользователей, которых модель посчитала наиболее перспективными.

Алгоритм расчета:

Берем отложенную выборку (данные A/B-теста, которые модель не видела).

Модель предсказывает Uplift Score для каждого пользователя.

Сортируем всех пользователей по убыванию предсказанного скора.

Берем верхние % пользователей (например, топ-20%).

Внутри этого топа считаем реальную конверсию тех, кто был в тестовой группе (), и вычитаем реальную конверсию тех, кто был в контрольной ().

Пример: Вы отсортировали 100 000 пользователей и взяли топ-10% (10 000 человек). Внутри этой десятки 5 000 были из теста (из них купили 1 000, ) и 5 000 из контроля (из них купили 250, ). . Это означает, что коммуникация с этим сегментом приносит 15 дополнительных покупок на каждые 100 отправленных сообщений.

Qini Curve и AUQC

Для визуализации качества модели на всех порогах отсечения используется кривая Qini (Qini Curve).

По оси X откладывается доля аудитории, с которой мы коммуницируем (от 0% до 100%, отсортированная по убыванию Uplift Score). По оси Y — кумулятивное (накопленное) количество дополнительных целевых действий.

Идеальная модель сначала соберет всех Убеждаемых (кривая резко идет вверх), затем Железобетонных и Потерянных (кривая становится горизонтальной, так как инкремента нет), и в конце добавит Спящих собак (кривая пойдет вниз, так как воздействие вызывает негатив).

!Интерактивный график кривой Qini, показывающий зависимость накопленного инкремента от доли охваченной аудитории

Площадь под кривой Qini называется AUQC (Area Under Qini Curve). Чем она больше, тем лучше модель умеет ранжировать пользователей по их истинной чувствительности к воздействию.

Оптимизация бизнес-метрик на практике

Переход от теории к практике требует внедрения экономики в расчеты. Uplift-модель сама по себе лишь ранжирует пользователей. Задача Senior-аналитика — найти оптимальный порог отсечения (тот самый %), который максимизирует прибыль.

Рассмотрим расчет экономической эффективности кампании. Пусть:

— размер целевой аудитории (1 000 000 человек).

— маржинальность одной покупки (2 000 руб.).

— стоимость коммуникации и самой скидки на одного человека (500 руб.).

Если мы отправим скидку всем (стратегия ковровой бомбардировки), мы потратим 500 000 000 руб. Если общий Uplift кампании составляет 2%, мы получим дополнительных покупок. Дополнительная грязная прибыль составит руб. Итоговый ROI кампании: руб. Кампания глубоко убыточна, так как мы раздали скидки огромному числу Железобетонных клиентов, которые купили бы и так.

Применяем Uplift-модель. Мы сортируем базу и берем только топ-10% пользователей (100 000 человек), где сконцентрированы Убеждаемые. Допустим, составляет 15%.

Затраты: руб.

Дополнительные покупки: покупок.

Дополнительная прибыль: руб.

Мы все еще в минусе (), но убыток сократился колоссально. Аналитик начинает двигать порог отсечения в поисках точки безубыточности. Возможно, при охвате топ-2% (20 000 человек) с , затраты составят 10 млн руб., а прибыль — 14 млн руб. Кампания становится прибыльной.

Именно в этом заключается высший пилотаж продуктовой аналитики: использовать продвинутую математику и машинное обучение не ради красивых графиков, а для точечной оптимизации юнит-экономики продукта, превращая убыточные инициативы в стабильные источники дохода.