Uplift-моделирование / X5 RetailHero
Кому отправлять SMS, чтобы покупок стало больше
Обычная модель отклика находит тех, кто купит. Но многие из них купят и без SMS, и деньги на рассылку уходят впустую. Uplift-модель оценивает другое: насколько SMS меняет вероятность покупки у конкретного клиента.
Данные и эксперимент
X5 Retail Group провела рандомизированный эксперимент: часть клиентов программы лояльности случайно получила SMS, остальные нет. Отклик: была ли покупка после рассылки. Признаки собраны из анкеты клиента и истории покупок до кампании.
Проверка рандомизации
Если группы с SMS и без похожи по всем признакам, разницу в покупках можно приписать именно SMS. Стандартизованная разность средних (SMD) меньше 0.1 означает хороший баланс.
Сравнение моделей
Все модели обучены на CatBoost (60% данных), ранняя остановка по validation (20%), итоговые метрики на отложенной выборке (20%), которую модели не видели. Под значением 95% бутстрэп-интервал.
Qini-кривая
Сколько дополнительных покупок дает рассылка топ-доле клиентов по прогнозу модели. Чем выше кривая над диагональю, тем лучше ранжирование.
Эффект по децилям прогноза
Фактическая разница конверсий с SMS и без в каждой десятой части клиентов, отсортированных по прогнозу. У хорошей модели столбцы убывают слева направо.
Планировщик кампании
Прибыль = дополнительные покупатели × маржа с покупателя − число SMS × цена SMS. Значения по умолчанию ориентировочные, их можно менять.
Кому слать
Четыре типа клиентов
Типы определены по прогнозу модели, а эффект в каждом посчитан по фактическим покупкам в эксперименте.
Что влияет на эффект SMS
Средний вклад признака в прогноз uplift (SHAP для X-learner). Белый: эффект растет при росте признака, серый: падает.
Правила отбора
Неглубокое дерево решений, приближающее прогноз основной модели. Обучено на validation, эффект в группах проверен на отложенной выборке.
Портрет по децилям
Средние значения ключевых признаков в каждой десятой части клиентов по прогнозу эффекта.
Карточка клиента
Случайный клиент из отложенной выборки: прогноз модели, решение по рассылке и признаки, которые сильнее всего повлияли на прогноз.