ИИ-агент
по поиску работы

Тестовое задание CRM-маркетолога: оценка реактивации и контроль прибыльности

Практикум CRM-маркетолога с данными 40 клиентов: зрелый вклад после возвратов, загрязнение контроля, дубли заказов и готовое решение о запуске.

На этой странице

Тестовое задание CRM-маркетолога стоит защищать через решение о кампании: какая группа получила предложение, сколько денег осталось после скидок и возвратов и можно ли считать сравнение чистым. В этом практикуме исходная сумма оплаченных заказов в тесте выше, но итоговый вклад на назначенного клиента оказывается ниже контроля. Готовый ответ — удержать масштабирование, показать причины и предложить следующий проверяемый запуск.

Ниже авторский учебный набор, а не задание конкретного работодателя. Полные данные, расчёт и независимая проверка собраны в комплекте реактивации. Для решения не нужен доступ к CRM: CSV и Python используют только вымышленные идентификаторы.

Практикум можно скачать одним ZIP. Распакуйте папку и следуйте README: исходные данные, результаты и Python-файлы сохраняют совместную структуру. Отдельные файлы по-прежнему доступны по ссылкам в тексте.

Что именно нужно сдать

Работодатель предлагает реактивировать клиентов, которые не покупали 90–120 дней. От кандидата ждут заключение по результату эксперимента, а не красивый текст рассылки. Сдайте четыре связанных результата: правила формирования сравнения, сверку денег, журнал проблем данных и записку с решением. Любое число в записке должно восстанавливаться из исходников.

Для начинающего специалиста достаточно воспроизвести пример и объяснить каждое слагаемое. Опытному CRM-маркетологу стоит дополнительно защитить единицу эксперимента, порядок заморозки выборки и взаимодействие с другими кампаниями. Руководителю — назвать владельца решения и условия следующего этапа, не подменяя их обещанием выручки.

До работы уточните, что здесь называется прибылью. Мы считаем вклад после перечисленных переменных затрат и стоимости кампании. Все суммы приведены без НДС. Прочие налоги и общие расходы компании в модели не рассчитываются; это не чистая прибыль организации. Если работодатель ожидает другой показатель, сначала согласуйте состав затрат, затем пересчитывайте.

Полное условие: две группы, два окна, один знаменатель

В день 0 по условию случайно назначены 40 подходящих клиентов: 20 в тест T01–T20 и 20 в контроль C01–C20. В каждой группе десять клиентов из слоя «90 дней без покупки» и десять из слоя «120 дней». Случайность назначения дана как условие: сам генератор случайного распределения в комплекте не запускается. Клиенты допущены к коммуникации по предоставленным правилам; реальную проверку разрешений нельзя заменять этим учебным допущением.

Основная единица — назначенный клиент. T19 и T20 не получили письмо, но остаются в тесте. Контроль не получает исследуемую реактивацию. Покупки включаются за дни 1–7, возвраты по этим покупкам наблюдаются до дня 30. По условию к дню 30 все относящиеся к ним возвраты известны. В реальной задаче такое окно нужно обосновать историей возвратов и задержкой учёта.

Заранее задано правило бизнес-приёмки: масштабирование допустимо только после созревания окна, при положительной разнице вклада на назначенного клиента и сохранённой изоляции кампании. Даже выполнение этого правила не заменяет проверку статистической неопределённости и других ограничений запуска. Здесь доверительный интервал и p-value не вычисляются.

Сумма по заказам, ₽ТестКонтроль
Стоимость до скидок40 00030 000
Скидки4 0001 000
Исходная себестоимость18 00014 000
Выполнение и доставка заказов1 8001 200
Возврат денег покупателям к дню 3010 8001 000
Восстановленная себестоимость возвращённого товара5 400500
Логистика возвратов2 000100
Стоимость кампании1 0000

Покупатели теста — T01–T08, контроля — C01–C06; других оплаченных заказов в наборе нет. T19, T20 и C19 не покупали. Все денежные суммы ниже без НДС. В тесте восемь покупателей, каждый с одним заказом: суммы до скидок 6 000, 6 000, 5 000, 5 000, 5 000, 5 000, 4 000 и 4 000 ₽. У всех скидка 10%, себестоимость 45% исходной суммы, выполнение 4,5%. T01 и T02 на день 20 полностью вернули покупки: каждому возвращено 5 400 ₽, восстановлено 2 700 ₽ себестоимости, возвратная логистика — по 1 000 ₽.

В контроле шесть покупателей с заказами по 5 000 ₽. Только C01 получил скидку 1 000 ₽. Себестоимость первых четырёх заказов — по 2 500 ₽, последних двух — по 2 000 ₽; выполнение каждого — 200 ₽. На день 21 у C01 частичный возврат: 1 000 ₽ покупателю, 500 ₽ восстановленной себестоимости и 100 ₽ логистики. Остальные назначенные клиенты не покупали. Дробить заказы между контактами или исключать нулевые наблюдения нельзя.

Это внешняя аналитическая модель. В документации Mindbox о массовых рассылках участники варианта считаются по доставленным сообщениям, а встроенное окно теста ограничено 14 днями. Наши назначенные группы и 30-дневное наблюдение возвратов не следует выдавать за тот же отчёт платформы. Определение знаменателя нужно сравнивать до сравнения результатов.

Кейс 1. Выручка растёт — разрешать ли масштабирование?

Владелец кампании видит 40 000 ₽ против 30 000 ₽ до скидок и восемь покупателей против шести. Его предложение — распространить оффер на всю базу. Доступны все условия и суммы выше, контакты чистого сценария; требуется ответ после дня 30.

Сначала сохраните денежный мост:

Вклад = стоимость до скидок − скидки − возврат денег − исходная себестоимость + восстановленная себестоимость − выполнение − логистика возвратов − кампания.

Для теста: 40 000 − 4 000 − 10 800 − 18 000 + 5 400 − 1 800 − 2 000 − 1 000 = 7 800 ₽. Для контроля: 30 000 − 1 000 − 1 000 − 14 000 + 500 − 1 200 − 100 = 13 200 ₽.

На каждого из 20 назначенных клиентов приходится 390 ₽ в тесте и 660 ₽ в контроле. Наблюдаемая разница — −270 ₽ на клиента. При равных размерах групп разница суммарных вкладов составляет −5 400 ₽. Это описание учебного наблюдения, а не доказанная величина эффекта для всей клиентской базы.

Конверсия в факт хотя бы одной оплаты до возвратов — 40% против 30%, разница 10 процентных пунктов. Называть её конверсией в сохранённую покупку неверно: два тестовых покупателя вернули заказы полностью. Рост исходной стоимости заказов на 33⅓% также не отменяет ухудшение зрелого вклада.

Решение: заданная приёмка не выполнена, масштабирование удержать. Допустимая альтернатива — подготовить отдельный тест менее дорогого предложения после анализа причин возвратов. Нельзя задним числом убрать вернувших покупателей и объявить исходную гипотезу успешной. Другой вариант — остановить эту механику, если повторный эксперимент дороже возможной выгоды; для выбора нужны ограничения бюджета и коммерческая цель, которых в наборе нет.

Кейс 2. Положительный ранний отчёт и чужая акция в контроле

Изменим вводную: на день 7 возвраты ещё не отражены. Доступны те же оплаченные заказы и все исходные затраты. Кроме того, альтернативный журнал контактов показывает другую промоакцию: C02 получил push в день 2, C19 — письмо в день 2. Нельзя считать этот журнал дополнительными контактами чистого сценария: это отдельный вариант задачи.

Без возвратов ранний вклад теста равен 40 000 − 4 000 − 18 000 − 1 800 − 1 000 = 15 200 ₽, контроля — 30 000 − 1 000 − 14 000 − 1 200 = 13 800 ₽. На назначенного клиента это 760 и 690 ₽, разница +70 ₽. К дню 30 знак меняется на −270 ₽. Поэтому ранний результат нельзя подавать как итог, если целевой показатель заранее включает зрелые возвраты.

Вторая проблема независима от первой. У двух контрольных клиентов есть другая промокоммуникация. Удалить C02 и C19 после просмотра покупок — значит изменить назначенную группу по событию после назначения. C19 не покупал; исключение только покупающего C02 было бы ещё и явным выбором удобного результата.

Решение: сохранить описательную оценку по всем назначенным, отметить нарушение изоляции исследуемой кампании и не приписывать разницу только ей. Сам факт посторонней акции ещё не говорит, на сколько рублей она исказила результат: нужен полный журнал охвата обеих групп и дизайн взаимодействия кампаний. Если независимая параллельная акция была заранее рандомизирована и учтена в плане, возможен другой анализ. В данной вводной этого нет, поэтому чистый отдельный эффект реактивации не установлен. Следующий запуск требует согласованного исключения пересечений либо специально спланированного факторного эксперимента.

Кейс 3. Один заказ удваивается при соединении таблиц

В чистом журнале есть 20 попыток email: доставлены первые 18. T01 дополнительно получил доставленное SMS. У него один заказ на 6 000 ₽ до скидки. Требуется сверить исходные 40 000 ₽ теста с отчётом аналитика, где получилось 46 000 ₽.

Причина воспроизводится соединением заказов с каждым доставленным контактом по клиенту. Заказ T01 попадает в результат дважды: строка email и строка SMS. Лишние 6 000 ₽ объясняют всю разницу. Это не дополнительная покупка и не повод удалять сам заказ.

Исправление: денежные факты сначала агрегировать на уровне уникального заказа, затем клиента, затем назначенной группы. Контакты хранить отдельным фактом: был ли доставлен хотя бы один контакт, сколько было каналов, когда произошло воздействие. Если нужен охват, T01 считается одним достигнутым клиентом; всего их 18. В нашем основном денежном расчёте знаменатель остаётся 20. Полученные 8 уникальных тестовых заказов и 40 000 ₽ до скидок сверяются с исходным реестром. Предварительно стоит проверить, не скрывает ли повтор идентификатора корректировку заказа; в текущем реестре повторов order_id нет; если такой повтор появится во входных данных, проверка завершится ошибкой.

Вопросы на защите и содержательные ответы

Почему вы не делите тест на 18 получивших письмо?

Потому что основной вопрос — результат назначения этой механики для подходящего клиента, включая недоставки. Доставка происходит после назначения и может быть связана с особенностями клиента. Показатель среди достигнутых можно показать отдельно с явной подписью; он отвечает другому вопросу. Единица назначения и анализа должна быть определена заранее. Это согласуется с описанием стабильной единицы эксперимента в документации Statsig, но конкретный состав нашего показателя задан условием.

Почему скидка и возврат не вычитаются дважды?

За основу взята сумма до скидки. Сначала вычитается скидка, затем фактически возвращённая покупателю сумма после неё. При полном возврате заказа T01 это 6 000 − 600 − 5 400 = 0 ₽ выручки. Себестоимость восстанавливается отдельно только в предоставленной сумме; возврат денег сам по себе не доказывает возвращение товара в пригодный запас.

Почему вы не называете 7 800 ₽ чистой прибылью?

Потому что набор содержит только перечисленные статьи. Общехозяйственные расходы, налоги и другие затраты не включены. Корректное название — вклад по заданной модели затрат. Для чистой прибыли понадобится иной денежный мост и подтверждённая база распределения расходов.

Достаточно ли равных слоёв 90 и 120 дней, чтобы признать группы одинаковыми?

Нет. Это сверка одной известной характеристики и размеров, а не доказательство равенства всех исходных свойств. Проверю назначение, отсутствие повторных клиентов, правила участия и доступные предэкспериментальные показатели. Не буду выравнивать группы по результатам после запуска. Если исходное случайное назначение не подтверждается, причинная трактовка требует пересмотра.

Значит ли отрицательная разница, что рассылка точно вредит?

Нет. Мы получили отрицательную точечную оценку и провал заранее заданного бизнес-условия. Без оценки неопределённости нельзя объявить доказанный отрицательный эффект в генеральной совокупности. Для следующего теста нужны допустимая ошибка, минимально полезный эффект, дисперсия показателя и расчёт размера выборки. Универсального правила «40 клиентов всегда мало» здесь тоже нет.

Почему нельзя просто увеличить окно, пока результат не улучшится?

Окно определяет, какие покупки и возвраты относятся к оценке. Его выбирают до просмотра итога, исходя из задачи и задержек данных. Дополнительный анализ более длинного окна возможен, но должен быть обозначен как отдельный и не переписывать прежний критерий успеха. В наборе дни 1–7 и 30 заданы явно, а не заимствованы как универсальный стандарт платформы.

Можно ли пересчитать экономику на миллион клиентов умножением?

Для такой рекомендации недостаточно данных. Стоимость кампании здесь фиксирована, а масштаб может менять тарифы, частоту контактов, состав базы, скидки и операционную нагрузку. Сначала разделю постоянные и переменные затраты, проверю доступную аудиторию и ограничения. −270 ₽ — наблюдаемая разница в данном наборе, а не готовый прогноз на миллион.

Что вы запрашиваете у коллег до окончательного вывода?

Снимок назначения, реестр заказов и корректировок, момент признания возврата, восстановление себестоимости, тарифы кампании и все параллельные контакты. Нужны владельцы полей и время обновления: два отчёта на разные даты могут расходиться без ошибки формулы. Передача должна быть ограничена необходимыми данными; реальные контакты покупателей для этого упражнения не нужны.

Если расчёт нужно защищать на интервью, подготовьте объяснение выбранной метрики и ограничений по материалу о подготовке к собеседованию маркетолога.

Как представить результат работодателю

Реплика кандидата интервьюеру: «Я сохранил назначенные группы по 20 клиентов и разложил деньги до возвратов и после них. Ранние +70 ₽ на клиента превращаются в −270 ₽ к дню 30. По согласованной приёмке я удерживаю масштабирование. Отдельно показал сценарий посторонних контактов: там нельзя приписать всю разницу нашей рассылке».

Сообщение коллеге, которое решает другую задачу: «Пришлите, пожалуйста, журнал всех промоконтактов C02 и C19 и остальных участников обеих групп за дни 0–30: идентификатор клиента, кампанию, канал, время и статус доставки. Нужны также правила исключения пересечений и дата выгрузки. Сверю охват до согласования следующего запуска».

Полная записка о решении пригодна как образец сдачи. В ней есть предмет, расчёт, ограничения и запрос следующего действия. Она не изображает решение реальной компании.

На подготовке сначала воспроизведите суммы вручную, затем запустите расчёт и независимую проверку. После этого закройте решение и перескажите причины изменения знака без таблицы. На встрече спросите: кто утверждает экономику и окно, как фиксируется назначение, кто управляет параллельными кампаниями и какая проверка неопределённости обязательна до масштабирования. Ответы покажут, насколько работа действительно включает приёмку экспериментов, а не только выпуск рассылок.