← К статье

Редактируемые учебные материалы к статье. Данные кандидатов и результаты примеров вымышлены; перед использованием замените их собственными проверяемыми сведениями. Условия и ограничения указаны в статье.

Все приложения к статье
Скачать исходник

Реактивация: законченный учебный комплект

Все идентификаторы и события вымышлены. Суммы в рублях, без НДС. CSV: UTF-8, разделитель ;, заголовок в первой строке. День 0 — назначение; заказы дней 1–7; возвраты до дня 30 включительно. Это внешний аналитический пример, не выгрузка из CRM-платформы.

Данные и порядок работы

  • assignments.csv: 40 уникальных назначенных клиентов, по 20 на группу; внутри каждой по десять из двух исходных слоёв. Нулевые покупки не удаляются.
  • orders.csv: 14 уникальных оплаченных заказов, скидки, себестоимость, выполнение и возвраты. У покупателя один заказ; повтор order_id недопустим.
  • contacts.csv: чистый сценарий, 20 email-попыток и дополнительное SMS для T01. Уникальный доставленный охват — 18 клиентов.
  • contacts-contaminated.csv: альтернативный сценарий, добавлены чужие промоконтакты C02 и C19. Клиентов не удаляют задним числом.
  • rules.json: границы денежной модели. Вклад не является чистой прибылью компании.
  • evaluate.py: воспроизводимый расчёт; verify.py: отдельный фиксированный агрегатный эталон, без импорта расчётного модуля.
  • result.json: полный рассчитанный результат двух окон и диагностик соединения/контактов.
  • memo.md: законченная записка о приёмке кампании.

В каталоге комплекта выполните Python 3.9+:

python3 evaluate.py
python3 verify.py

Первая команда перезаписывает только result.json. Успех второй — exit 0, ошибка данных или эталона — ненулевой exit. Используется только стандартная библиотека. Личные данные, токены, CRM-кабинет и интернет не требуются.

Эталон и границы

На день 7 вклад теста 15 200 ₽, контроля 13 800 ₽; на назначенного клиента 760 против 690 ₽, разница +70 ₽. На день 30 — 7 800 против 13 200 ₽; 390 против 660 ₽, разница −270 ₽. Чистая выручка после скидок и возвратов 25 200 против 28 000 ₽. Слово «чистая» здесь относится к выручке после указанных вычетов, а не к прибыли.

Восемь против шести покупателей означают факт оплаты до возвратов: 40% против 30%, разница 10 п.п. Два тестовых покупателя вернули заказы полностью. При ошибочном соединении контактов и заказов тестовая сумма до скидок вырастает с 40 000 до 46 000 ₽: заказ T01 удваивается на email и SMS. Правильный расчёт денег не соединяет их с каждой строкой контакта.

Денежный мост теста: 40 000 − 4 000 − 10 800 − 18 000 + 5 400 − 1 800 − 2 000 − 1 000 = 7 800 ₽. Контроля: 30 000 − 1 000 − 1 000 − 14 000 + 500 − 1 200 − 100 = 13 200 ₽. Восстановленная себестоимость дана отдельно; не предполагается, что любой возврат денег автоматически восстанавливает запас.

Приёмка из условия: не масштабировать до созревания окна, положительной разницы вклада на назначенного клиента и сохранённой изоляции кампании. Даже положительный результат такого фильтра не заменяет оценку неопределённости. Все суммы без НДС. В наборе нет доверительного интервала, p-value, прогноза на всю базу, расчёта прочих налогов и общих расходов. В загрязнённом сценарии описательные суммы сохраняются, отдельный причинный эффект реактивации не установлен.

Внутренний контроль исполнения дополнительно проверил, что неверный зрелый вклад, дублированный заказ и заказ неназначенного клиента дают ненулевой выход на отдельных временных копиях. Рабочие данные не испорчены.

Заполненный журнал исключений и исправлений

ОбъектНаблюдениеДействие в итоговом расчёте
T19, T20Письмо не доставленоСохранить в назначенной группе, не менять знаменатель 20
T01Два доставленных канала, один заказОдна денежная запись; охват считается по уникальному клиенту
T01, T02Полный возврат в день 20Вычесть возврат денег, отдельно восстановить данную себестоимость и учесть логистику
C01Частичный возврат в день 21Учесть частичные суммы, клиента и заказ не удалять
C02, C19, альтернативный сценарийЧужая акция в день 2Сохранить в назначенном контроле, отметить нарушение изоляции
Заказ вне назначения / повтор order_idВ исходном комплекте нет; проверяется отрицательными копиямиОстановить расчёт, запросить исправление первичного реестра
Скачать исходник

Исходные данные: assignments.csv

customer_idgrouprecency_stratumassigned_day
T01test90d0
T02test90d0
T03test90d0
T04test90d0
T05test90d0
T06test90d0
T07test90d0
T08test90d0
T09test90d0
T10test90d0
T11test120d0
T12test120d0
T13test120d0
T14test120d0
T15test120d0
T16test120d0
T17test120d0
T18test120d0
T19test120d0
T20test120d0
C01control90d0
C02control90d0
C03control90d0
C04control90d0
C05control90d0
C06control90d0
C07control90d0
C08control90d0
C09control90d0
C10control90d0
C11control120d0
C12control120d0
C13control120d0
C14control120d0
C15control120d0
C16control120d0
C17control120d0
C18control120d0
C19control120d0
C20control120d0
Скачать исходник

Исходные данные: contacts-contaminated.csv

contact_idcustomer_idcampaignchanneldeliveredday
M01T01reactivationemail11
M02T02reactivationemail11
M03T03reactivationemail11
M04T04reactivationemail11
M05T05reactivationemail11
M06T06reactivationemail11
M07T07reactivationemail11
M08T08reactivationemail11
M09T09reactivationemail11
M10T10reactivationemail11
M11T11reactivationemail11
M12T12reactivationemail11
M13T13reactivationemail11
M14T14reactivationemail11
M15T15reactivationemail11
M16T16reactivationemail11
M17T17reactivationemail11
M18T18reactivationemail11
M19T19reactivationemail01
M20T20reactivationemail01
M21T01reactivationsms11
X1C02other_promopush12
X2C19other_promoemail12
Скачать исходник

Исходные данные: contacts.csv

contact_idcustomer_idcampaignchanneldeliveredday
M01T01reactivationemail11
M02T02reactivationemail11
M03T03reactivationemail11
M04T04reactivationemail11
M05T05reactivationemail11
M06T06reactivationemail11
M07T07reactivationemail11
M08T08reactivationemail11
M09T09reactivationemail11
M10T10reactivationemail11
M11T11reactivationemail11
M12T12reactivationemail11
M13T13reactivationemail11
M14T14reactivationemail11
M15T15reactivationemail11
M16T16reactivationemail11
M17T17reactivationemail11
M18T18reactivationemail11
M19T19reactivationemail01
M20T20reactivationemail01
M21T01reactivationsms11
Скачать исходник

Код проверки: evaluate.py

#!/usr/bin/env python3
"""Учебная оценка реактивации, Python3.9+, stdlib. Не клиент CRM-платформы."""
from pathlib import Path
import csv,json,sys
from decimal import Decimal

def load(path):
 with path.open(encoding='utf-8') as f:return list(csv.DictReader(f,delimiter=';'))
def evaluate(folder):
 assigned=load(folder/'assignments.csv');orders=load(folder/'orders.csv');contacts=load(folder/'contacts.csv');bad_contacts=load(folder/'contacts-contaminated.csv');rules=json.loads((folder/'rules.json').read_text())
 ids=[x['customer_id'] for x in assigned];assert len(ids)==len(set(ids)),'Duplicate assignment';groups={x['customer_id']:x['group'] for x in assigned};assert set(groups.values())=={'test','control'}
 order_ids=[x['order_id'] for x in orders];assert len(order_ids)==len(set(order_ids)),'Duplicate order'
 assert all(x['customer_id'] in groups for x in orders),'Unassigned order'
 for row in orders:
  for k in ['paid_day','gross_RUB','discount_RUB','cogs_RUB','fulfillment_RUB','refund_RUB','recovered_cogs_RUB','return_logistics_RUB','refund_day']:row[k]=int(row[k]);assert row[k]>=0
  assert row['discount_RUB']<=row['gross_RUB'] and row['refund_RUB']<=row['gross_RUB']-row['discount_RUB'],'Impossible revenue/refund'
  assert row['recovered_cogs_RUB']<=row['cogs_RUB'],'Recovered cost exceeds original'
 result={}
 for as_of in [7,30]:
  metrics={}
  for group in ['test','control']:
   members=[x['customer_id'] for x in assigned if x['group']==group];paid=[x for x in orders if groups[x['customer_id']]==group and 1<=x['paid_day']<=7 and x['paid_day']<=as_of]
   gross=sum(x['gross_RUB'] for x in paid);discount=sum(x['discount_RUB'] for x in paid);cogs=sum(x['cogs_RUB'] for x in paid);fulfill=sum(x['fulfillment_RUB'] for x in paid)
   mature=[x for x in paid if x['refund_day'] and x['refund_day']<=as_of];refund=sum(x['refund_RUB'] for x in mature);recovered=sum(x['recovered_cogs_RUB'] for x in mature);retlog=sum(x['return_logistics_RUB'] for x in mature)
   campaign=rules['campaign_cost_RUB'][group];profit=gross-discount-refund-cogs+recovered-fulfill-retlog-campaign
   metrics[group]={'assigned':len(members),'ever_paid_buyers':len({x['customer_id'] for x in paid}),'gross_RUB':gross,'discount_RUB':discount,'refund_RUB':refund,'net_revenue_RUB':gross-discount-refund,'cogs_RUB':cogs,'recovered_cogs_RUB':recovered,'fulfillment_RUB':fulfill,'return_logistics_RUB':retlog,'campaign_cost_RUB':campaign,'contribution_RUB':profit,'per_assigned_RUB':str(Decimal(profit)/len(members))}
  result[str(as_of)]={'groups':metrics,'difference_per_assigned_RUB':str(Decimal(metrics['test']['per_assigned_RUB'])-Decimal(metrics['control']['per_assigned_RUB']))}
 reached={x['customer_id'] for x in contacts if x['delivered']=='1' and x['campaign']=='reactivation'}
 contaminated={x['customer_id'] for x in bad_contacts if x['delivered']=='1' and groups[x['customer_id']]=='control'}
 # Ошибочный many-to-one join для демонстрации; правильный расчёт выше его не использует.
 naive=sum(o['gross_RUB'] for o in orders for c in contacts if o['customer_id']==c['customer_id'] and c['delivered']=='1')
 return {'snapshots':result,'unique_reached_test':len(reached),'other_contact_in_control':sorted(contaminated),'naive_join_gross_test_RUB':naive,'correct_test_orders':len([x for x in orders if groups[x['customer_id']]=='test'])}
if __name__=='__main__':
 base=Path(sys.argv[1]) if len(sys.argv)>1 else Path(__file__).resolve().parent;dest=Path(sys.argv[2]) if len(sys.argv)>2 else base/'result.json';r=evaluate(base);dest.write_text(json.dumps(r,ensure_ascii=False,indent=2),encoding='utf-8');print(json.dumps(r,ensure_ascii=False))
Скачать исходникСкачать Word

Решение по приёмке реактивации

Кому: руководителю CRM-маркетинга От: аналитика кампании Предмет: итог зрелого окна и условия следующего запуска

Предлагаю удержать масштабирование текущего предложения. Сравнение выполнено по всем назначенным клиентам: 20 в тесте и 20 в контроле. Покупки включены за дни 1–7, связанные возвраты — до дня 30. Неполучившие письмо клиенты сохранены в исходной тестовой группе.

Сумма заказов до скидок составила 40 000 ₽ в тесте против 30 000 ₽ в контроле. Факт оплаты был у восьми и шести клиентов, то есть 40% и 30% назначенных. Этот показатель не исключает последующие возвраты.

После скидок, возвратов, себестоимости с её восстановлением, выполнения заказов, логистики возвратов и стоимости кампании вклад составляет 7 800 ₽ в тесте и 13 200 ₽ в контроле. На назначенного клиента — 390 и 660 ₽; наблюдаемая разница −270 ₽. Все денежные суммы приведены без НДС; прочие налоги и общие расходы в этой модели не рассчитываются. Она не описывает чистую прибыль компании.

Ранний срез на день 7 давал +70 ₽ на клиента. Он не прошёл проверку зрелостью: возвраты изменили знак результата. Заранее заданное условие положительной зрелой разницы не выполнено. Эти числа являются точечной оценкой учебного набора, без проверки статистической неопределённости и без переноса на всю базу.

Дополнительно проверены две проблемы данных. Соединение каждого заказа с каждым доставленным контактом удваивает заказ T01 и завышает сумму теста до 46 000 ₽. В правильном расчёте восемь уникальных заказов дают 40 000 ₽. В альтернативном журнале другая акция касается C02 и C19. При таком сценарии назначенные клиенты остаются в расчёте, но отдельный эффект нашей кампании нельзя считать установленным без анализа пересечения воздействий.

Прошу согласовать сохранение остановки масштабирования и владельцев двух проверок: финансовая команда подтверждает состав затрат и зрелость возвратов, CRM-команда — журнал параллельных контактов и правила изоляции. После этого предлагаю решить, оправдан ли отдельный тест менее дорогого предложения. Для него заранее потребуются бизнес-порог, оценка неопределённости, объём выборки и правила учёта других кампаний. До выполнения этих условий прогноз дополнительного дохода на всю базу не предлагаю.

Скачать исходник

Исходные данные: orders.csv

order_idcustomer_idpaid_daygross_RUBdiscount_RUBcogs_RUBfulfillment_RUBrefund_RUBrecovered_cogs_RUBreturn_logistics_RUBrefund_day
OT01T0136000600270027054002700100020
OT02T0236000600270027054002700100020
OT03T033500050022502250000
OT04T043500050022502250000
OT05T053500050022502250000
OT06T063500050022502250000
OT07T073400040018001800000
OT08T083400040018001800000
OC01C014500010002500200100050010021
OC02C0245000025002000000
OC03C0345000025002000000
OC04C0445000025002000000
OC05C0545000020002000000
OC06C0645000020002000000
Скачать исходник

Код проверки: verify.py

#!/usr/bin/env python3
"""Независимый фиксированный агрегатный эталон; без импорта evaluate.py."""
from pathlib import Path
from decimal import Decimal
import json,sys
p=Path(__file__).resolve().parent
r=json.loads((Path(sys.argv[1]) if len(sys.argv)>1 else p/'result.json').read_text(encoding='utf-8'))
early_t=40000-4000-18000-1800-1000;early_c=30000-1000-14000-1200
late_t=early_t-10800+5400-2000;late_c=early_c-1000+500-100
assert (early_t,early_c,late_t,late_c)==(15200,13800,7800,13200)
for day,t,c,diff in [('7',early_t,early_c,70),('30',late_t,late_c,-270)]:
 s=r['snapshots'][day];assert s['groups']['test']['contribution_RUB']==t;assert s['groups']['control']['contribution_RUB']==c
 assert s['groups']['test']['assigned']==s['groups']['control']['assigned']==20
 assert Decimal(s['difference_per_assigned_RUB'])==Decimal(diff)
 assert Decimal(s['groups']['test']['per_assigned_RUB'])==Decimal(t)/20
 assert Decimal(s['groups']['control']['per_assigned_RUB'])==Decimal(c)/20
 assert s['groups']['test']['ever_paid_buyers']==8 and s['groups']['control']['ever_paid_buyers']==6
assert r['unique_reached_test']==18
assert r['other_contact_in_control']==['C02','C19']
assert r['naive_join_gross_test_RUB']==46000 and r['correct_test_orders']==8
assert r['snapshots']['30']['groups']['test']['net_revenue_RUB']==25200
assert r['snapshots']['30']['groups']['control']['net_revenue_RUB']==28000
print('PASS: early/final economics, assigned denominators, reach vs assignment, control contamination, duplicate-join example.')