# Учебный практикум

## Кейс: общая активация выросла с 28% до 57%

Учебный сервис позволяет компании создать общую доску и работать с коллегами. Данные уже очищены от внутренних и тестовых аккаунтов. Одна компания учитывается как один аккаунт независимо от числа сотрудников. Все когорты завершили полное семидневное окно наблюдения.

Активация задана условием: в течение семи суток после регистрации компания создала доску, пригласила коллегу, а тот выполнил хотя бы одно содержательное действие на доске. Повторная отправка одного события не создаёт вторую активированную компанию. Автоматическое создание пустого шаблона само по себе активацией не является.

Есть два заранее определённых сегмента: самостоятельная регистрация и регистрация с сопровождением менеджера. Сегмент закрепляется при регистрации. В ноябре одновременно изменились состав привлечения и интерфейс первого запуска. Других сведений о причинности пока нет.

| Когорта | Сегмент | Новые компании | Активированные |
|---|---|---|---|
|Октябрь|Самостоятельные|400|80|
|Октябрь|С сопровождением|100|60|
|Ноябрь|Самостоятельные|100|25|
|Ноябрь|С сопровождением|400|260|

Руководитель говорит: «Новый интерфейс почти удвоил активацию. Давайте срочно добавим ещё один экран мастера». На решение о следующем исследовании есть два рабочих дня. Проектировать весь продукт и обещать немедленный рост продаж не требуется.

### Какие вопросы задать

Уточни, не менялось ли определение активации и сбор событий, одинаковы ли окна, что означает сопровождение и как устроено распределение новых компаний. Проверь, не переносилась ли компания между сегментами задним числом. Для рабочего анализа понадобились бы события на уровне аккаунтов, даты, каналы, размер компаний и версия интерфейса.

[Amplitude описывает account-level reporting отдельно от индивидуальных пользователей](https://amplitude.com/docs/analytics/account-level-reporting). В нашем B2B-сценарии это существенная граница: сотрудник может создать доску, другой — выполнить следующий шаг, а результат относится к одной компании. Установка конкретного аналитического продукта для решения упражнения не нужна.

### Как пересчитать результат

В октябре активировались 140 из 500 компаний: 28%. В ноябре 285 из 500:57%. Общий рост — 29 процентных пунктов, а не 29%. Относительное изменение составляет примерно 103,6%, но оно тоже не объясняет причину.

Внутри самостоятельного сегмента доля выросла с 20% до 25%, с сопровождением — с 60% до 65%. В обоих случаях прирост 5 процентных пунктов. При этом доля сопровождаемых компаний в потоке выросла с 20% до 80%.

Для описательного сравнения применим ноябрьские доли к октябрьскому составу: 0,8×25%+0,2×65%=33%. Это на 5 пунктов выше октябрьских 28%. Разница между фактическими 57% и условными 33% равна 24 пунктам. При таком выбранном способе стандартизации она связана с другим составом потока.

Эта арифметика не выделяет причинный эффект интерфейса. Даже пять пунктов внутри сегмента могли быть связаны с качеством привлечения, сезонностью или другими изменениями. Нельзя назвать 33% доказанной активацией, которая «была бы без менеджеров»: мы только пересчитали доли с фиксированными весами.

Ответ интервьюеру:

> Общая активация выросла, но исходные группы сильно изменились. Сначала покажу 28% и 57%, затем 20→25% и 60→65%. При прежних весах ноябрь дал бы 33% в описательном пересчёте. Поэтому не припишу 29 пунктов новому интерфейсу и не выберу следующий экран только по этому графику. Проверю данные и разберу конкретное препятствие самостоятельных компаний.

## Как выбрать гипотезу и следующий шаг

Дополнительная учебная воронка ноября:

| Шаг в семидневном окне | Самостоятельные | С сопровождением |
|---|---|---|
|Регистрация|100|400|
|Создали доску|70|360|
|Пригласили коллегу|40|320|
|Коллега совершил действие|25|260|

Этапы вложены друг в друга и считаются по компаниям, не по событиям. В самостоятельном сегменте между созданием доски и приглашением остаются 40 из 70, около 57,1%. Это сигнал для исследования, а не доказательство плохой кнопки приглашения. Не все компании обязательно были готовы пригласить коллегу в пределах семидневного окна.

В условии есть две вымышленные записи наблюдения: один администратор хотел сначала разобраться на пустой доске и не понял, что увидит приглашённый; другой не имел рабочего адреса коллеги под рукой. Это отдельные эпизоды, не статистика распространённости и не настоящие проведённые интервью.

Предложи проверяемую гипотезу: «Если администратор увидит безопасный пример совместной работы и поймёт, какие данные получит коллега, часть самостоятельных компаний сможет завершить приглашение». Предпосылки: проблема действительно связана с неопределённостью, демонстрация её снимает и приглашённый получает полезную задачу. Отдельно остаётся ситуация с отсутствующим контактом: ещё один экран её не исправляет.

Сравни три варианта: объяснение доступа рядом с приглашением, короткая демонстрационная доска, возможность сохранить приглашение на потом. Не выставляй точные баллы impact и confidence без основания. Сначала оцени с дизайном и разработкой сложность и риск каждого, выбери наиболее дешёвую проверку существенного предположения.

За два дня можно проверить определения событий, разобрать несколько недавних эпизодов и провести первые наблюдения прототипа с целевой аудиторией, если доступ к ней уже есть. Нельзя гарантировать набор участников и завершение эксперимента за этот срок. Результат этих двух дней — уточнённая проблема, список допущений, выбранный способ проверки и условия следующего решения.

## Как предложить эксперимент без выдуманной достоверности

### «Пять пользователей сказали, что экран нравится. Запускаем?»

> Это ещё не подтверждение роста активации. Проверю, смогли ли участники без подсказки выполнить нужную задачу и что именно стало понятнее. Для оценки эффекта на активацию подготовлю контролируемое сравнение, если поток и риски позволяют. До старта зафиксирую аудиторию, единицу распределения, метрику, окно, ограничения и правило решения. Не буду выбирать победителя после первого удачного дня.

Возможный план: новые самостоятельные аккаунты распределяются устойчиво на уровне компании, все её сотрудники видят один вариант. Сравниваются текущий сценарий и объяснение доступа с демонстрацией. Основная метрика — заданная семидневная активация, защитные — ошибки приглашения, обращения по непонятному доступу и последующее использование после первой недели. Определение защитных метрик и допустимые ухудшения согласуются заранее.

Размер выборки и длительность нужно рассчитать по базовой доле, минимально полезному эффекту, выбранному статистическому подходу и реальному потоку. Не называй 100 компаний или две недели достаточными по умолчанию. После набора каждой когорте нужно завершить семидневное окно; поздно пришедшие регистрации нельзя считать неактивированными раньше срока.

[Microsoft описывает sample ratio mismatch как проверку качества эксперимента](https://learn.microsoft.com/en-us/xbox/playfab/live-service-management/game-configuration/experiments/experimentation-keys). Если фактические группы существенно расходятся с запланированным распределением, сначала разбирают причину. Проверка статистической значимости не исправляет сломанный сбор данных или пересечение вариантов внутри одной компании.

### «Что будете делать, если активация выросла, а удержание упало?»

> Проверю зрелость когорт и определения, затем разберу, какое поведение прибавилось. Возможно, новый путь быстро создаёт формальное действие, но не помогает продолжить работу. Не объявлю успех по одной основной метрике, если нарушено заранее согласованное ограничение. Сопоставлю сегменты и причины ухода; решение об откате или доработке приму с командой по масштабу вреда и качеству данных.

### «Директор всё равно требует полный мастер сейчас»

> Покажу, какой вывод подтверждён и какой пока нет, сравню стоимость немедленного решения и дешёвой проверки. Если решение о выпуске остаётся за директором, зафиксирую допущения, ограниченный охват и способ остановки при проблеме. Не буду задним числом называть указание результатом исследования и не стану обещать точный рост, которого не умею обосновать.

Эта реплика адресована интервьюеру. В ролевой части директору можно сказать: «Рост виден, но большая часть общего изменения связана с составом новых компаний при нашем пересчёте. Предлагаю сначала проверить препятствие приглашения у самостоятельных аккаунтов и сравнить короткое объяснение с текущим сценарием. К концу второго дня принесу определения событий, результаты первых наблюдений и план оценки эффекта».

