Полное условие и решение — рабочий материал

Рабочий материал для самостоятельного использования. Скопируй текст в свой документ и адаптируй под свою задачу. Данные не отправляются.

Авторское учебное условие на синтетических данных.

Практикум: обучить baseline и не подсмотреть в test

Это авторское упражнение. Файл data.csv содержит 48 синтетических записей: 24 train, 12 validation и 12 test. У каждой entity две записи; entity не пересекаются между частями. Дни train — 1-24, validation — 25-36, test — 37-48. Прогноз делается по одному признаку x, доступному к этому дню. Id, entity, day и label не используются как признаки.

Label равен 0 или 1. Пустой x означает пропуск, а не ноль. Среднее считается по непустым train-значениям; им заполняются пропуски. Стандартное отклонение считается по всем 24 train-значениям после заполнения, с делением на 24. Оно тоже фиксируется для остальных частей. Если все train-значения отсутствуют — ошибка; если признак константный, используем std=1.

Обучается логистическая модель одного признака: score=sigmoid(w×z+b), где z — стандартизованный x. Начальные w и b равны 0, выполняются 2000 шагов полного градиента с learning rate=0,1. К градиенту w добавляется 0,01×w; b не регуляризуется. В sigmoid аргумент ограничивается диапазоном от −30 до 30 для численной устойчивости. Это учебная реализация и вычисляемый score, без обещания калибровки реальных вероятностей.

Порог выбирается только из 0,25; 0,5; 0,75 по стоимости 5×FN+FP на validation. При равенстве стоимости берётся больший порог. Положительное решение означает score не меньше порога. Test не участвует в обучении, преобразованиях и выборе порога.

Решение и фактический результат обучения

Сначала проверяются уникальность id, наличие всех частей, отсутствие пересечения entity и порядок временных интервалов. Затем вычисляются только train-параметры: mean≈0,1173913043 и std≈1,5944309784. После обучения получены w≈2,4722070560 и b≈−0,7280022740. Полная точность значений сохранена в results.json; округление в статье не применяется обратно к тестам.

ПорогValidation TP/FP/FN/TNСтоимость 5×FN+FP
0,255 / 4 / 1 / 29
0,54 / 1 / 2 / 511
0,753 / 0 / 3 / 615

Выбран порог 0,25. Порог 0,5 даёт более высокий F1 на validation, но не минимальную согласованную стоимость. Объяснение этого различия — часть решения: цель не сводится к максимизации любого доступного показателя. При другой стоимости ошибок или ограничении на число положительных решений выбор мог бы измениться.

На отложенных 12 test-строках получены TP=5, FP=3, FN=1, TN=3. Precision=5/8=0,625; recall=5/6≈0,8333; F1=10/14≈0,7143; стоимость=5×1+3=8. Эти числа относятся только к маленькой синтетической фикстуре. По ним нельзя обещать 83% полноты в реальной работе или оценить стабильность результата на новых сегментах.

Проверки, которые защищают сам эксперимент

Скрипт меняет все test-метки на противоположные и повторяет только обучение и выбор порога. Модель, параметры преобразований и таблица validation обязаны остаться прежними. Это проверяет отсутствие зависимости настройки от test labels. Сам факт этой проверки не доказывает, что исходный x в реальном бизнесе был доступен вовремя: это отдельно дано учебным контрактом.

Проверены дубли id, перенос entity в другую часть, пересечение временных интервалов и пустые данные. Отдельные проверки охватывают полностью отсутствующий train-признак, константный признак и нулевой знаменатель precision. Формулы также проверяются на независимой от обучения матрице TP=6, FP=3, FN=2, TN=9.

Негативный режим обучает преобразование сразу на всех 48 строках. Проверка параметров train-only обнаруживает утечку и возвращает код 2. Ему не требуется случайное ухудшение метрики: ошибка определяется нарушенным протоколом, а не тем, стало ли конкретное число больше. Проверки используют явное исключение и действуют с PYTHONOPTIMIZE=1.

Архив, запуск и границы применения

Скачай ML-практикум, открой полное условие с копированием или Markdown. В архиве есть data.csv, check.py, README, results.json и execution-log.json. Запусти python3 check.py; файл results.json будет пересоздан. Для контролируемой утечки запусти python3 check.py --negative, ожидаемый код 2.

Обучение и проверки выполнены на Python 3.9.6 в обычном и оптимизированном режиме. В архиве нет зависимостей sklearn/PyTorch, сетевых запросов или облачных учётных данных. Это не benchmark библиотек, не оценка GPU и не готовый production-сервис. Он даёт проверяемый baseline и протокол оценки, который можно обсуждать на интервью.

Перед встречей объясни, почему пропуск не равен нулю, откуда берётся среднее, почему порог не выбран по test и почему два результата F1 в статье относятся к разным матрицам. Затем назови данные и проверки, необходимые для следующего шага: реальные задержки меток, стоимость ошибок, доступность признаков и достаточный объём оценки.