Собеседование ML-инженера: вопросы, ответы и практический кейс
Вопросы ML-инженеру: утечка данных, split, порог и метрики. Авторский кейс с разбором проверки модели и воспроизводимыми расчётами.
На этой странице
На собеседовании ML-инженера полезно объяснять не только модель, но и происхождение оценки её качества. Если преобразование обучено по будущим данным, порог выбран по test, а пользователь встречается в обеих частях выборки, красивое число может описывать утечку. Рабочий ответ связывает задачу, доступные признаки, разбиение, обучение, метрику и ограничения результата.
Ниже — профессиональные вопросы и авторский практикум с полным кодом обучения небольшой логистической модели. Используется стандартная библиотека Python: обучение действительно выполнено. Scikit-learn, PyTorch, GPU и облачные сервисы не запускаются. Данные искусственные, а результат не является прогнозом качества в реальном продукте или заданием работодателя.
Вопросы и ответы о машинном обучении
«Как представить ML-проект?»
«Начну с решения, которое должен поддерживать прогноз. Назову единицу наблюдения, момент предсказания и целевое событие. Объясню, какие признаки реально доступны в этот момент, как формируются метки и когда они становятся известны. Затем покажу baseline, разбиение, критерий выбора и итоговую проверку. Отделю мою работу от командной и не подменю бизнес-результат одной offline-метрикой».
Например, признак «число обращений после отказа» нельзя использовать для прогноза самого отказа до его наступления. Формально он может быть числовым и отлично предсказывать метку; проблема находится во времени доступности. Для своего примера подготовь один конкретный путь получения признака и проверку его доступности при inference. Резюме библиотек этого не заменяет.
«Когда случайного train/test split недостаточно?»
«Если записи зависимы через одного пользователя, устройство или другой объект, случайное разбиение строк может перенести информацию об объекте в обе части. Если задача предсказывает будущее, нужно учитывать время. Выберу разбиение под будущий сценарий использования: новые объекты, будущие события существующих объектов или другой режим. Универсально объявлять один способ правильным нельзя».
AWS разбирает splits и leakage как часть планирования ML. В упражнении ниже намеренно выбран строгий сценарий: будущие наблюдения новых entity. Между train, validation и test нет общих entity, а временные интервалы последовательно разделены. Это условие не означает, что в любой задаче повтор пользователя между периодами запрещён: важно, какую оценку ты хочешь получить.
«Можно ли сначала нормализовать весь датасет?»
«Параметры преобразования, получаемые из данных, обучу только на train. Затем применю те же параметры к validation и test. Иначе информация о распределении будущих данных попадёт в обучение даже без использования их меток. Для пропусков, масштабирования, отбора признаков и других обучаемых шагов проверю эту границу отдельно».
Scikit-learn common pitfalls показывает проблему leakage и пользу Pipeline для правильного размещения fit/transform. Само название Pipeline не гарантирует корректность: важно, какие данные переданы в fit и какие шаги помещены внутрь. В нашем коде нет sklearn Pipeline; параметры train-only проверяются явным сравнением, а негативный режим намеренно нарушает это правило.
«Accuracy, precision и recall отвечают на один вопрос?»
«Нет. Precision показывает долю истинных положительных среди предсказанных положительных, recall — долю найденных среди фактически положительных. Accuracy может выглядеть высокой на несбалансированной задаче даже у бесполезного для редкого события решения. Выберу метрику через последствия FP и FN, а не через привычное число в отчёте».
Google ML Crash Course объясняет различия этих метрик и влияние порога. Для отдельной проверки формул возьмём TP=6, FP=3, FN=2, TN=9: precision=6/9, recall=6/8, F1=12/17, accuracy=15/20. Это самостоятельная учебная матрица; она не описывает обученную ниже модель. При нулевом знаменателе в практикуме возвращается 0 — выбранная политика, которую нужно явно указать.
«Как выбрать порог?»
«Модель и порог решают разные задачи. Порог выберу на validation по заранее определённому критерию, затем зафиксирую перед итоговой оценкой. Если подбирать его по test, test превращается в ещё одну часть настройки. Также проверю нагрузку на обработку положительных решений и ограничения на ошибки, если они есть в постановке».
В упражнении FN стоит 5 условных единиц, FP — 1, поэтому выбираем минимум 5×FN+FP. Это не реальные деньги и не универсальное соотношение рисков. Среди трёх заданных порогов при равной стоимости берётся больший. Мы не выбираем максимум F1: это другой критерий, который может дать другой порог. Менять его после просмотра test ради красивого результата нельзя.
«Достаточно ли зафиксировать seed для воспроизводимости?»
«Нет. Запишу версии, данные, порядок операций, параметры и ограничения вычислительной среды. Seed помогает только там, где используется соответствующий источник случайности. Результаты могут зависеть от реализации операций и оборудования. Не обещаю побитовую одинаковость любых библиотек на любых платформах».
PyTorch reproducibility notes описывает ограничения воспроизводимости в своём контексте. Здесь PyTorch не вызывается, случайность вообще не используется: начальные веса, число шагов, порядок строк и параметры заданы. CSV сопровождается SHA-256 в results.json. Это позволяет воспроизвести маленький CPU-прогон. Между платформами последние разряды float-весов могут различаться из-за реализации math.exp; побитовое совпадение results.json не обещается. Это также не подтверждает идентичность другого GPU-пайплайна.
«Что наблюдать после запуска модели?»
«Разделю доступность сервиса, распределение входов, качество данных и качество прогнозов по поступившим меткам. Изменение распределения само по себе ещё не доказывает падение целевой метрики, а стабильный HTTP-ответ не означает полезный прогноз. Уточню задержку меток, сегменты и условия отката. Сигнал мониторинга должен вести к определённому действию и владельцу».
Документация Microsoft по мониторингу моделей разделяет соответствующие виды сигналов. Облачный мониторинг в архиве не настроен. Для этой задачи итог — воспроизводимая offline-проверка. Для production понадобятся контракт признаков, контроль train/serve skew, наблюдаемость и проверка качества на подходящем горизонте.
Практикум: обучить baseline и не подсмотреть в test
Это авторское упражнение. Файл data.csv содержит 48 синтетических записей: 24 train, 12 validation и 12 test. У каждой entity две записи; entity не пересекаются между частями. Дни train — 1-24, validation — 25-36, test — 37-48. Прогноз делается по одному признаку x, доступному к этому дню. Id, entity, day и label не используются как признаки.
Label равен 0 или 1. Пустой x означает пропуск, а не ноль. Среднее считается по непустым train-значениям; им заполняются пропуски. Стандартное отклонение считается по всем 24 train-значениям после заполнения, с делением на 24. Оно тоже фиксируется для остальных частей. Если все train-значения отсутствуют — ошибка; если признак константный, используем std=1.
Обучается логистическая модель одного признака: score=sigmoid(w×z+b), где z — стандартизованный x. Начальные w и b равны 0, выполняются 2000 шагов полного градиента с learning rate=0,1. К градиенту w добавляется 0,01×w; b не регуляризуется. В sigmoid аргумент ограничивается диапазоном от −30 до 30 для численной устойчивости. Это учебная реализация и вычисляемый score, без обещания калибровки реальных вероятностей.
Порог выбирается только из 0,25; 0,5; 0,75 по стоимости 5×FN+FP на validation. При равенстве стоимости берётся больший порог. Положительное решение означает score не меньше порога. Test не участвует в обучении, преобразованиях и выборе порога.
Решение и фактический результат обучения
Сначала проверяются уникальность id, наличие всех частей, отсутствие пересечения entity и порядок временных интервалов. Затем вычисляются только train-параметры: mean≈0,1173913043 и std≈1,5944309784. После обучения получены w≈2,4722070560 и b≈−0,7280022740. Полная точность значений сохранена в results.json; округление в статье не применяется обратно к тестам.
| Порог | Validation TP/FP/FN/TN | Стоимость 5×FN+FP |
|---|---|---|
| 0,25 | 5 / 4 / 1 / 2 | 9 |
| 0,5 | 4 / 1 / 2 / 5 | 11 |
| 0,75 | 3 / 0 / 3 / 6 | 15 |
Выбран порог 0,25. Порог 0,5 даёт более высокий F1 на validation, но не минимальную согласованную стоимость. Объяснение этого различия — часть решения: цель не сводится к максимизации любого доступного показателя. При другой стоимости ошибок или ограничении на число положительных решений выбор мог бы измениться.
На отложенных 12 test-строках получены TP=5, FP=3, FN=1, TN=3. Precision=5/8=0,625; recall=5/6≈0,8333; F1=10/14≈0,7143; стоимость=5×1+3=8. Эти числа относятся только к маленькой синтетической фикстуре. По ним нельзя обещать 83% полноты в реальной работе или оценить стабильность результата на новых сегментах.
Проверки, которые защищают сам эксперимент
Скрипт меняет все test-метки на противоположные и повторяет только обучение и выбор порога. Модель, параметры преобразований и таблица validation обязаны остаться прежними. Это проверяет отсутствие зависимости настройки от test labels. Сам факт этой проверки не доказывает, что исходный x в реальном бизнесе был доступен вовремя: это отдельно дано учебным контрактом.
Проверены дубли id, перенос entity в другую часть, пересечение временных интервалов и пустые данные. Отдельные проверки охватывают полностью отсутствующий train-признак, константный признак и нулевой знаменатель precision. Формулы также проверяются на независимой от обучения матрице TP=6, FP=3, FN=2, TN=9.
Негативный режим обучает преобразование сразу на всех 48 строках. Проверка параметров train-only обнаруживает утечку и возвращает код 2. Ему не требуется случайное ухудшение метрики: ошибка определяется нарушенным протоколом, а не тем, стало ли конкретное число больше. Проверки используют явное исключение и действуют с PYTHONOPTIMIZE=1.
Архив, запуск и границы применения
Скачай ML-практикум, открой полное условие с копированием или Markdown. В архиве есть data.csv, check.py, README, results.json и execution-log.json. Запусти python3 check.py; файл results.json будет пересоздан. Для контролируемой утечки запусти python3 check.py --negative, ожидаемый код 2.
Обучение и проверки выполнены на Python 3.9.6 в обычном и оптимизированном режиме. В архиве нет зависимостей sklearn/PyTorch, сетевых запросов или облачных учётных данных. Это не benchmark библиотек, не оценка GPU и не готовый production-сервис. Он даёт проверяемый baseline и протокол оценки, который можно обсуждать на интервью.
Перед встречей объясни, почему пропуск не равен нулю, откуда берётся среднее, почему порог не выбран по test и почему два результата F1 в статье относятся к разным матрицам. Затем назови данные и проверки, необходимые для следующего шага: реальные задержки меток, стоимость ошибок, доступность признаков и достаточный объём оценки.
