Требования
Хорошее понимание устройства генеративных моделей:
• понимание принципов работы Transformers, diffusion- и мультимодальных моделей и основных задач: T2I, Image Editing, T2V, Audio, Video-Audio.
• понимание типовых ограничений, ошибок и артефактов моделей
• способность разбираться в причинах ошибок и способах их проверки.
Способность проектировать оценку качества моделей:
• декомпозировать качество на измеримые критерии и проектировать тестовые сценарии, промпты и выборки.
• выбирать корректный подход к оценке: human evaluation, автоматические метрики, LLM/VLM-as-a-judge, а также подходящие модели для сравнения;
• проверять валидность метрик и уметь проектировать оценку для новых задач и модальностей, где ещё нет готовой методологии.
Навыки работы с LLM и VLM:
• prompt engineering, structured output, tool calling и работа с контекстом и ограничениями моделей
• построение и валидация LLM/VLM-as-a-judge, включая проверку автоматической оценки относительно человеческой
• понимание нестабильности, bias и галлюцинаций моделей
• умение подбирать модель под конкретную исследовательскую задачу.
Понимание AI-агентов и агентных систем:
• понимать, чем агент отличается от обычного вызова LLM;
• знать основные компоненты агентной системы: роли, инструменты, контекст, память и оркестрация
• понимать, когда агентный подход действительно полезен, а когда создаёт лишнюю сложность
• уметь оценивать надёжность и ограничения агентных решений.
Умение проводить технический и научный ресерч:
• находить и критически разбирать актуальные статьи, бенчмарки, модели и реализации
• сравнивать решения с актуальными подходами и оценивать достоверность результатов
• переводить ресерч в конкретные идеи для тестирования и развития внутренних подходов.
Будет плюсом
Умение работать с агентами и субагентами:
• декомпозировать задачи между агентами, задавая им чёткие роли и зоны ответственности
• управлять контекстом и изоляцией субагентов, организовывать проверку результатов
• собирать результаты нескольких агентов в единое решение и критически оценивать их выводы
Навыки вайбкодинга и AI-assisted coding:
• уверенно работать с Codex, Claude Code и другими coding-агентами
• проверять и дорабатывать сгенерированный код, использовать агентов для тестирования
• понимать архитектуру создаваемого решения
Продуктовое мышление:
• связывать тестирование с реальными пользовательскими сценариями и понимать, какие ошибки критичны для продукта
• приоритизировать направления проверки и переводить результаты оценки в рекомендации для разработки
• понимать влияние результатов на релиз и дальнейшее развитие модели.