Требования
• Отличное владение Python и PyTorch.
• Глубокое понимание устройства обучения нейросетей: не на уровне обзоров, а на уровне, где вы можете объяснить, почему конкретная архитектурная конфигурация расходится, глядя на кривые функции потерь, нормы градиентов и энтропии.
• Глубокое понимание архитектуры LLM: Transformer, attention (MHA/GQA/MLA), RoPE и варианты позиционных эмбеддингов, нормализации, инициализации, long-context, MoE.
• Практический опыт с обучением больших моделей (а не только инференсом) и проведением архитектурных абляций.
• Способность самостоятельно взять направление и довести его до результата: от чтения статей и постановки гипотез до внедрения в основной трейн.
• Умение ставить гипотезы, проектировать эксперименты и принимать решения на основе результатов.
• Опыт руководства сильной технической командой и готовность лично писать важные части системы руками.
Будет плюсом
• Опыт работы с MoE-архитектурами: маршрутизатор, балансировка нагрузки, переполнение, артефакты маршрутизации.
• Опыт проведения scaling-экспериментов и работы с законами масштабирования.
• Опыт работы с long-context и мультимодальными расширениями LLM.
• Опыт работы с distributed training (5D-параллелизм: DP/TP/PP/EP/SP) и large-scale инференсом.
• Публикации, open-source вклад или сильный прикладной research track record.
• Понимание современных open-source стеков для обучения больших языковых моделей.