от 3 лет опыта в Data Engineering либо backend-разработке с практическим переходом в data-направление;
Уверенный SQL и понимание работы с большими объёмами: партиционирование, шардирование, распределённые вычисления, оценка стоимости запросов и поиск узких мест;
Построение корпоративных DWH , понимание слоев данных;
Практический Kafka-опыт: producer/consumer, consumer groups, ключи и партиционирование, offsets, ретенция, replay, обработка ошибок, DLQ;
Python для data-задач и Airflow: умение разрабатывать и сопровождать DAG-и, писать идемпотентные задачи, организовывать retries и backfill;
Опыт работы с Java-кодом Flink (Python Flink может быть релевантным как опыт): читать, дорабатывать, отлаживать, разбираться в причинах рестартов, checkpointing и backpressure;
Опыт самостоятельной разработки stateful Flink-пайплайнов будет преимуществом;
Практический опыт хотя бы с одной технологией: Cassandra или ClickHouse;
Для Cassandra: понимание моделирования от паттернов доступа, partition key, TTL, консистентности и особенностей записи;
Для ClickHouse: оптимизация запросов, работа с кластером и шардами, моделирование таблиц, TTL и особенности upsert/merge-семантики;
Опыт сопровождения Airflow-пайплайнов в production;
Привычка к инженерному циклу: тесты, CI/CD, кволитигейт, мониторинг, алерты, анализ причин инцидента и профилактические действия;
Внимательность к SLA и регуляторным ограничениям: если данные нельзя терять, система должна уметь это обнаружить, объяснить и восстановить;