Наши пожелания к кандидатам
• Опыт анализа данных - изучение семантики и связи таблиц и объектов данных, характеризующих общие бизнес-процессы, но находящихся в разных хранилищах, выявления причин расхождения семантически эквивалентных данных в разных хранилищах.
• Высокий уровень знаний языка программирования Python;
• Опыт реализации промышленных отказоустойчивых сервисов пакетной загрузки и трансформации данных (ETL) под управлением оркестратора задач Apache Airflow;
• Понимание принципов микросервисной архитектуры;
• Понимание принципов распределенных вычислений и обработки данных;
• Понимание принципов потоковой обработки данных;
• Хорошее знание платформы Apache Spark – опыт использования библиотеки pyspark;
• Знание и опыт использования платформы потоковой обработки данных Apache Kafka;
• Отличное знание SQL – создание сложных запросов с использованием табличных выражений (CTE) и оконных функций;
• Хорошее знание и опыт использования реляционных баз данных Oracle или PostgreSQL;
• Понимание особенностей обработки и хранения аналитических данных (OLAP), понимание отличий колоночных баз данных от строковых, знание колоночных форматов хранения данных – parquet, orc;
• Хорошее знания и опыт использования хранилищ больших данных – Hadoop/HDFS, S3 - оба, форматы таблиц Hive часть хадупа, Iceberg.