инженер данных BigData-платформ

Команда разработки платформ BigData мигрирует Datalake с Hadoop-Hive-Oozie на MinIO-Iceberg-Airflow и реализует витрины данных и ETL-процессы доставки данных.

• Реализовывать витрины данных и ETL-процессы доставки данных в стеке BigData;
• Формировать бэклог работ совместно с лидом команды и проджект-менеджерами;
• Управлять работами команды совместно с проджект-менеджером и главным техническим лидом;
• Лидировать команду по техническим и процессным аспектам;
• Обеспечивать наставничество;
• Участвовать в проработке стандартов разработки, связанных с ними методологий и документирования;
• Обеспечивать технические консультации по работе ПО для сопровождения системы, смежных подразделений и заказчиков;
• Помогать сопровождению стабилизировать работу ПО в проде;
• Разрабатывать решения и документацию вместе с командой;
• Участвовать в тестировании.

• Опыт работы в разработке ПО от 6 лет;
• Опыт работы в стеке BigData от 3 лет;
• Отличное знание Apache Spark и опыт работы с ним;
• Отличное знание Apache Hive или Apache Iceberg и опыт работы с ними;
• Хорошее знание Apache Airflow и опыт работы с ним;
• Хорошее владение SQL, включая вложенные запросы и pivot-ы, и опыт работы с данными;
• Хорошее владение Python или Scala и опыт работы с ними;
• Умение работать с командной строкой ОС семейства Linux;
• Хорошее знание форматов данных и опыт работы с XML, JSON, Parquet и ORC;
• Знание на начальном уровне других языков программирования, включая Scala, Python, C и Java;
• Опыт формализации требований и проектирования сложных ETL-процессов витрин данных;
• Умение применять на практике основные UML-диаграммы;
• Хорошее понимание работы РСУБД;
• Хорошее знание способов интеграции систем;
• Знание на базовом уровне Kafka, RabbitMQ, Greenplum, REST API, Docker и Kubernetes;
• Навыки декомпозиции задач и определения их приоритета;
• Умение объяснять сложное простыми словами и кратко общаться с коллегами;
• Умение не только слушать, но и слышать;
• Умение писать понятную документацию.

• Квартальная премия по результатам KPI;
• Программа ДМС с первых дней работы, включая стоматологию и обслуживание в лучших клиниках города;
• Страхование и компенсация 10 дней больничного;
• Регулярные тренинги, вебинары, митапы и демо-дни;
• Оплата профильных конференций и курсов;
• Помощь с подготовкой к публичным выступлениям и написанием статей на Хабр;
• Доступ к корпоративным библиотекам Alpina Digital и MyBook;
• Собственные спортзалы в Москве, Питере и Екатеринбурге;
• Скидки на услуги туристических агентств, продукты питания, рестораны, бары и магазины;
• Программа развития AI-грамотности с треками по работе с нейросетями от базового до продвинутого уровня.