Data Engineer

Napoleon IT развивает заказную разработку, аутстаффинг и собственные продукты. Компания создаёт решения на основе искусственного интеллекта, развивает технологии LLM и генеративного ИИ, а также строит мультиагентные системы и платформенные решения для брендов, розничной торговли и маркетплейсов.

• Разрабатывать ETL на Apache Spark с использованием Java;
• Разрабатывать ETL-пайплайны на Apache Spark, HDFS, Hive, Greenplum и ClickHouse;
• Разрабатывать витрины данных в Greenplum и ClickHouse;
• Оркестрировать ETL-процессы;
• Оптимизировать ETL-процессы, включая пакетную обработку, повторные попытки и контроль SLA;
• Взаимодействовать с BI-разработчиками и DevOps для своевременной доставки данных в Superset.

• Иметь опыт разработки и опыт работы с PySpark; владение Java не обязательно, компания готова обучить Java;
• Опыт работы с Apache Spark от 1 года;
• Опыт работы с СУБД Greenplum, ClickHouse или PostgreSQL от 2 лет;
• Опыт работы с Hadoop, HDFS и Hive;
• Опыт проектирования и разработки потоков данных, алгоритмов загрузки и обработки данных;
• Опыт оптимизации ETL-пайплайнов и SQL-кода;
• Продвинутые знания SQL;
• Понимание принципов работы распределённых систем;
• Готовность осваивать Java для использования Spark;
• Будет плюсом опыт разработки на Java, опыт участия в проектах по миграции данных или развитию BI-платформ, опыт работы в банковской сфере и понимание бизнес-домена, опыт работы в крупных проектах с высокими требованиями к надёжности.

• Гибкие варианты сотрудничества;
• Индивидуальный план развития с возможностью освоения новых технологий;
• Компенсация расходов на покупку профессиональной литературы;
• Доступ к курсам объединённой IT-школы GIGASCHOOL.