data engineer

Описания нет

• Проектировать, разрабатывать и сопровождать ETL/ELT-процессы для загрузки, преобразования и контроля качества данных;
• Разрабатывать и оптимизировать сложные DAG в Apache Airflow;
• Проектировать архитектуру пайплайнов данных с учетом надежности, масштабируемости и производительности;
• Интегрировать данные из различных источников: PostgreSQL, внешние API, webhook, S3-совместимые хранилища и другие системы;
• Разрабатывать и сопровождать пайплайны обработки данных на Python и Apache Spark;
• Работать с lakehouse-архитектурой и таблицами Apache Iceberg;
• Оптимизировать SQL-запросы, ETL/ELT-процессы и инфраструктуру обработки данных;
• Писать тесты для пайплайнов данных, обеспечивать качество и стабильность решений;
• Проводить code review и участвовать в развитии инженерных стандартов команды;
• Взаимодействовать с аналитиками, BI-специалистами и разработчиками для реализации бизнес-требований к данным;
• Участвовать в сопровождении инфраструктуры и разборе инцидентов.

• Опыт работы дата-инженером, ETL-разработчиком или бэкенд-разработчиком от 1 года;
• Уверенное знание Python;
• Уверенное знание SQL, опыт написания и оптимизации сложных запросов;
• Практический опыт работы с PostgreSQL;
• Опыт работы с Apache Airflow, умение самостоятельно создавать и сопровождать сложные DAG;
• Понимание архитектуры пайплайнов данных и умение проектировать технические решения;
• Опыт разработки ETL/ELT-пайплайнов;
• Опыт оптимизации производительности обработки данных;
• Навыки написания тестов;
• Опыт проведения code review;
• Опыт работы с различными источниками данных и интеграциями;
• Самостоятельность, системное мышление, ответственность.

• Зарплата 250 000 — 280 000 рублей на руки (полностью белая);
• Ненормированный график с компенсацией переработок дополнительными выходными днями;
• Офис в центре города (м. Трубная/Цветной бульвар).