data engineer интеграций данных

Команда строит интеграции, через которые данные проходят путь от баз данных и API до сырого слоя и становятся доступными для дальнейшей обработки. Решения влияют на скорость получения новых данных продуктовыми и смежными командами.

• Подключать новые источники данных: базы данных, REST API и другие внешние системы;
• Разрабатывать и поддерживать ETL/ELT-пайплайны для пакетной и потоковой обработки данных;
• Писать интеграционную логику на Python и создавать переиспользуемые модули и компоненты;
• Развивать процессы в Apache Airflow: проектировать DAG, управлять очередями и пулами задач, создавать кастомные операторы и hooks;
• Собирать и принимать данные через REST API в пакетных и потоковых сценариях;
• Настраивать и отлаживать пайплайны, находить причины ошибок и повышать стабильность существующих интеграций;
• Выполнять предварительную обработку, очистку и валидацию сырых данных перед загрузкой в raw-слой;
• Настраивать мониторинг и алертинг для обнаружения сбоев и предотвращения деградации производственных процессов;
• Реализовывать проектные интеграции по запросам внутренних и внешних команд;
• Проводить code review и помогать повышать качество общей кодовой базы.

• Уверенно владеть Python и уметь проектировать переиспользуемые модули и компоненты для производственных задач;
• Глубоко понимать Apache Airflow, работать с DAG, пулами и очередями задач, писать кастомные операторы и hooks;
• Иметь практический опыт разработки интеграций и подключения источников через REST API;
• Иметь опыт разработки и поддержки высоконагруженных ETL/ELT и конвейеров данных в производственной среде;
• Уверенно владеть SQL и уметь писать сложные запросы для трансформации и проверки сырых данных;
• Иметь опыт работы с ClickHouse или другой распределённой или MPP-СУБД;
• Понимать принципы пакетной и потоковой обработки данных и уметь выбирать подходящий способ интеграции;
• Иметь опыт работы с Git и Docker;
• Уметь настраивать мониторинг и алертинг, диагностировать ошибки и повышать отказоустойчивость пайплайнов;
• Понимать, как организовать очистку, валидацию и предварительную обработку данных перед загрузкой в сырой слой;
• Иметь опыт работы с Kafka в потоковых сценариях, понимать партиционирование, retention и семантику Exactly-Once, уметь отлаживать потоковые пайплайны;
• Уметь проводить code review, работать с pull request и поддерживать качество общей кодовой базы.

• Медицинское страхование и расширенный пакет ДМС со стоматологией;
• Психологическая помощь;
• Обучение и повышение квалификации;
• Корпоративные мероприятия;
• Поддержка семьи, включая конкурсы для детей, подарки первоклассникам и компенсацию летнего отдыха;
• Страхование жизни с первого дня работы;
• Компенсация изучения английского и хобби;
• Выгодные скидки и помощь при трудных жизненных обстоятельствах;
• Условий в вакансии нет.