SQL-разработчик потоков данных

Привет! Мы – компания «Градиент». Мы развиваем корпоративную платформу данных, на которой строится аналитика и отчётность компании. Сейчас ищем Инженера интеграций, который будет отвечать за надёжную доставку данных из множества источников — API, файлов и баз данных — и обеспечивать их качество и доступность для бизнеса. В этой роли ты будешь влиять на надёжность данных, которыми пользуется вся компания, работать с современным стеком и решать содержательные инженерные задачи — от проектирования потоков до их промышленной эксплуатации.

• Проектирование и разработка ETL/ELT-потоков для API, файловых источников и баз данных
• Создание и сопровождение DAG в Apache Airflow
• Организация ежедневных пакетных загрузок больших объёмов данных
• Разработка Python-коннекторов и обработчиков: тайм-ауты, повторы, пагинация, обработка ошибок
• Обеспечение надёжности пайплайнов: идемпотентность, корректная дозагрузка, повторный запуск, восстановление после сбоев
• Работа с Microsoft SQL Server и PostgreSQL: запросы, загрузки, индексы, транзакции, блокировки, планы выполнения, обслуживание
• Контроль качества данных: полнота, свежесть, уникальность, согласованность
• Настройка мониторинга, уведомлений, журналирования и диагностики потоков
• Поддержка конфигурации, доступов, резервирования и восстановления Airflow и СУБД
• Взаимодействие с владельцами данных, аналитиками, разработчиками и инфраструктурной командой

• Практического опыта разработки и сопровождения интеграционных потоков данных
• Уверенного владения Python для промышленной обработки данных и интеграций
• Сильного SQL, опыта работы с Microsoft SQL Server и PostgreSQL
• Опыта работы с Apache Airflow: DAG, зависимости, retries, backfill, расписания, pools, ограничение параллелизма, логи, диагностика
• Понимания ETL/ELT: инкрементальные загрузки, checkpoint, upsert, транзакции, идемпотентность
• Опыта работы с большими объёмами данных: порционная обработка, bulk-загрузка, контроль памяти, диска и времени выполнения
• Практики интеграций с API и файловыми источниками
• Понимания принципов мониторинга качества и надёжности потоков
• Опыта работы с Git и в командном процессе разработки
• Ответственности за результат, внимательности к данным, привычки разбираться в первопричинах сбоев

• Комфортный офис в Бизнес-центре "Алкон", расположенном рядом с метро Сокол
• График работы с 09:00 до 18:00 для поддержания баланса между работой и личной жизнью, а гибридный формат и ДМС ждет тебя после успешного прохождения испытательного срока
• Испытательный срок длительностью 3 месяца для взаимной адаптации
• Скидки на всю нашу крутую продукцию!