дата инженер
сопроводительное письмо
описание
Международный производитель внедряет InPlan. Для построения моделей данных на стороне продукта инплан необходимо из источников доставить данные до целевой базы продукта в согласованном виде. Процесс вычитки и преобразования производится средствами Python + SQL + Airflow. В качестве базы для промежуточных операций используется Postgre. Источники: структурированные данные MS SQL Server, XLSX файлы (S3), JSON (S3).
задачи
- Разрабатывать и поддерживать пайплайны данных
- Автоматизировать загрузку, трансформацию и доставку данных
- Взаимодействовать с внутренней командой аналитиков и командами заказчика
- Оптимизировать и дорабатывать ранее реализованные ETL-процессы
требования
- Опыт разработки на Python + Airflow
- Базовый опыт ANSI SQL
- Критическое мышление и аналитический склад ума
- Ответственность за конечный результат
- Будет плюсом опыт работы с Postgre, MS SQL Server
условия
- Ставка 191 480 ₽ на руки
- Возможность продления проекта до конца июня
- Желательно гражданство РФ
навыки