инженер данных для ритейла и финтеха

ITWEBS предоставляет услуги аутстаф-разработки и реализует проекты в сферах ритейла, финтеха и телекома.

• Разрабатывать и поддерживать ETL/ELT-процессы с использованием Airflow и Informatica;
• Строить витрины данных и интегрировать различные источники;
• Работать с Data Lake на базе MinIO/S3 и NoSQL-хранилищами;
• Оптимизировать SQL-запросы и производительность пайплайнов;
• Настраивать мониторинг и алертинг для процессов обработки данных;
• Участвовать в проектировании архитектуры данных и стандартов хранения.

• Коммерческий опыт в Data Engineering от 4 лет;
• Уверенное владение Python для написания скриптов, ETL и автоматизации;
• Глубокое знание SQL, включая сложные запросы, оптимизацию и аналитические функции;
• Опыт разработки DAG в Airflow или аналогичный опыт с Informatica;
• Практический опыт построения ETL/ELT-пайплайнов;
• Опыт работы с PostgreSQL, Data Lake на базе MinIO/S3 и NoSQL-базами;
• Уверенная работа с Docker, Kubernetes и CI/CD;
• Знание Git и GitFlow;
• Опыт настройки мониторинга и алертинга с Prometheus, Grafana и ELK;
• Будет плюсом опыт работы со Spark (PySpark), Hadoop, Hive, понимание CDC и потоковой обработки в реальном времени с Kafka и Flink, знакомство с Azure, AWS и GCP, опыт проектирования DWH и моделирования данных, навыки менторства и технического лидерства, английский язык на уровне B2+.

• Удалённая работа на территории РФ;
• Оформление по ТК РФ или ГПХ;
• Конкурентная зарплата по итогам собеседования;
• Интересные задачи с современным стеком обработки данных.