Data Engineer
генерация резюме
сопроводительное письмо
описание
Сервис Data Assistance помогает командам без аналитического ресурса решать бизнес-задачи над данными из существующего ИТ-ландшафта компании, используя целевые инструменты MWS Data.
задачи
- Разрабатывать процессы для извлечения, очистки, трансформации и загрузки данных
- Интегрировать новые источники данных в существующую архитектуру
- Адаптировать и дорабатывать существующие процессы под изменяющиеся бизнес-требования
- Писать и оптимизировать SQL-запросы для работы с большими объёмами данных
- Участвовать в создании и поддержке витрин данных
требования
- Опыт работы с Apache Spark (фундаментальные концепции: RDD, DataFrame, transformations, actions)
- Уверенное владение SQL (JOIN, UNION, оконные функции, понимание реляционных БД)
- Знание основ Python (синтаксис, коллекции, функции)
- Понимание разницы между ETL и ELT, знание концепций оркестрации (Airflow)
- Умение работать с Git (репозиторий, ветки, коммиты)
- Знание экосистемы Hadoop (HDFS, YARN, Hive)
- Готовность учиться и глубоко разбираться в задачах
- Будет плюсом опыт с Kafka, Flink и Spark Streaming
условия
- Доступ к платформе MTS Ocean для получения ИТ-ресурсов
- Профессиональные гильдии инженеров и площадка для обмена опытом TechTalks
- Участие во внешних IT-конференциях
- Доступ к корпоративному университету и электронным библиотекам
- Медицинская страховка со 100% покрытием, включая стоматологию, с 1 месяца работы
- Корпоративная подписка МТС Premium и скидки от партнеров
навыки