Data engineer

грейд
senior
страна
Россия
опубликована
сегодня

описание

Сейчас мы находимся в поисках Data Engineer (Hadoop/Spark) в команду, которая занимается полным циклом внедрения математических моделей (ML моделей)

задачи

  • Формирование датасетов, поиск и подгрузка данных
  • Автоматизация Data Pipelines
  • Разработка ETL-процессов для интеграции данных из различных внутренних и внешних источников
  • Оптимизация сборки датасетов и работа с багами
  • Подготовка данных для внедрения математических моделей в конвейер принятия решений

требования

  • Опыт в направлении от 3 лет
  • Опыт с Apache Airflow: настройка, оптимизация, DAG на Python
  • Знание SQL на уровне сложных запросов и оптимизации
  • Знание Python на Middle уровне
  • Высшее образование
  • Будет плюсом: Опыт работы с Pyspark, Scala; Знание потоковых данных (Kafka, Spark Streaming); Опыт работ с Docker, Kubernetes

условия

  • Условий в вакансии нет

навыки

компания

похожие вакансии

статьи для разработчиков