описание
Сейчас мы находимся в поисках Data Engineer (Hadoop/Spark) в команду, которая занимается полным циклом внедрения математических моделей (ML моделей)
задачи
- Формирование датасетов, поиск и подгрузка данных
- Автоматизация Data Pipelines
- Разработка ETL-процессов для интеграции данных из различных внутренних и внешних источников
- Оптимизация сборки датасетов и работа с багами
- Подготовка данных для внедрения математических моделей в конвейер принятия решений
требования
- Опыт в направлении от 3 лет
- Опыт с Apache Airflow: настройка, оптимизация, DAG на Python
- Знание SQL на уровне сложных запросов и оптимизации
- Знание Python на Middle уровне
- Высшее образование
- Будет плюсом: Опыт работы с Pyspark, Scala; Знание потоковых данных (Kafka, Spark Streaming); Опыт работ с Docker, Kubernetes
условия
- Условий в вакансии нет