data engineer для аналитических хранилищ

Описания нет

• Реализовывать высоконагруженные конвейеры обработки данных для надежной и бесперебойной репликации данных из ИТ-систем
• Подготавливать данные в аналитических хранилищах DataLake, SandBox и FeatureStore для построения признаков моделей машинного обучения
• Разрабатывать и обновлять документацию по реализованному функционалу
• Отражать статусы выполнения задач в Jira
• Проверять качество кода инженеров данных

• Опыт работы в роли Data Engineer от 4 лет
• Отличное знание Python, структур данных, алгоритмов, ООП и функционального программирования
• Опыт написания модульных и интеграционных тестов, применения NumPy и Pandas
• Опыт разработки и внедрения в промышленную эксплуатацию сервисов загрузки и обработки неструктурированных данных из внешних источников
• Умение разбираться в API поставщиков данных по доступной документации
• Отличное знание SQL, сложных запросов с аналитическими оконными функциями и инструментов профилирования для оптимизации производительности
• Опыт работы с Oracle, Postgres и Greenplum
• Опыт работы с Airflow и инструментами планирования и мониторинга пакетной обработки данных
• Опыт разработки высоконагруженных приложений обработки данных на PySpark
• Опыт работы с Apache Kafka, продюсерами, консьюмерами на Python и группами потребителей
• Опыт разработки потоковой обработки данных с Spark Structured Streaming и Flink
• Опыт работы с Flink

• График 5/2