data engineer

Добавь резюме в профиле, а нейросеть определит твою категорию. Затем ты сможешь генерировать сопроводительные письма для вакансий этой категории

Клиент — одна из крупнейших беттинг-комьюнити, пионер беттинг-эксчейндж-модели с 2000 года, работает на передовых технологиях и ведёт ведущую онлайн-платформу для беттинга. Вам нужно будет переносить legacy-нагрузки с SQL Server на современную Lakehouse-архитектуру на AWS и Databricks, проектировать, строить и поддерживать пайплайны данных для пакетной и реал-тайм обработки, обеспечивать качество, надёжность и масштабируемость данных, сотрудничать с дата-сайентистами, аналитиками и бизнесом для аналитики и ML, внедрять практики управления данными, безопасности и комплаенса, оптимизировать производительность и затраты в облаке.

• Отлично знаете Python для задач data engineering.
• Есть опыт работы с сервисами AWS (S3, Glue, Lambda, EMR).
• Эксперт в Databricks и Spark для обработки больших данных.
• Хорошо понимаете SQL и реляционные базы данных.
• Работали с ETL/ELT-фреймворками и оркестраторами вроде Airflow.
• Знаете моделирование данных, хранилища данных и принципы Lakehouse.
• Будет плюсом знание стриминговых технологий (Kafka, Kinesis), опыт с CI/CD для данных, понимание безопасности и комплаенса в облаке, знакомство с ML-воркфлоу и MLOps.

• Маленькая команда (1-10 человек).