MLOps инженер для машинного обучения

Разработка и эксплуатация современной локальной платформы DataOps и машинного обучения для команд инженеров и специалистов науки о данных. Платформа основана на Kubernetes и поддерживает масштабируемые, высокодоступные рабочие нагрузки в системах обработки данных, аналитики и машинного обучения. Эта должность объединяет инженерные навыки DevOps, разработку современных «озерных» хранилищ данных и поддержку MLOps.

• Проектирование, развертывание и эксплуатация кластеров Kubernetes (локально) в реальной среде с акцентом на высокую доступность, масштабируемость и развертывание без сбоев/простоев
• Управление диаграммами Helm и ArgoCD для непрерывного обслуживания рабочих нагрузок платформы и приложений на основе GitOps
• Создание и поддержка конвейеров CI/CD в Azure DevOps для автоматизированного тестирования и развертывания в сервисах данных и машинного обучения
• Проектирование и поддержка современного озера данных с использованием форматов открытых таблиц (Iceberg) на локальных и гибридных хранилищах
• Создание, планирование и мониторинг масштабируемых пакетных и потоковых конвейеров с использованием Apache Airflow, Apache Spark и Apache Flink
• Развертывание и эксплуатация Trino и ClickHouse в качестве механизмов запросов для аналитики в озере данных
• Развертывание и эксплуатация JupyterHub и Dagster на Kubernetes для экспериментов в области машинного обучения и управления рабочими процессами
• Управление Feature Store (Feast / PostgreSQL) и хранилищем данных на основе Parquet для рабочих нагрузок машинного обучения
• Тесное сотрудничество с командами науки о данных и инженеров данных для внедрения рабочих процессов машинного обучения в реальную среду и подключения новых источников данных

• Опыт проектирования и управления кластерами Kubernetes с нуля (предпочтительно в локальной среде)
• Опыт работы с Helm и ArgoCD для доставки приложений в средах Kubernetes на основе GitOps
• Опыт создания конвейеров CI/CD с использованием Azure DevOps
• Опыт работы с Apache Airflow, Apache Spark и Apache Flink для управления конвейерами и их обработки
• Опыт работы с Trino или ClickHouse в качестве распределенных механизмов обработки запросов
• Опыт работы с dbt для преобразования и моделирования данных
• Знание современных форматов открытых таблиц (Iceberg)
• Будет плюсом: Знание шаблонов озер данных на основе Dagster, JupyterHub, Feast или Parquet является преимуществом

• Условий в вакансии нет