devops инженер обработки данных с роботов

Описания нет

• Настраивать мониторинг, бэкапы и безопасность;
• Обучать команду работе с инфраструктурой;
• Поддерживать и масштабировать инфраструктуру;
• Поддерживать и развивать инфраструктуру обработки данных с роботов;
• Писать DAG'и;
• Оптимизировать SQL-запросы к Data Lake;
• Создавать дашборды в Superset.

• Опыт в MLOps и управлении экспериментами;
• Глубокие знания MLflow или ClearML для трекинга экспериментов и управления реестром моделей;
• Опыт работы с DVC для версионирования данных;
• Опыт работы с объектными хранилищами MinIO / S3;
• Опыт построения решений Data Lake с использованием LakeFS;
• Экспертные знания Kubernetes;
• Уверенное владение Docker и написание оптимизированных образов;
• Опыт настройки мониторинга системы и инфраструктуры с Prometheus и Grafana;
• Продвинутый уровень Python;
• Опыт написания production-кода и понимание особенностей работы с большими данными;
• Уверенная работа с библиотеками pyarrow и duckdb;
• Опыт использования многопроцессности multiprocessing и concurrent.futures для параллельной обработки данных;
• Средний уровень SQL;
• Умение писать аналитические запросы с агрегациями и оконными функциями;
• Понимание различий между DuckDB и Pandas для аналитических задач;
• Понимание архитектуры Airflow: DAG, операторы Python, Bash и Docker, XCom;
• Практический опыт написания DAG'ов для ETL-процессов;
• Понимание назначения Airflow;
• Уверенное владение Docker CLI для диагностики;
• Знание docker compose: чтение и написание конфигураций, добавление сервисов, работа с сетями и томами;
• Навыки отладки внутри контейнеров;
• Понимание назначения Parquet и его преимуществ перед построчными форматами;
• Готовность заниматься созданием и поддержкой дашбордов;
• Понимание структуры Superset: виртуальные датасеты и SQL Lab.

• Работа в аккредитованной IT-компании;
• Официальное оформление с первого дня работы и поддержка куратора во время адаптации;
• Понятные грейды, внутреннее и внешнее обучение, индивидуальные планы развития и матрицы компетенций;
• Экологичная культура и адекватные руководители;
• Компенсация затрат на медицинские услуги, ментальное благополучие, спорт, тимбилдинги и использование AI-помощников;
• Бонус 15% с покупок во ВкусВилл;
• Материальная помощь при рождении ребёнка;
• За рекомендации знакомых специалистов можно получить до 50 000 руб.