data engineer в Локализацию

Команда строит платформу данных для ML-специалистов и продуктовых аналитиков отдела рекомендательных систем, охватывая полный цикл — от сбора данных до развития хранилищ.

• Помогать проектировать и строить хранилища данных на Iceberg, включая озёрное хранилище для сотен ТБ данных с использованием Spark и Trino
• Настраивать процессы обеспечения качества данных: валидацию, мониторинг и метрики качества
• Внедрять автоматическую генерацию и сопровождение метаданных и описаний данных, каталогизацию и профилирование
• Проектировать и разворачивать feature store для подготовки и управления признаками на платформе
• Участвовать в создании семантического слоя для унификации бизнес-логики и метрик
• Пробовать инструменты с открытым исходным кодом, если они полезны команде или потребителям

• Уверенно владеть Python в контексте инженерии данных не менее 2 лет
• Глубоко знать SQL, включая оконные функции, оптимизацию запросов и планы выполнения
• Иметь опыт работы с оркестраторами данных, в том числе Airflow
• Иметь опыт работы с Hadoop, Spark, YARN и HDFS
• Иметь опыт работы с MPP-системами, такими как Greenplum, ClickHouse, Redshift или аналогами
• Иметь опыт взаимодействия с Trino/Presto, DBT, Feature Store и DQ-фреймворками, например Great Expectations, Soda или собственными решениями

• Корпоративный пакет ДМС со стоматологией
• Корпоративный спорт и консультации психолога
• Обучение и развитие: языковые клубы, корпоративный университет и программы развития управленческих навыков
• Сообщества по интересам: выступления, футбол, йога, шахматы
• Гибкий подход к сочетанию карьеры и заботы о близких, проекты для детей сотрудников
• Скидки на обучение, страхование и покупки, партнёрские программы
• Бесплатное питание в офисе, корпоративная техника