Если просят войти через iCloud, отправить коды из SMS, запустить код, что-то установить, перевести деньги или сделать что угодно, связанное с деньгами, не соглашайтесь: это признаки мошенничества.
data engineer
генерация резюме
сопроводительное письмо
описание
Команда «М.ТЕХ» разрабатывает более 100 инновационных ИТ-продуктов на основе современной микросервисной и облачной инфраструктуры, больших данных, биометрии, ИИ и машинного обучения для улучшения качества жизни десятков тысяч сотрудников и миллионов покупателей по всей России.
задачи
- Участвовать в проекте внедрения новой архитектуры DataLakeHouse на базе Trino+Iceberg;
- Создавать свой ETL-движок;
- Оптимизировать текущее аналитическое хранилище (текущий размер 90+ Тб);
- Миграция ключевых потоков (более 300) на новый ETL-движок;
- Автоматизировать принятие решения по всем остальным пайплайнам более 1200;
- Разрабатывать новые потоки.
требования
- Опыт работы в роли Data Engineer от 2-3 лет;
- Продвинутый SQL: сложные запросы, оптимизация, работа с партициями, индексами;
- Опыт работы на фреймворке Spark;
- Уверенное владение Python (обработка данных, скрипты, API);
- Опыт работы с Trino / Iceberg / ClickHouse / Greenplum;
- Навыки работы с Airflow — разработка DAG, настройка исполнителей, мониторинг;
- Будет плюсом опыт с Kafka и Data Lake.
условия
- Скидки и специальные предложения компаний-партнёров;
- Подписка М.Комбо — ежемесячные бонусные рубли, бесплатная доставка, скидки на установку/ремонт, приоритетную поддержку;
- Конкурентная заработная плата;
- Гибкое отношение к рабочему месту, можно удалённо из любой точки РФ;
- ДМС со стоматологией.
навыки