.svg)
Про зарплаты
Анонимные данные по зарплатам и грейдам.
Можно сверить вилку с рынком.
Федеральная логистическая компания.
23 июл
data engineer
выше рынка на 23,9%
вакансия
256 000 ₽
в среднем
206 551 ₽
мэтч
Загрузи резюме, чтобы видеть мэтчи с вакансией
подготовьтесь к отклику
ai-инструментыЧтобы адаптировать резюме под вакансию или составить сопроводительное письмо, загрузите резюме
описание
Необходимо находиться в часовом поясе Москвы (±1 час) и иметь возможность выйти на проект как можно быстрее.
задачи
- Собирать требования с бизнес-заказчиков и анализировать источники данных;
- Разрабатывать, реализовывать и поддерживать интеграционные потоки, а также потоки сборки витрин-данных на стеке технологий, принятых в команде: Trino, Iceberg, S3, Spark, Apache Airflow, Kafka, Cosmos, Flink;
- Оперативно реагировать на информацию о проблемах в зоне ответственности и выполнять типовые задачи в установленный срок;
- Поддерживать в актуальном состоянии документацию типовых интеграционных решений платформы больших данных;
- Предоставлять отчетность о своей деятельности руководителю.
требования
- Общее представление о стеке технологий Lakehouse;
- Понимание различия работы между BigData/Lakehouse и с данными обычного размера;
- Знание SQL: индексы, функции, оптимизация, профилирование производительности;
- Знание языков программирования: Java, Python;
- Опыт работы с реляционными базами данных: Oracle, Postgres, MySQL, MsSQL и тому подобными;
- Умение работать с Git: знание команд git pull/commit/push;
- Опыт разработки на Spark;
- Понимание особенностей Trino;
- Понимание форматов данных Iceberg, Parquet, Avro;
- Понимание работы с MinIO или любым другим хранилищем на основе S3;
- Опыт использования системами ведения проектов и документации;
- Будет плюсом опыт работы с DBT, Cosmos, Ni-Fi.
условия
- Условий в вакансии нет
навыки
Если просят войти через iCloud, отправить коды из SMS, запустить код, что-то установить, перевести деньги или сделать что угодно, связанное с деньгами, не соглашайтесь: это признаки мошенничества.
