Инженер данных для Lakehouse

грейд
middle
страна
Россия
опубликована
сегодня

описание

Сейчас мы в поиске Инженера данных / Analytics Engineer, который усилит нашу команду.

задачи

  • Формирование требований к системам на поставку данных для витрин.
  • Подключение к Lakehouse: Trino / SQL / BI-слой.
  • Работа с датасетами на слоях Core и Mart.
  • Автопересчёт: Airflow DAG, расписания, контроль статусов.
  • Сервисный слой: метаданные, DQ, аудит, эксплуатационные метрики.
  • Автоматизация процессов на Python: скрипты, работа с API/файлами.
  • ETL/ELT-процессы.
  • Документация и передача решений в эксплуатацию.

требования

  • Образование: высшее - ИТ, ПМИ, экономика, аналитика.
  • SQL: продвинутый уровень - оконные функции, сложные JOIN, оптимизация запросов; Trino / Presto.
  • Python: автоматизация, скрипты, работа с API/файлами.
  • Airflow: DAG, расписания, контроль статусов.
  • Lakehouse: понимание S3, Parquet, Iceberg, слоёв Landing / Raw / Core / Mart.
  • Инженерия: ETL/ELT, Git, Docker, Linux.
  • Данные: понимание DQ-проверок, метаданных, аудита.
  • Личные качества: организованность, системность, навык документирования.
  • Системное мышление.
  • Аккуратность и внимание к деталям.
  • Умение работать с требованиями и документацией.
  • Самостоятельность и ответственность за результат.
  • Будет плюсом: Kafka / Kafka Connect (на чтение); ClickHouse, PostgreSQL; Базовый опыт BI: Superset / Power BI

условия

  • Формат работы 5/2 в офисе.
  • Конкурентоспособная заработная плата.
  • Официальное трудоустройство по ТК РФ, бессрочный договор.
  • ДМС после испытательного срока.
  • Работа в профессиональной команде, открытой к сотрудничеству, идеям и инновациям.

навыки

компания

похожие вакансии

статьи для разработчиков