Data engineer

грейд
senior
формат
удалённо
страна
Россия
опубликована
вчера

описание

Можно работать удалённо или в офисах в Москве, Санкт-Петербурге и Новосибирске.

Мы строим корпоративную дата‑платформу следующего уровня — новый сервис с амбициозной задачей: трансформировать наработки компании в единое стандартизированное решение для работы с данными. Отказываемся от легаси, проектируем архитектуру заново, сохраняем лучшее (например, Apache Spark) и постепенно переносим существующие пайплайны на новую платформу.

задачи

  • Разрабатывать с нуля MVP новой дата‑платформы и инфраструктуры для ingest/transform.
  • Мигрировать существующие пайплайны с Hadoop/HDFS на новую архитектуру (S3, Kafka, Spark, ClickHouse).
  • Работать с большими объёмами данных и высоконагруженными Kafka‑топиками.
  • Строить отказоустойчивые пайплайны обработки и доставки данных.
  • Участвовать в архитектурных решениях, внедрять best practices хранения, мониторинга и качества данных.
  • Проектировать витрины данных под продуктовую и управленческую аналитику (OLAP).
  • Сопровождать миграцию BI‑отчётов на новую платформу (например, DataLens, Power BI).

требования

  • Имеет 3+ лет опыта на позиции Data Engineer / Big Data Engineer.
  • Хорошо понимает, как работает Spark и умеет его готовить.
  • Работал с ClickHouse и знает, как «выжать» из него максимум.
  • Имеет опыт работы с высоконагруженной Kafka (десятки / сотни тысяч событий в секунду).
  • Знаком с построением дата‑архитектуры (DWH, Lake, OLAP, ETL/ELT, Data Governance).
  • Умеет проектировать пайплайны под отказоустойчивость.
  • Хорошо владеет одним из языков программирования (например, Python или Scala).
  • Знает SQL и может читать логику отчётов без боли.
  • Будет плюсом: Опыт построения дата‑платформ (Self‑Service инструменты и процессы); Знание инструментов мониторинга и автоматического контроля качества данных (Data Quality, Data Contracts); Опыт построения Data Lineage и работы с Data Catalog; Инфраструктурный опыт: Docker, Kubernetes, CI/CD

условия

  • 2ГИС — аккредитованная IT‑компания.
  • Можно работать удалённо или в офисах (Москва, Санкт‑Петербург, Новосибирск) — главное результат, а не локация.
  • Полностью «белая» зарплата .
  • Заботимся о здоровье: ДМС, онлайн‑консультации терапевта, невролога, психолога и медицинского агента.
  • Поддерживаем развитие: учебный центр, курсы, тренинги и книги для прокачки скиллов.
  • Если хочешь делиться опытом — поможем с выступлениями на конференциях и публикациями на Хабре.
Можно работать удалённо или в офисах в Москве, Санкт-Петербурге и Новосибирске. Можно работать удалённо или в офисах в Москве, Санкт-Петербурге и Новосибирске.

навыки

компания

Российская платформа с картами и справочником. Помогает находить организации, строить маршруты, изучать города. Предлагает сервисы для бизнеса: реклама, аналитика, API. Удобно для навигации и поиска услуг.

Подробнее о компании →

похожие вакансии

статьи для разработчиков