Data engineer in streaming systems

грейд
senior
формат
удалённо по РФ
страна
Россия
опубликована
сегодня

описание

Объединённая компания Wildberries и Russ — это международная технологическая компания, образованная в результате слияния двух лидеров рынка — IT-компании Wildberries и оператора наружной рекламы Russ. Мы развиваем данных платформу в направлении TNS. Платформа собирает, обрабатывает и передаёт данные из разных доменов в потоковом и пакетном контурах. Мы строим процессы, в которых можно доказать полноту, свежесть и воспроизводимость данных.

задачи

  • Разрабатывать и сопровождать потоковые приложения на Apache Flink: подключать новые домены и типы событий, реализовывать дедупликацию, идемпотентную обработку, обогащение через Redis и маршрутизацию невалидных событий в DLQ
  • Обеспечивать полноту и качество потоков: контролировать lag, пропуски, дубли, объёмы, freshness, расхождения между источником и целевым хранилищем; участвовать в восстановлении и дозагрузке данных
  • Развивать batch-пайплайны в Apache Airflow: регуляторные выгрузки день в день, bulk-загрузки в Cassandra, проверки полноты, свежести и результатов загрузки
  • Подключать новые источники: разбираться в семантике событий, идентификаторах, ключах партиционирования, формате данных, ретенции, владельцах и ограничениях источника
  • Cassandra, документация потоков, runbook и постмортемы
  • Участвовать в on-call по понятному регламенту: локализовать инциденты, корректно эскалировать, объяснять простои и фиксировать пробелы в сборе данных

требования

  • 2–4 года опыта в Data Engineering либо backend-разработке с практическим переходом в data-направление.
  • Уверенный SQL и понимание работы с большими объёмами: партиционирование, шардирование, распределённые вычисления, оценка стоимости запросов и поиск узких мест.
  • Построение корпоративных DWH , понимание слоев данных;
  • Практический Kafka-опыт: producer/consumer, consumer groups, ключи и партиционирование, offsets, ретенция, replay, обработка ошибок, DLQ;
  • Python для data-задач и Airflow: умение разрабатывать и сопровождать DAG-и, писать идемпотентные задачи, организовывать retries и backfill;
  • Опыт работы с Java-кодом Flink (Python Flink может быть релевантным как опыт): читать, дорабатывать, отлаживать, разбираться в причинах рестартов, checkpointing и backpressure;
  • Практический опыт хотя бы с одной технологией: Cassandra или ClickHouse.
  • Для Cassandra: понимание моделирования от паттернов доступа, partition key, TTL, консистентности и особенностей записи;
  • Для ClickHouse: оптимизация запросов, работа с кластером и шардами, моделирование таблиц, TTL и особенности upsert/merge-семантики;
  • Опыт сопровождения Airflow-пайплайнов в production;
  • Привычка к инженерному циклу: тесты, CI/CD, кволитигейт, мониторинг, алерты, анализ причин инцидента и профилактические действия;
  • Внимательность к SLA и регуляторным ограничениям: если данные нельзя терять, система должна уметь это обнаружить, объяснить и восстановить.
  • Будет плюсом: Опыт самостоятельной разработки stateful Flink-пайплайнов будет преимуществом

условия

  • Обучение и развитие: языковые клубы, собственный корпоративный университет, программы развития управленческих навыков и многое другое;
  • Благополучие сотрудников: корпоративный пакет ДМС со стоматологией, корпоративный спорт, консультации психолога и дополнительные возможности аккредитованной IT-компании;
  • Множество сообществ: клуб спикеров, футбола, йоги, шахмат и т.д.;
  • Забота о семьях: создаем условия, в которых легко сочетать карьеру и заботу о близких – от гибкого подхода до масштабных проектов для детей сотрудников;
  • Скидки и партнерские программы: на обучение, страхование, покупки и многое другое;
  • Комфортная рабочая среда: бесплатное питание в офисе, современные офисы рядом с метро, корпоративная техника и портал для сотрудников.

навыки

компания

Крупный российский онлайн-ритейлер, предлагающий широкий выбор товаров: одежду, обувь и аксессуары, электронику, косметику, товары для дома и детей, продукты. Через сайт и мобильное приложение можно оформить доставку курьером или самовывоз из пунктов выдачи.

Подробнее о компании →

похожие вакансии

статьи для разработчиков