Ищем Data Engineer, который поможет развивать платформу данных: от потоковой загрузки событий и построения моделей до холодного хранения и контроля качества данных.
сегодня
Data engineer
ориентир по рынку
вакансия
зп не указана
в среднем
305 061 ₽
мэтч
Загрузи резюме, чтобы видеть мэтчи с вакансиейЗагрузи резюме, чтобы видеть мэтч с вакой
подготовься к отклику
ai-инструментыЧтобы адаптировать резюме под вакансию или составить сопроводительное письмо, загрузи резюме
описание
задачи
- Развивать потоковую загрузку событий из RabbitMQ в ClickHouse: подключать новые потоки, настраивать дедупликацию и backfill исторических данных
- Строить холодное хранилище на Apache Iceberg: выгружать архив из ClickHouse через Spark, переносить исторические данные, развивать подготовленный слой и историю справочников
- Настраивать инкрементальную загрузку данных из 1С и реплик PostgreSQL, в перспективе — внедрять CDC
- Разрабатывать витрины и модели данных на dbt и materialized views ClickHouse
- Ежедневно сверять полноту данных и суммы с источниками, настраивать тесты качества данных, мониторинг свежести и объёма потоков
- Оркестрировать процессы в Airflow, развивать CI/CD моделей и DAG, поддерживать runbook потоков
- Участвовать в архитектурных решениях и код-ревью, развивать каталог данных
требования
- Опыт в Data Engineering от 4–5 лет
- Промышленный опыт работы с ClickHouse: MergeTree-движки, materialized views, репликация и оптимизация запросов
- Уверенное знание SQL и Python
- Опыт работы с dbt в продакшене: модели, тесты и CI
- Опыт разработки и эксплуатации DAG в Apache Airflow
- Опыт работы со Spark и табличными форматами для lakehouse — Iceberg, Delta или Hudi; понимание S3-совместимых хранилищ
- Опыт потоковой загрузки данных из брокеров сообщений — RabbitMQ или аналогов; понимание at-least-once и идемпотентности
- Понимание medallion-архитектуры, SCD2 и инкрементальной загрузки
- Знание Docker и Kubernetes на уровне пользователя, опыт работы с Git
- Будет плюсом: Опыт загрузки данных из MS SQL или 1С; Знание Debezium и CDC; Опыт работы с dlt и OpenMetadata; Знакомство с платёжными и персональными данными; Опыт работы с on-prem инфраструктурой
условия
- Конкурентную заработную плату — обсудим после собеседования
- Удалённый формат работы
- График 5/2: с 10:00 до 19:00
- Мощный рабочий ноутбук
- 100% компенсацию больничных
- Корпоративную скидку на изучение английского языка в Skyeng
навыки
Если просят выйти из iCloud, прислать код из SMS, запустить или установить что-то, перевести деньги — не соглашайся: это мошенничество.
похожие вакансии
статьи для разработчиков
Шардирование базы данных: когда партиционирования уже недостаточно и как выбрать ключ шардирования
Circuit Breaker паттерн на практике: как защитить сервис от каскадных сбоев и не заспамить упавший downstream
Event-driven architecture простыми словами: как сервисы общаются через события и когда это оправдано
статьи для разработчиков
Шардирование базы данных: когда партиционирования уже недостаточно и как выбрать ключ шардирования
Circuit Breaker паттерн на практике: как защитить сервис от каскадных сбоев и не заспамить упавший downstream
Event-driven architecture простыми словами: как сервисы общаются через события и когда это оправдано