data engineer

Крупная ритейл компания.

• Проектировать, разрабатывать и сопровождать стриминговые пайплайны;
• Реализовывать бизнес-логику и трансформации во Flink, Spark или Java в режиме стрима;
• Выполнять инкрементальную загрузку и выкладку витрин с помощью dbt, Trino или Iceberg;
• Проектировать хранение и партиционирование в data lake с использованием колоночных форматов, снапшотов и Iceberg;
• Строить надёжные схемы доставки данных, включая семантику доставки, идемпотентность и обработку дубликатов;
• Документировать архитектуру пайплайнов и участвовать в принятии архитектурных решений по платформе.

• Опыт работы со стриминговыми решениями или серьёзное стремление перейти в стриминг;
• Технические навыки работы с одним или несколькими инструментами: Spark, Flink, ClickHouse, Kafka (преимущественно Flink);
• Понимание форматов и концепций data lake, включая Iceberg, Parquet, ORC, снапшоты и инкременты;
• Практический опыт хотя бы одной реализации или пробы передачи данных из Kafka в S3 или Iceberg;
• Умение мыслить потоками данных от события до витрины;
• Системное мышление, инициативность, готовность обсуждать архитектуру и учиться новым паттернам;
• Будет плюсом опыт работы с дашбордами и витринами через Trino, SQL или dbt.

• Длительность проекта до 31.07.2026 с возможностью пролонгации;
• Ставка 1900 с НДС;
• Полная занятость.