Инженер данных

Описания нет

• Проектировать и развивать аналитическую платформу: слои хранения, модели данных, витрины;
• Строить батчевые и потоковые пайплайны загрузки из десятков источников, включая CDC-репликацию из продуктовых баз;
• Отвечать за производительность и стоимость хранения и вычислений на больших объёмах;
• Выстраивать процессы контроля качества данных: тесты, мониторинг, SLA, алертинг;
• Участвовать в архитектурных решениях на стыке с продуктовыми командами, менторить коллег.

• Проектирование хранилищ данных (понимание разницы между DWH, Data Lake и Lakehouse, проектирование слоистой архитектуры и выбор моделей данных вроде Kimball, Data Vault, широких денормализованных таблиц);
• Понимание пайплайнов как инженерного артефакта (идемпотентность, инкрементальная загрузка, корректный backfill, обработка late-arriving data, эволюция схемы, версионирование трансформаций, тесты, code review);
• Опыт потоковой обработки в проде (семантика доставки at-least-once / exactly-once, оконные агрегации, обработка out-of-order событий, устройство CDC и нагрузка на источник);
• Оптимизация на больших объёмах (чтение планов выполнения запросов, партиционирование, сортировка, первичные ключи в колоночных СУБД, стоимость join'ов, выбор формата хранения и гранулярности, профилирование);
• Production-grade Python и уверенный SQL (Python для разработки сервисов и библиотек с типизацией, тестами и упаковкой; SQL с оконными функциями и сложной агрегацией);
• Эксплуатация и микросервисное окружение (контейнеризация, оркестрация, логи, метрики, алерты, синхронное gRPC и асинхронное взаимодействие через брокеры сообщений);
• Senior-уровень как способ работы (формулирование альтернатив и их цены, договоренности с продуктовыми командами и аналитиками о контрактах данных, разбор чужого кода, развитие команды);
• Опыт работы со стеклом: языки Python, SQL; хранение и обработка ClickHouse, PostgreSQL, ElasticSearch, Apache Spark; трансформации и ETL dbt, Talend DI; оркестрация Apache Airflow; стриминг и CDC Kafka, RabbitMQ, Debezium; инфраструктура Docker, Kubernetes, gRPC;
• Будет плюсом C#, Go, опыт администрирования PostgreSQL, ClickHouse, ArangoDB, опыт внедрения data quality / observability-инструментов, опыт построения платформы с нуля или её миграции.

• Оформление по ТК РК;
• Условий в вакансии нет.