описание
Описания нет
задачи
- Развивать корпоративное хранилище данных: проектировать слои, схемы, таблицы и представления, оптимизировать структуру хранения
- Разрабатывать и сопровождать витрины данных для аналитики, BI
- Проектировать и разрабатывать процессы загрузки данных из разнородных источников
- Настраивать потоки передачи данных между системами: интеграции, синхронизация, обработка ошибок
- Строить дашборды, алертинг и мониторинг
- Обеспечивать наблюдаемость пайплайнов: контроль качества данных, отслеживание задержек и сбоев загрузок
- Проводить аудит текущих решений, выявлять точки роста
- Профайлинг, оптимизация и рефакторинг существующих решений
- Поддерживать и развивать ETL-инфраструктуру и интеграционное ПО, участвовать в разборе инцидентов
- Собирать и уточнять требования к данным вместе с аналитиками и бизнес-заказчиками
- Участвовать в анализе данных: выявление зависимостей, построение логических связей, подготовка данных для аналитики
- Вести задачи в Jira: оценка, декомпозиция, контроль выполнения
требования
- От 4 лет коммерческого опыта в роли DWH / Data Engineer
- Хранилище, которое вы развивали и меняли, а не только поддерживали в рабочем состоянии
- Витрины данных, доведённые до продакшена и живущие в реальной работе аналитики или BI
- Понимаете принципы построения DWH (Kimball / Inmon, star schema, ETL/ELT) и можете обосновать выбор подхода под конкретную задачу, а не следовать шаблону
- Понимаете различия OLTP-и OLAP-систем и последствия выбора для схемы и профиля нагрузки
- Умеете декомпозировать размытую бизнес-задачу до модели данных и плана работ
- SQL на уровне оптимизации: читаете план запроса, находите узкие места, переписываете тяжёлые запросы
- PostgreSQL / MySQL или другая промышленная РСУБД под нагрузкой
- Kafka: топики, партиционирование, продюсеры и консьюмеры, поведение при сбоях и повторной обработке
- Clickhouse: проектирование схем под конкретные паттерны запросов, движки таблиц, партиционирование, materialized views
- Airflow или другой оркестратор
- Python на уровне поддерживаемого production-кода
- Git, Jira
- Будет плюсом: Отвечали за архитектуру хранилища или крупного домена данных целиком, а не за отдельные пайплайны; Проводили аудит чужих решений и доводили рефакторинг до результата, а не до списка замечаний; Работаете с качеством данных как с отдельной задачей: проверки, SLA на данные, договорённости с владельцами источников; Ревьюите код, помогаете расти middle-инженерам; Общаетесь с бизнес-заказчиком напрямую: превращаете запрос в требования, оцениваете и защищаете сроки; Интеграции с BI-системами: Power BI, Tableau и др; Опыт создания и мониторинга production-сервисов и API на Python, работа со сторонними API; Опыт работы в облачных средах (AWS, GCP), понимание облачных сетей и безопасности
условия
- График работы 5/2, с 09:00 до 18:00
- Корпоративная мобильная связь
- Добровольное медицинское страхование
- Оплата части расходов по фитнесу