описание
Департамент информационных технологий Москвы создает и развивает цифровые проекты, которые делают столицу комфортнее, а жизнь горожан — удобнее и мобильнее. Для системы управления столицей технологии — это незаменимый инструмент, который применяется во всех отраслях экономики, городского хозяйства и социальной сферы. А для миллионов горожан — повседневный помощник, который позволяет получать сотни услуг и сервисов в удобном цифровом формате в режиме 24/7.
задачи
- Проектировать и развивать архитектуру потоков обработки и хранения данных.
- Разрабатывать и сопровождать ETL/ELT-пайплайны и интеграции с источниками данных.
- Реализовывать dbt-модели, SQL-трансформации и объекты данных в ClickHouse.
- Разрабатывать и поддерживать Airflow DAGs и механизмы оркестрации.
- Организовывать хранение и обработку данных с использованием S3.
- Обеспечивать надежность, производительность и масштабируемость data-процессов.
- Реализовывать механизмы контроля качества данных, мониторинга и обработки ошибок.
- Оптимизировать SQL-запросы, модели хранения и процессы обработки больших объемов данных.
- Участвовать в проектировании и развитии DWH и аналитических витрин совместно с аналитиками.
- Интегрировать новые источники данных и обеспечивать их стабильную загрузку.
- Документировать технические решения и участвовать в развитии инженерных стандартов команды.
- Взаимодействовать с аналитиками, разработчиками и Заказчиками при проектировании и реализации решений.
требования
- Опыт работы от 3 лет в Data Engineering, разработке DWH или смежных инженерных направлениях.
- Уверенное владение SQL: CTE, оконные и агрегатные функции, подзапросы; оптимизация запросов и работа с большими объемами данных.
- Уверенное владение Python для разработки ETL/ELT-процессов, интеграций и автоматизации обработки данных.
- Опыт проектирования и разработки ETL/ELT-пайплайнов и потоков обработки данных.
- Глубокое понимание принципов построения DWH, Data Mart и моделей данных.
- Практический опыт разработки dbt-моделей, SQL-трансформаций и управления зависимостями между объектами данных.
- Уверенная работа с ClickHouse: проектирование таблиц, выбор схем хранения, оптимизация запросов и производительности.
- Опыт работы с системами оркестрации, преимущественно Airflow.
- Опыт работы с S3 и объектным хранением данных.
- Понимание принципов интеграции данных и работы с форматами JSON, XML, CSV.
- Опыт построения и сопровождения процессов загрузки данных из различных источников.
- Понимание принципов Data Quality, контроля целостности, полноты и актуальности данных.
- Опыт работы с Git.
- Навыки декомпозиции технических требований и проектирования решений совместно с аналитиками, разработчиками и Заказчиками.
- Системное и инженерное мышление.
- Ответственность за надежность и результат работы data-платформы.
- Ориентация на качество, производительность и поддерживаемость решений.
- Умение самостоятельно принимать технические решения.
- Способность быстро погружаться в новые технологии, источники и предметные области.
- Умение работать в команде и эффективно взаимодействовать со смежными специалистами.
- Будет плюсом: Опыт проектирования и развития корпоративных хранилищ данных; Опыт работы с другими аналитическими СУБД и DWH-платформами; Опыт построения потоковых решений и систем потоковой передачи данных; Опыт настройки мониторинга и алертинга data-пайплайнов; Навыки оптимизации инфраструктурных и вычислительных затрат; Профильное высшее образование
условия
- Рыночную зарплату и премии;
- График работы 5/2;
- Интересные задачи и ресурсы для их реализации;
- Преимущества аккредитованной IT-компании;
- Материальную помощь в случае важных событий в жизни;
- Корпоративное обучение и доступ к онлайн-библиотеке;
- Корпоративные тренировки и спортивные активности: бег, футбол, волейбол, баскетбол, теннис и другие;
- Комьюнити по интересам;
- Скидки от партнеров на ДМС, связь, развлечения, подарки, спорт и т.д.
