дата инженер корпоративной дата-платформы

Команда 2ГИС строит корпоративную дата-платформу — стандартизированное решение для работы с данными. Платформа создаётся с нуля, чтобы объединить корпоративные данные, обеспечить надёжность, масштабируемость и удобство для десятков инженерных команд.

• Разрабатывать с нуля MVP новой дата-платформы и инфраструктуры для ingest/transform;
• Мигрировать существующие пайплайны с Hadoop/HDFS на новую архитектуру на базе S3, Kafka, Spark и ClickHouse;
• Работать с большими объёмами данных и высоконагруженными Kafka-топиками;
• Строить отказоустойчивые пайплайны обработки и доставки данных;
• Участвовать в архитектурных решениях и внедрять лучшие практики хранения, мониторинга и контроля качества данных;
• Проектировать витрины данных под продуктовую и управленческую аналитику;
• Сопровождать миграцию BI-отчётов на новую платформу.

• Опыт работы от 3 лет на позиции Data Engineer или Big Data Engineer;
• Понимание принципов работы Spark и умение оптимизировать его;
• Опыт работы с ClickHouse и оптимизации запросов;
• Опыт работы с высоконагруженной Kafka — десятки или сотни тысяч событий в секунду;
• Знание дата-архитектуры: DWH, Lake, OLAP, ETL/ELT, Data Governance;
• Умение проектировать отказоустойчивые пайплайны;
• Уверенное владение одним из языков программирования, например Python или Scala;
• Знание SQL и умение читать логику отчётов;
• Будет плюсом опыт построения дата-платформ и Self-Service-инструментов, знание мониторинга и автоматического контроля качества данных, опыт построения Data Lineage и работы с Data Catalog, инфраструктурный опыт с Docker, Kubernetes и CI/CD.

• 2ГИС — аккредитованная IT-компания;
• Можно работать в офисах Москвы, Питера и Новосибирска;
• Полностью «белая» зарплата;
• ДМС и онлайн-консультации терапевта, невролога, психолога и медицинского агента;
• Учебный центр, курсы, тренинги и книги для развития навыков;
• Помощь с выступлениями на конференциях и публикациями на Хабре.