Загрузи резюме, чтобы видеть мэтчи с вакансиейЗагрузи резюме, чтобы видеть мэтч с вакой
подготовься к отклику
ai-инструменты
Чтобы адаптировать резюме под вакансию или составить сопроводительное письмо, загрузи резюме
описание
Команда 2ГИС строит корпоративную дата-платформу — стандартизированное решение для работы с данными. Платформа создаётся с нуля, чтобы объединить корпоративные данные, обеспечить надёжность, масштабируемость и удобство для десятков инженерных команд.
задачи
Разрабатывать с нуля MVP новой дата-платформы и инфраструктуры для ingest/transform;
Мигрировать существующие пайплайны с Hadoop/HDFS на новую архитектуру на базе S3, Kafka, Spark и ClickHouse;
Работать с большими объёмами данных и высоконагруженными Kafka-топиками;
Строить отказоустойчивые пайплайны обработки и доставки данных;
Участвовать в архитектурных решениях и внедрять лучшие практики хранения, мониторинга и контроля качества данных;
Проектировать витрины данных под продуктовую и управленческую аналитику;
Сопровождать миграцию BI-отчётов на новую платформу.
требования
Опыт работы от 3 лет на позиции Data Engineer или Big Data Engineer;
Понимание принципов работы Spark и умение оптимизировать его;
Опыт работы с ClickHouse и оптимизации запросов;
Опыт работы с высоконагруженной Kafka — десятки или сотни тысяч событий в секунду;
Знание дата-архитектуры: DWH, Lake, OLAP, ETL/ELT, Data Governance;
Умение проектировать отказоустойчивые пайплайны;
Уверенное владение одним из языков программирования, например Python или Scala;
Знание SQL и умение читать логику отчётов;
Будет плюсом опыт построения дата-платформ и Self-Service-инструментов, знание мониторинга и автоматического контроля качества данных, опыт построения Data Lineage и работы с Data Catalog, инфраструктурный опыт с Docker, Kubernetes и CI/CD.
условия
2ГИС — аккредитованная IT-компания;
Можно работать в офисах Москвы, Питера и Новосибирска;
Полностью «белая» зарплата;
ДМС и онлайн-консультации терапевта, невролога, психолога и медицинского агента;
Учебный центр, курсы, тренинги и книги для развития навыков;
Помощь с выступлениями на конференциях и публикациями на Хабре.
Российская платформа с картами и справочником. Помогает находить организации, строить маршруты, изучать города. Предлагает сервисы для бизнеса: реклама, аналитика, API. Удобно для навигации и поиска услуг.
