Data Engineer

Дзен развивает крупнейшую рекомендательную систему в России, выпускает приложения для Android и iOS и помогает блогерам приходить на платформу. Команда развивает DWH Дзена на YTsaurus: слои хранилища, качество данных и сервисы для аналитиков и продуктовых команд. Хранилище включает около 120 пайплайнов с оповещениями, а монорепозиторий содержит более 1200 модулей трансформаций.

• Развивать внутренние продукты команды: проектировать и писать сервисы, API и интеграции;
• Проектировать и развивать модели данных по слоям хранилища;
• Писать и оптимизировать трансформации на YQL и Python;
• Поддерживать и расширять оркестрацию пайплайнов;
• Развивать мониторинг качества данных и реагировать на инциденты;
• Участвовать в ревью и поддерживать инженерную планку команды.

• Уверенно писать production-код на Python, а не только скрипты;
• Знать SQL и понимать аналитические запросы и их оптимизацию;
• Иметь опыт проектирования и поддержки бэкенд-сервисов, API и интеграций;
• Понимать устройство слоёного DWH, модели данных, инкрементальную загрузку и партиционирование;
• Внимательно относиться к качеству данных и соглашениям об именовании и технических полях.

• Гибкий график работы;
• Бонусы и скидки от партнёров;
• ДМС;
• Офис в центре Москвы;
• Профессиональная команда.