Data Engineer

Описания нет

• Разрабатывать и поддерживать data pipelines и DAG-процессы в Airflow
• Готовить данные для аналитических и бизнес-задач
• Работать с ClickHouse и MySQL, оптимизировать запросы и анализировать планы их выполнения
• Интегрироваться с сервисами партнеров и внешними источниками данных через API и FTP
• Проектировать и разрабатывать микросервисы для обработки данных
• Работать с высоконагруженными системами, обрабатывающими терабайты данных
• Участвовать в развитии архитектуры и самостоятельно предлагать технические решения для повышения производительности и масштабируемости

• 5+ лет коммерческого опыта разработки на Python
• Знание SQL и опыт оптимизации запросов
• Опыт работы с ClickHouse и/или MySQL
• Опыт проектирования Python-фреймворков и библиотек, профилирования и оптимизации производительности
• Опыт разработки и работы с OLAP-системами
• Практический опыт с Airflow, Pandas, Kafka и/или RabbitMQ
• Опыт получения и обработки данных из API и FTP
• Опыт работы с Docker и Kubernetes
• Самостоятельность в поиске и выборе технических решений
• Умение понимать бизнес-контекст задач и эффективно взаимодействовать с командой

• Highload-продукты, обрабатывающие десятки тысяч запросов в секунду и работающие на аудиторию 100M+ пользователей по всему миру
• Медицинская страховка в странах присутствия компании
• Годовой бюджет $2 000 после испытательного срока на медицинское страхование, изучение языков и занятия спортом
• Частичная компенсация профессионального обучения, курсов и участия в профильных конференциях
• Доступ к корпоративной электронной библиотеке
• Еженедельные онлайн-консультации с психологом за счет компании
• Возможность релокации в страны присутствия офисов компании с релокационной поддержкой после ИС