Data Engineer

Добавь резюме в профиле, а нейросеть определит твою категорию. Затем ты сможешь генерировать сопроводительные письма для вакансий этой категории

Компания Sweatcoin создаёт бесплатное приложение, которое мотивирует людей больше двигаться, награждая их за шаги криптовалютой SWEAT. Приложение очень популярно, у него более 200 миллионов установок и свыше 15 миллионов активных пользователей. Продукт помогает людям стать активнее, что подтверждено научными исследованиями.

Вам нужно будет играть ключевую роль в переходе инфраструктуры данных на новую, более эффективную архитектуру. Вы будете руководить миграцией со стека Firebase-BigQuery-Looker на собственный стек, включающий Snowplow, Kafka, ClickHouse, Trino, Spark, S3 и Redash. Также Вам нужно будет разрабатывать и улучшать высокопроизводительные конвейеры данных, автоматизировать обработку данных и следить за надёжностью инфраструктуры.

• Имеете сильный опыт построения, поддержки и улучшения ETL/ELT конвейеров данных
• Владеете Python и SQL для обработки данных и аналитики
• Имеете практический опыт работы с Kafka, Trino, ClickHouse, Spark или похожими системами
• Знаете, как работать с S3 или другими облачными хранилищами объектов
• Умеете пользоваться Docker, Kubernetes, Git и CI/CD пайплайнами
• Знакомы с инструментами оркестрации вроде Airflow или dbt
• Умеете анализировать производительность систем и решать сложные проблемы с данными
• Можете работать самостоятельно в быстро меняющейся среде
• Свободно владеете английским языком для общения в команде
• Будет плюсом: Имеете опыт работы со Snowplow для сбора событий и сбора данных, знаете принципы управления данными и безопасности, знакомы с конвейерами машинного обучения и аналитикой в реальном времени

• Удалённая работа и гибкий график, оплата зависит от результата, а не от отработанных часов
• Предоставляются устройства Apple для работы
• Проводятся командные мероприятия за границей в интересных местах
• Покрывается медицинская страховка
• Есть программа поддержки благополучия, включающая до двух сеансов консультирования в месяц
• Политика неограниченного отпуска