data engineer
генерация резюме под вакансию
сопроводительное письмо
описание
Компания развивает продукт в сфере онлайн-гейминга. Проект представляет собой хранилище данных для аналитики и Data Science без использования облака.
задачи
- Писать ETL-процедуры и разрабатывать слои и витрины данных;
- Применять архитектурные подходы;
- Разрабатывать и поддерживать витрины данных для аналитики эффективности провайдеров, управления трафиком и портфелем контента;
- Строить и сопровождать ETL/ELT-процессы для аналитических продуктов подразделения;
- Разрабатывать инфраструктуру для мониторинга ключевых показателей провайдеров, включая алерты и автоматический контроль качества данных;
- Поддерживать и развивать аналитические сервисы для принятия решений по масштабированию и оптимизации.
требования
- Опыт работы Data Engineer от 1 до 3 лет;
- Продвинутый уровень Python, опыт работы с PySpark и Apache Airflow;
- Глубокое знание SQL, умение писать и оптимизировать сложные запросы, проводить ревью;
- Понимание работы СУБД ClickHouse и PostgreSQL, знание их внутренних механизмов и конфигураций;
- Опыт работы с большими данными и распределёнными системами хранения S3 и HDFS;
- Знание форматов данных Parquet и Avro, методологий моделирования данных;
- Опыт интеграции данных из разных источников через JDBC, REST API и Kafka;
- Опыт работы с файловыми системами и форматами JSON, Parquet и S3;
- Опыт настройки конвейеров в GitLab CI/CD;
- Опыт контейнеризации приложений с использованием Docker и их оркестрации в Kubernetes;
- Опыт настройки и использования Grafana для визуализации метрик и отслеживания состояния систем;
- Знание архитектур DWH, опыт проектирования слоёв данных и ETL-процессов.
условия
- Условий в вакансии нет
навыки
Если просят войти через iCloud, отправить коды из SMS, запустить код, что-то установить, перевести деньги или сделать что угодно, связанное с деньгами, не соглашайтесь: это признаки мошенничества.