data engineer

Команда помогает бизнесу анализировать данные и превращать инсайты в действия.

• Подключаться к различным источникам данных;
• Извлекать данные через REST API, базы данных, файлы и сторонние платформы;
• Обрабатывать и загружать данные в хранилище для аналитики и подготовки отчетов;
• Создавать стабильные процессы передачи данных с логированием, обработкой ошибок, повторными попытками и проверкой качества.

• Уверенное владение Python и практический опыт его применения в задачах обработки данных;
• Опыт создания конвейеров для загрузки, обработки и трансформации данных;
• Опыт работы с REST API, включая аутентификацию, пагинацию, лимиты запросов и обработку ошибок;
• Понимание принципов построения отказоустойчивых систем;
• Опыт настройки инкрементальной загрузки данных;
• Умение работать с JSON и полуструктурированными данными;
• Глубокие знания SQL, включая JOIN, CTE, агрегатные и оконные функции;
• Опыт загрузки данных в базы или хранилища вроде PostgreSQL, BigQuery, Snowflake, Redshift или MS SQL;
• Понимание подходов ETL и ELT;
• Опыт настройки логирования, мониторинга и базового устранения неполадок;
• Опыт работы с Git;
• Будет плюсом опыт работы с dbt, Spark, PySpark, инструментами оркестрации (Airflow, Prefect, Dagster), реализация проверок качества данных, работа с облачными хранилищами (AWS S3, Google Cloud Storage, Azure Blob Storage), Docker, понимание принципов моделирования данных, оптимизация SQL-запросов, опыт работы с BI-инструментами, подготовка наборов данных для отчетности, понимание облачных платформ (GCP, AWS, Azure), опыт с CI/CD и навыки документирования логики конвейеров.

• Разнообразные проекты в различных сферах;
• Адекватный график с фокусом на задачи, а не на отработанные часы;
• Команда, которая ценит экспертизу и чувство юмора;
• Возможность выбора между глубоким погружением в один масштабный проект или работой с несколькими клиентами.