Если вас просят войти через iCloud/Google, отправить коды из SMS или Telegram, запустить код или что-то установить, не соглашайтесь: это признаки мошенничества.
data engineer
сопроводительное письмо
описание
Компания занимается построением надёжных конвейеров данных для текущих и будущих аналитических проектов.
задачи
- Проектировать, разрабатывать и поддерживать DAGs Airflow для пакетных конвейеров данных
- Создавать и улучшать загрузку данных из S3, Nextcloud, API и реляционных баз данных
- Моделировать и оптимизировать таблицы в ClickHouse для производительности и аналитических сценариев
- Внедрять и поддерживать проверки качества данных и сверки
- Мониторить работоспособность конвейеров, устранять производственные проблемы и повышать надёжность
- Сотрудничать с аналитиками/стейкхолдерами BI для предоставления витрин данных и наборов данных для отчётности
- Документировать логику конвейеров, зависимости и операционные руководства
- Определять повторяющиеся задачи DE и внедрять автоматизацию с помощью агентов для сокращения ручного труда при сохранении строгих средств контроля надёжности
требования
- Опыт работы инженером данных более 3 лет
- Сильные навыки Python для конвейеров данных и автоматизации
- Уверенный опыт работы с Apache Airflow (проектирование DAG, планирование, мониторинг, устранение неполадок)
- Продвинутый SQL и практический опыт работы с ClickHouse и/или PostgreSQL
- Опыт работы с AWS S3, Nextcloud и приёмом данных из файлов/API
- Понимание шаблонов ETL/ELT, инкрементальных загрузок, идемпотентности и секционирования
- Опыт работы с проверками качества данных, логированием и оповещениями
- Опыт (или сильный практический интерес) в области инженерии с использованием агентов/ИИ для автоматизации повторяющихся рабочих процессов
- Хорошие навыки работы с Git и командного взаимодействия
- Английский: intermediate+ (письменный и устный)
- Будет плюсом опыт работы с пользовательскими операторами/плагинами Airflow, знания интеграций оповещений Slack/Telegram, опыт работы в доменах с высокой нагрузкой (финтех, игры, электронная коммерция), понимание CI/CD для рабочих процессов данных и инфраструктуры как кода, опыт работы с Docker/Kubernetes, практический опыт работы с API LLM/фреймворками агентов для внутренних инструментов данных (с оценкой, наблюдаемостью и элементами управления человеком)
условия
- Конкурентоспособный компенсационный пакет с бонусами по результатам работы
- Компенсация медицинской страховки
- Спортивные льготы
- 21 рабочий день оплачиваемого отпуска в год
- 25 оплачиваемых больничных дней в год — без необходимости предоставления больничного листа
- 3 дополнительных оплачиваемых выходных дня в год для личного использования
- Частичная компенсация сеансов психологической поддержки
- Бюджет на образование $600 в год
- Оплачиваемые командировки в штаб-квартиру на Кипре
навыки