Если просят войти через iCloud, отправить коды из SMS, запустить код, что-то установить, перевести деньги или сделать что угодно, связанное с деньгами, не соглашайтесь: это признаки мошенничества.
data engineer
генерация резюме
сопроводительное письмо
описание
Команда строит крупное озеро данных со сложными сценариями приёма и обработки информации из множества источников. Проект находится на этапе запуска, не имеет сложного устаревшего кода и предоставляет возможности для технических экспериментов и выбора оптимальных решений.
задачи
- Руководить командой дата-инженеров, включая проведение код-ревью, постановку задач и развитие сотрудников;
- Проектировать конвейеры и инфраструктуру данных;
- Разрабатывать и поддерживать парсеры для документов различных форматов;
- Автоматизировать обработку и преобразование данных;
- Настраивать мониторинг и отладку конвейеров.
требования
- Опыт руководства командой от 5 лет;
- Глубокое знание Python и библиотек для работы с данными;
- Опыт парсинга и скрейпинга сложных слабоструктурированных документов;
- Опыт построения конвейеров данных с использованием оркестраторов Dagster;
- Понимание управления качеством данных, мониторинга и отладки конвейеров;
- Знание форматов данных JSON lines, Parquet, XML, CSV;
- Понимание методов получения и поставки данных через S3, REST API, SOAP, RPC;
- Уверенное знание PostgreSQL;
- Владение Git, включая ветвление, ревью и стратегии слияния;
- Английский язык на уровне чтения технической документации;
- Будет плюсом опыт работы с данными из открытых источников и опыт долгосрочного поддержания работы парсеров.
условия
- Оформление по ТК РФ.
навыки