data engineer
генерация резюме под вакансию
сопроводительное письмо
описание
Команда разрабатывает инфраструктуру данных для проекта озера данных, включающего сложные сценарии приема и обработки информации из различных источников.
задачи
- Разрабатывать и поддерживать парсеры;
- Автоматизировать обработку и преобразование данных;
- Выполнять отладку и мониторинг конвейеров данных.
требования
- Знание основных библиотек Python для работы с данными;
- Опыт обработки и скрейпинга сложных и слабоструктурированных документов в форматах PDF, DOC, DOCX, XLS, XLSX;
- Опыт автоматизации конвейеров данных и знание соответствующих инструментов;
- Представление об управлении качеством данных;
- Представление о возможностях отладки и мониторинга;
- Понимание специфики форматов данных (JSON lines, Parquet, XML, CSV);
- Понимание методов получения и поставки данных (S3, REST API, SOAP, RPC);
- Знание английского языка на уровне чтения технической документации;
- Знание Git;
- Готовность осваивать новые технологии и разрабатывать индивидуальные технические решения;
- Будет плюсом опыт работы с данными из открытых источников и понимание их специфики, опыт долгосрочного поддержания работы парсеров, опыт работы с библиотеками Python для компьютерного зрения.
условия
- Оформление по ТК РФ;
- Работа в аккредитованной IT-компании;
- Возможность влиять на выбор технологий и архитектурных решений;
- Минимум легаси в связи с недавним стартом проекта.
навыки
Если просят войти через iCloud, отправить коды из SMS, запустить код, что-то установить, перевести деньги или сделать что угодно, связанное с деньгами, не соглашайтесь: это признаки мошенничества.