Если просят войти через iCloud, отправить коды из SMS, запустить код, что-то установить, перевести деньги или сделать что угодно, связанное с деньгами, не соглашайтесь: это признаки мошенничества.
data engineer
генерация резюме
сопроводительное письмо
описание
Описания нет
задачи
- Разрабатывать и поддерживать пайплайны загрузки и трансформации HR-данных;
- Интегрировать источники (API, Kafka, БД, файловые хранилища);
- Строить витрины и обеспечивать их консистентность;
- Оптимизировать производительность и стоимость обработки данных;
- Обеспечивать стабильность (обработка сбоев, ретраи, мониторинг).
требования
- ETL/ELT пайплайны;
- Работа с API;
- Обработка больших объемов данных;
- SQL на продвинутом уровне: сложные join’ы, оконные функции, оптимизация запросов под большие объемы, понимание планов выполнения;
- Практический опыт работы в проде: Greenplum (понимание MPP, распределение данных, оптимизация), ClickHouse (построение витрин, работа с большими таблицами), MS SQL Server;
- Опыт работы с consumer/producer;
- Понимание семантики доставки и обработки сообщений;
- Уверенная работа с REST API (пагинация, ретраи, обработка ошибок);
- S3-совместимые хранилища: чтение/запись, организация данных, партиционирование;
- Самостоятельность и ответственность за результат;
- Будет плюсом опыт работы с Trino (федеративные запросы, работа с несколькими источниками), построения DWH (staging / dds / marts), понимание data lineage и контроля качества данных, опыт orchestration (Airflow или аналоги).
условия
- Локация: РФ/РБ;
- Сотрудничество по ИП РФ, РБ СМЗ РБ.
навыки