Инженер данных
генерация резюме под вакансию
сопроводительное письмо
описание
Объединённая компания Wildberries и Russ является международной технологической компанией, образованной в результате слияния IT-компании Wildberries и оператора наружной рекламы Russ. Команда запускает сервис-агрегатор для формирования единого портрета пользователя, который собирает, стандартизирует и предоставляет данные из различных доменов и систем.
задачи
- Проектировать и реализовывать ETL-пайплайны на основе требований;
- Интегрировать данные из различных источников (Kafka, S3, Greenplum, Clickhouse БД, API) в DWH;
- Реализовывать преобразования данных с учётом бизнес-логики и требований к качеству;
- Обеспечивать надёжность пайплайнов;
- Разрабатывать DQ-проверки (валидность, полнота, консистентность) и встраивать их в пайплайны;
- Оптимизировать производительность обработки данных.
требования
- Опыт работы от 3 лет;
- Уверенное владение SQL (сложные запросы, оконные функции, оптимизация);
- Практический опыт с Python для обработки данных;
- Опыт автоматизации пайплайнов в Airflow;
- Понимание архитектуры DWH / Data Lake;
- Опыт построения и поддержки ETL-пайплайнов;
- Опыт работы с БД ClickHouse и Kafka.
условия
- Обучение и развитие: языковые клубы, корпоративный университет, программы развития управленческих навыков;
- Корпоративный пакет ДМС со стоматологией, корпоративный спорт, консультации психолога;
- Доступ к сообществам: клуб спикеров, футбол, йога, шахматы;
- Программы поддержки семей и гибкий подход к балансу карьеры и личной жизни;
- Скидки и партнерские программы на обучение, страхование и покупки;
- Бесплатное питание в офисе, современная корпоративная техника и портал для сотрудников.
навыки
Если просят войти через iCloud, отправить коды из SMS, запустить код, что-то установить, перевести деньги или сделать что угодно, связанное с деньгами, не соглашайтесь: это признаки мошенничества.