.svg)
Загрузи резюме в профиль, чтобы сгенерировать временное CV под эту вакансию
1 авг
Data Engineer
ориентир по рынку
вакансия
зп не указана
в среднем
206 146 ₽
мэтч
Загрузи резюме, чтобы видеть мэтчи с вакансией
генерация резюме под вакансию
сопроводительное письмо
Загрузи резюме в профиль, а нейросеть определит твою категорию. Затем ты сможешь генерировать сопроводительные письма для вакансий этой категории
описание
Napoleon IT развивает заказную разработку, аутстаффинг и собственные продукты. Компания создаёт решения на основе искусственного интеллекта, развивает технологии LLM и генеративного ИИ, а также строит мультиагентные системы и платформенные решения для брендов, розничной торговли и маркетплейсов.
задачи
- Разрабатывать ETL на Apache Spark с использованием Java;
- Разрабатывать ETL-пайплайны на Apache Spark, HDFS, Hive, Greenplum и ClickHouse;
- Разрабатывать витрины данных в Greenplum и ClickHouse;
- Оркестрировать ETL-процессы;
- Оптимизировать ETL-процессы, включая пакетную обработку, повторные попытки и контроль SLA;
- Взаимодействовать с BI-разработчиками и DevOps для своевременной доставки данных в Superset.
требования
- Иметь опыт разработки и опыт работы с PySpark; владение Java не обязательно, компания готова обучить Java;
- Опыт работы с Apache Spark от 1 года;
- Опыт работы с СУБД Greenplum, ClickHouse или PostgreSQL от 2 лет;
- Опыт работы с Hadoop, HDFS и Hive;
- Опыт проектирования и разработки потоков данных, алгоритмов загрузки и обработки данных;
- Опыт оптимизации ETL-пайплайнов и SQL-кода;
- Продвинутые знания SQL;
- Понимание принципов работы распределённых систем;
- Готовность осваивать Java для использования Spark;
- Будет плюсом опыт разработки на Java, опыт участия в проектах по миграции данных или развитию BI-платформ, опыт работы в банковской сфере и понимание бизнес-домена, опыт работы в крупных проектах с высокими требованиями к надёжности.
условия
- Гибкие варианты сотрудничества;
- Индивидуальный план развития с возможностью освоения новых технологий;
- Компенсация расходов на покупку профессиональной литературы;
- Доступ к курсам объединённой IT-школы GIGASCHOOL.
навыки
Если просят войти через iCloud, отправить коды из SMS, запустить код, что-то установить, перевести деньги или сделать что угодно, связанное с деньгами, не соглашайтесь: это признаки мошенничества.
