Если просят войти через iCloud, отправить коды из SMS, запустить код, что-то установить, перевести деньги или сделать что угодно, связанное с деньгами, не соглашайтесь: это признаки мошенничества.

ITWEBS

сегодня

data engineer

выше рынка на 10,3%

вакансия 332 000 ₽

в среднем 300 875 ₽

Добавь резюме в профиле, чтобы видеть % мэтча с вакансией

генерация резюме

Добавьте резюме в профиль, чтобы сгенерировать временное CV под эту вакансию

сопроводительное письмо

Добавь резюме в профиле, а нейросеть определит твою категорию. Затем ты сможешь генерировать сопроводительные письма для вакансий этой категории

описание

Описания нет

задачи

Проектировать, разрабатывать и поддерживать ETL/ELT конвейеры данных;
Создавать потоки данных для аналитики, BI, отчетности, продуктов и задач машинного обучения;
Работать с пакетной обработкой и потоковыми конвейерами;
Разрабатывать рабочие процессы с помощью Airflow или аналогичных инструментов;
Писать и оптимизировать SQL-запросы;
Разрабатывать логику обработки данных на Python;
Работать с Spark или аналогичными инструментами распределенной обработки;
Проектировать модели данных, витрины данных и аналитические наборы данных;
Работать с архитектурами DWH, Data Lake или Lakehouse;
Интегрировать данные из баз данных, API, событий, файлов, внешних систем и облачных хранилищ;
Обеспечивать качество, согласованность и надежность конвейеров данных;
Поддерживать рабочие конвейеры и устранять неполадки с данными.

требования

Опыт работы дата-инженером или на аналогичной позиции от 3 лет;
Уверенное владение SQL: соединения, CTE, оконные функции, агрегации, оптимизация;
Опыт разработки ETL/ELT конвейеров на Python;
Знание инструментов оркестрации рабочих процессов (Airflow или аналоги);
Опыт работы с инструментами распределенной обработки (Spark или аналоги);
Понимание концепций DWH, Data Lake, Lakehouse;
Опыт работы с реляционными базами данных (PostgreSQL, Oracle, MySQL, MS SQL или аналоги);
Навыки моделирования данных и создания аналитических наборов данных или витрин;
Умение работать с Git, форматами данных (Parquet, Avro, ORC, JSON, CSV) и облачными хранилищами;
Знание экосистемы Hadoop (HDFS, Yarn, Hive Metastore, Ranger, Zookeeper);
Навыки отладки в промышленной эксплуатации;
Свободное владение английским языком (уровень B2+);
Будет плюсом опыт работы с Kafka, Flink, Debezium, Snowflake, Redshift, BigQuery, Databricks, Azure Synapse, Microsoft Fabric, dbt, Trino, Presto, Iceberg, Delta Lake, Hudi, ClickHouse, Greenplum, Vertica, AWS, Azure, GCP, Docker, Kubernetes, Grafana, VictoriaMetrics, Zabbix, NiFi, а также опыт создания переиспользуемых шаблонов обработки данных и работы с высоконагруженными или потоковыми системами в реальном времени.

условия

Возможно официальное трудоустройство или контрактное сотрудничество в РФ, РБ или странах Евросоюза;
Полная занятость и долгосрочное сотрудничество.

навыки

sql python etl elt airflow spark dwh data lake postgresql git hadoop parquet avro orc json

зарплата по оценке AI

Добавить в отклики

Telegram В отклики