Data Engineer

Добавь резюме в профиле, а нейросеть определит твою категорию. Затем ты сможешь генерировать сопроводительные письма для вакансий этой категории

Команда ЦПУ (Цифровая платформа управления) занимается разработкой хранилища данных со звездообразной схемой для расчёта показателей.

• Разрабатывать хранимые процедуры на PostgreSQL для расчёта показателей в хранилище данных.
• Создавать функции, представления и запросы для извлечения и агрегации бизнес-показателей на PostgreSQL.
• Разрабатывать DAG в Airflow с использованием коннекторов к PostgreSQL, Hive, HDFS, S3, HTTP, а также для работы с файлами форматов CSV, XLS и XLSX.
• Реализовывать алгоритмы проверки качества данных с помощью хранимых процедур в PostgreSQL, а также задач и операторов в Airflow.
• Проводить оптимизацию запросов PostgreSQL.
• Вести техническую документацию по разработке в Confluence.
• Работать с задачами и проектами в JIRA.
• Работать с системой контроля версий Git.

• Опыт работы в роли Data Engineer от 1,5 лет.
• Уровень владения SQL, в т.ч. в диалекте PL/pgSQL — Jun+/Middle.
• Опыт работы с ETL-инструментами.
• Понимание архитектуры Apache Spark, опыт по анализу и оптимизации обработки данных на Spark.
• Опыт работы с Hadoop.
• Будет плюсом опыт работы с HDFS, Hive и Spark/Scala, знание Python на уровне Middle (pandas, openpyxl, xlrd, exchangelib, boto3, requests, s3transfer), опыт администрирования PostgreSQL, Linux и Airflow.

• Трудоустройство в аккредитованную ИТ-компанию.
• Сплочённая команда профессионалов с обучением, участием в проектах, конференциях, митапах.
• Конструктивная и открытая рабочая атмосфера.
• Полис ДМС в лучших клиниках, чек-ап для сотрудников 40+.
• Страхование жизни, от несчастных случаев, критических заболеваний, выезжающих за рубеж.
• Материальная помощь, детские подарки, доплата по больничному.
• Корпоративные скидки, служебная сотовую связь.
• Кафетерий льгот (спорт, здоровье, обучение, путешествия, транспорт) после испытательного срока.