data engineer

Добавь резюме в профиле, а нейросеть определит твою категорию. Затем ты сможешь генерировать сопроводительные письма для вакансий этой категории

Ptolemay — аутсорсинговая IT-компания полного цикла по разработке мобильных и веб-приложений для бизнеса и стартапов. Проект посвящён разработке решения для xbrl-отчётности по форме 577-п от ЦБ. Вам нужно будет мигрировать процессы для отчётности и аналитики и настраивать их регламентную загрузку, работать с общебанковской дата-платформой (data lake, dwh), разрабатывать end-to-end пайплайны по сбору и обработке данных с выбором оптимального формата, структуры хранения и архитектуры интеграционных решений, анализировать и оптимизировать производительность пайплайнов, инструментов и дата-сервисов, развивать архитектуру данных и внедрять новые технологические решения и сервисы, управлять обновлениями, настройками, устранять уязвимости, восстанавливать сервисы после сбоев и обрабатывать инциденты.

• От 3 лет коммерческого опыта на аналогичной должности.
• Знание и опыт в банковской предметной области.
• Знание SQL на уровне оптимизации сложных запросов.
• Знание принципов работы классических и MPP-СУБД.
• Опыт разработки на Python и/или Java, Scala.
• Опыт оркестрации ETL-пайплайнов с помощью Airflow.
• Опыт работы с dbt.
• Опыт работы с продуктами экосистемы Hadoop (HDFS, YARN, HIVE, Sqoop).
• Опыт Apache Spark (Spark DataFrames, Spark SQL).
• Будет плюсом опыт работы с Kafka, Trino, контейнерными технологиями и оркестрацией (kubernetes, helm), знания и опыт CI/CD-практик и инструментов.

• Полная занятость.
• Оформление по ИП, СМЗ либо оплата криптовалютой USDT.