Инженер данных

Компания разрабатывает программное обеспечение и IT-решения в сферах финансов, здравоохранения, электронной коммерции, интернета вещей, медиа, больших данных и машинного обучения. Заказчик является крупнейшим коммерческим банком страны, лидером по объему активов и цифровому развитию.

• Разрабатывать сервисы пакетной и потоковой обработки данных для вычисления их векторного представления и сохранения в векторном хранилище;
• Реализовывать промышленные отказоустойчивые сервисы ETL на Python для пакетной загрузки и трансформации данных;
• Обогащать большие языковые модели релевантными контекстными данными;
• Отлаживать и анализировать эффективность приложений с помощью инструментов мониторинга.

• Опыт работы в роли Data Engineer от 3 лет;
• Отличное знание Python, включая структуры данных, итераторы, декораторы, параллельное и асинхронное программирование, объектно-ориентированное и функциональное программирование;
• Отличное знание SQL, включая создание сложных запросов с использованием табличных выражений и оконных функций;
• Опыт разработки сервисов пакетной и потоковой обработки данных для RAG;
• Опыт реализации ETL-сервисов на Python под управлением Apache Airflow или Argo Workflows;
• Опыт работы с библиотекой Pyspark, отладки и анализа эффективности приложений через Spark History Server;
• Опыт асинхронного взаимодействия с веб-сервисами по REST API с использованием aiohttp, httpx;
• Знание реляционных баз данных Oracle и PostgreSQL;
• Понимание особенностей обработки и хранения аналитических данных, отличий колоночных баз данных от строковых, знание форматов parquet и orc;
• Опыт использования хранилищ больших данных Hadoop, HDFS, S3 и форматов таблиц Hive, Iceberg.

• Оформление по ТК РФ;
• ДМС со стоматологией;
• Частичная компенсация затрат на спорт;
• Оплачиваемые больничные и компенсация расходов на коворкинг;
• Прозрачная система Performance Review;
• Доплаты за менторство, ведение обучающих курсов и ревью проектов;
• Корпоративное обучение, участие в митапах и конференциях.