дата инженер

Команда развивает знания о корпоративном клиенте и создаёт мультиагентную систему иерархического графа причинно-следственных связей в бизнесе клиента.

• Проектировать и разрабатывать ETL/ELT-пайплайны для обработки и трансформации табличных и событийных данных компании;
• Интегрировать и загружать данные в векторные, графовые и документные базы данных для поддержки RAG-систем и ИИ-агентов;
• Проектировать алгоритмы трансформации данных;
• Рассчитывать и поддерживать аналитические витрины;
• Обеспечивать качественными данными процессы создания ML-моделей, RAG и ИИ-агентов;
• Организовывать регулярную поставку данных в лабораторный контур для исследований и обучения моделей;
• Выводить в промышленный контур ETL-пайплайны, витрины данных и компоненты для ИИ-сервисов;
• Профилировать и анализировать сырые данные;
• Оптимизировать вычислительные процессы, включая настройку очередности расчётов и тюнинг запросов;
• Мониторить работу витрин и пайплайнов;
• Анализировать логи и метрики;
• Оперативно выявлять и решать проблемы в промышленной среде;
• Взаимодействовать с командой сопровождения Hadoop/Spark-кластера и разработчиками основных сервисов для повышения надёжности инфраструктуры;
• Настраивать процедуры регулярного контроля качества данных;
• Автоматизировать поставки.

• Опыт работы в роли инженера данных от 2 лет;
• Уверенное знание Python, включая объектно-ориентированное программирование, структуры данных и алгоритмы;
• Знание библиотек для анализа и обработки данных;
• Отличное знание SQL и навыки оптимизации запросов;
• Понимание процессов ETL/ELT;
• Опыт построения пайплайнов для табличных и событийных данных;
• Опыт работы со стеком больших данных: Hadoop, Apache Spark, PySpark, Spark и Scala;
• Глубокое понимание структур данных и форматов хранения Parquet, JSON, CSV, YAML;
• Знание паттернов моделирования хранилищ данных;
• Понимание концепций OLTP, OLAP, ACID и теоремы CAP;
• Понимание специфики работы с векторными, графовыми и документными СУБД;
• Опыт вывода решений в промышленный контур;
• Уверенное владение Git;
• Понимание принципов CI/CD и практик DevOps;
• Опыт работы с оркестраторами Airflow и системами мониторинга;
• Понимание основ машинного обучения;
• Базовое знакомство с LangChain и LangGraph для понимания потребностей команды ИИ;
• Опыт подготовки и согласования технической документации в Confluence и Jira;
• Будет плюсом опыт интеграции с векторными, графовыми и документными СУБД.

• Работа в современном офисе на улице Вавилова, 19 в Москве;
• Ежегодный пересмотр зарплаты;
• Годовая премия;
• Корпоративный спортзал и зоны отдыха;
• Обучение для профессионального и карьерного развития;
• Расширенный полис ДМС с первого дня работы;
• Страхование для семьи;
• Программа ипотеки для сотрудников;
• Бесплатная подписка СберПрайм+;
• Скидки на продукты компаний-партнёров;
• Вознаграждение за рекомендацию друзей в команду Сбера.