дата инженер для ИИ-агентов

Команда развивает знания о корпоративном клиенте. Новый стратегический проект связан с мультиагентной системой иерархического графа причинно-следственных связей в бизнесе клиента.

• Проектировать и разрабатывать ETL/ELT-пайплайны для обработки и трансформации табличных и событийных данных компании;
• Интегрировать и загружать данные в векторные, графовые и документные базы данных, в том числе для поддержки RAG-систем и ИИ-агентов;
• Проектировать алгоритмы трансформации данных, рассчитывать и поддерживать аналитические витрины;
• Обеспечивать качественными данными процессы создания ML-моделей, RAG и ИИ-агентов;
• Организовывать регулярную поставку данных в лабораторный контур для ad-hoc-исследований и обучения моделей;
• Выводить в промышленный контур ETL-пайплайны, витрины данных и компоненты для ИИ-сервисов;
• Профилировать и анализировать сырые данные, оптимизировать вычислительные процессы, настраивать очередность расчётов и запросы;
• Мониторить работу витрин и пайплайнов, анализировать логи и метрики, оперативно выявлять и решать проблемы в промышленной среде;
• Взаимодействовать с командой сопровождения Hadoop/Spark-кластера и разработчиками Core-сервисов для повышения надёжности инфраструктуры;
• Настраивать процедуры регулярного контроля качества данных и автоматизировать поставки.

• Опыт работы в роли Data Engineer от 2 лет;
• Уверенное знание Python, включая ООП, структуры данных и алгоритмы;
• Отличное знание SQL и навыки оптимизации запросов;
• Понимание процессов ETL/ELT и опыт построения пайплайнов для табличных и событийных данных;
• Опыт работы со стеком Big Data: Hadoop, Apache Spark, PySpark, Spark и Scala;
• Глубокое понимание структур данных и форматов хранения Parquet, JSON, CSV, YAML;
• Знание паттернов моделирования DWH и понимание концепций OLTP, OLAP, ACID и теоремы CAP;
• Понимание специфики работы с векторными, графовыми и документными СУБД;
• Опыт вывода решений в промышленный контур;
• Уверенное владение Git, понимание принципов CI/CD и DevOps-практик;
• Опыт работы с оркестраторами Airflow и системами мониторинга;
• Понимание основ машинного обучения;
• Базовое понимание LangChain и LangGraph для работы с потребностями ИИ-команды;
• Опыт подготовки и согласования технической документации в Confluence и Jira;
• Будет плюсом опыт интеграции с векторными, графовыми и документными СУБД.

• Ежегодный пересмотр зарплаты и годовая премия;
• Корпоративный спортзал и зоны отдыха;
• Система обучения для профессионального и карьерного развития;
• Расширенный полис ДМС с первого дня работы и страхование для семьи;
• Программа ипотеки для сотрудников;
• Подписка Прайм с возможностью совместного использования на трёх близких;
• Вознаграждение за рекомендацию друзей в команду Сбер.