Инженер данных

Команда занимается поиском и развитием знаний о корпоративном клиенте, а также разработкой мультиагентной системы иерархического графа причинно-следственных связей в бизнесе клиента.

• Проектировать и разрабатывать ETL/ELT-пайплайны для обработки и трансформации табличных и событийных данных;
• Интегрировать и загружать данные в векторные, графовые и документные базы данных;
• Проектировать алгоритмы трансформации данных, рассчитывать и поддерживать аналитические витрины;
• Обеспечивать качественными данными процессы создания ML-моделей, RAG и ИИ-агентов;
• Организовывать регулярную поставку данных в лабораторный контур для исследований и обучения моделей;
• Выводить в промышленный контур ETL-пайплайны, витрины данных и компоненты для ИИ-сервисов;
• Профилировать и анализировать сырые данные, оптимизировать вычислительные процессы;
• Мониторить работу витрин и пайплайнов, анализировать логи и метрики, решать проблемы в промышленной среде;
• Взаимодействовать с командой сопровождения Hadoop/Spark и разработчиками Core-сервисов для повышения надежности инфраструктуры;
• Настраивать процедуры контроля качества данных и автоматизировать поставки.

• Опыт работы в роли Data Engineer от 2 лет;
• Уверенное знание Python (ООП, структуры данных, алгоритмы) и библиотек для обработки данных;
• Отличное знание SQL и навыки оптимизации запросов;
• Понимание процессов ETL/ELT, опыт построения пайплайнов для табличных и событийных данных;
• Опыт работы с Big Data стеком: Hadoop, Apache Spark (PySpark, Spark+Scala);
• Понимание структур данных, форматов хранения (Parquet, JSON, CSV, YAML);
• Знание паттернов моделирования DWH, концепций OLTP, OLAP, ACID, теоремы CAP;
• Понимание специфики работы с векторными, графовыми и документными СУБД;
• Опыт вывода решений в промышленный контур;
• Уверенное владение Git, понимание принципов CI/CD и DevOps-практик;
• Опыт работы с оркестраторами (Airflow) и системами мониторинга;
• Понимание основ машинного обучения, опыт работы с LangChain/LangGraph, опыт подготовки технической документации (Confluence, Jira);
• Будет плюсом опыт интеграции векторных, графовых и документных СУБД.

• Ежегодный пересмотр зарплаты, годовая премия;
• Корпоративный спортзал и зоны отдыха;
• Система обучения для профессионального и карьерного развития;
• Расширенный полис ДМС с первого дня работы и страхование для семьи;
• Программа ипотеки для сотрудников;
• Бесплатная подписка СберПрайм+, скидки на продукты компаний-партнеров;
• Вознаграждение за рекомендацию друзей в команду.