Дата аналитик

Команда разрабатывает AI Бизнес-помощника внутри интернет-банка для предпринимателей. Помощник автоматизирует рутинные банковские операции, подбирает подходящие пользователю сервисы и подсказывает направления развития бизнеса на основе предыдущих результатов. Система работает через чат с использованием LLM, RAG, MCP и прикладных сервисов.

• Разрабатывать и внедрять кастомные метрики оценки ответов агентов: точность, полноту и непротиворечивость, включая LLM-as-a-judge;
• Проводить структурный анализ ошибок, выявлять паттерны галлюцинаций, сбоев логики и снижения качества;
• Планировать и проводить A/B-эксперименты, сравнивать версии промптов, архитектур агентов и моделей, интерпретировать результаты;
• Генерировать синтетические датасеты: диалоги, запросы и эталонные ответы для тестирования и улучшения агентов;
• Искать слабые места в работе агентов, вырабатывать и обосновывать решения по их устранению;
• Формализовывать требования к качеству и передавать метрики в команду глобального мониторинга платформы;
• Готовить аналитические отчёты и презентовать команде выводы и конкретные рекомендации;
• Обрабатывать разовые запросы, оперативно извлекать данные, проверять гипотезы и разбирать инциденты.

• Знать математическую статистику, теорию вероятностей и дизайн экспериментов, включая A/B-тесты и статистическую значимость;
• Иметь опыт работы аналитиком данных от 3 лет;
• Уметь писать сложные SQL-запросы;
• Уметь работать с Python для анализа и визуализации данных;
• Владеть pandas, numpy, scipy и matplotlib;
• Иметь опыт проведения исследований, проверки гипотез, оценки результатов и формулирования практических выводов;
• Понимать устройство мультиагентных систем или сложных LLM-конвейеров, включая оркестрацию, цепочки вызовов и RAG.

• Гибридный формат: 2 дня в неделю можно работать из дома;
• Ежегодный пересмотр зарплаты;
• Годовая премия;
• Корпоративный спортзал и зоны отдыха;
• Обучение для профессионального и карьерного развития;
• Расширенный полис ДМС с первого дня работы;
• Страхование для семьи;
• Ипотечная программа для сотрудников;
• Бесплатная подписка СберПрайм+;
• Скидки на продукты компаний-партнёров;
• Вознаграждение за рекомендацию друзей в команду Сбера.