Data scientist

Мы развиваем внутренние цифровые продукты, которые помогают сотрудникам получать информацию, решать рабочие задачи и эффективнее взаимодействовать с сервисами банка. В числе наших продуктов — Раф, диалоговый агент-ассистент сотрудника, внутренний поиск и другие пользовательские сценарии. Все они создают данные, на основе которых можно измерять качество продуктов, лучше понимать поведение сотрудников и находить новые задачи, которые Insider может помогать решать.

• Развивать систему оценки качества продуктов Insider (диалогового агента, поиска и других пользовательских сценариев).
• Определять измеримые критерии качества и переводить продуктовые ожидания в метрики, тестовые наборы и процедуры оценки.
• Организовывать сбор и подготовку данных из продуктовых событий, поисковых запросов, диалогов, действий агента, пользовательской обратной связи и экспертной разметки.
• Строить offline- и online-пайплайны расчета метрик, обеспечивать их воспроизводимость и сопоставимость между версиями продукта.
• Оценивать качество ответов и действий AI-агента (корректность, релевантность, выбор инструментов и успешность выполнения пользовательской задачи).
• Исследовать качество поиска (релевантность результатов, успешность поисковых сессий, переформулировки запросов, запросы без результатов и другие сигналы).
• Разрабатывать модели классификации, кластеризации, ранжирования, поиска аномалий и прогнозирования пользовательского поведения.
• Анализировать последовательности пользовательских действий, выделять типовые сценарии и сегменты пользователей.
• Находить неудовлетворенные потребности и новые jobs-to-be-done, которые могут стать основой для развития продуктов Insider.
• Разрабатывать автоматические модели оценки качества и классификации ошибок.
• Формировать эталонные и диагностические выборки, проектировать разметку и контролировать качество данных.
• Проводить анализ ошибок, находить причины изменения метрик и определять сценарии, требующие улучшения.
• Оценивать продуктовые и модельные изменения с помощью экспериментов, статистических методов и A/B-тестов.
• Создавать мониторинг качества после запуска (отслеживать деградации, изменения пользовательского поведения и появление новых классов ошибок).
• Интегрировать модели, метрики и пайплайны обработки данных в продуктовую и инженерную инфраструктуру команды.
• Вместе с Product Owner, аналитиками и инженерами формулировать гипотезы, определять критерии успеха и интерпретировать результаты исследований.

• Коммерческий опыт работы ML Engineer или Data Scientist над прикладными ML-задачами.
• Уверенное знание классического машинного обучения (классификация, регрессия, кластеризация, ранжирование, методы отбора признаков и оценка моделей).
• Понимание статистики, дизайна экспериментов, доверительных интервалов и принципов A/B-тестирования.
• Опыт разработки метрик, тестовых наборов и пайплайнов оценки качества ML-систем.
• Опыт анализа продуктовых событий, пользовательских сценариев, логов или поискового поведения.
• Умение проводить анализ ошибок, выявлять смещения в данных и оценивать качество моделей по отдельным сегментам.
• Уверенное владение Python и основными библиотеками для анализа данных и машинного обучения.
• Знание SQL и опыт работы с большими наборами данных.
• Умение писать поддерживаемый и воспроизводимый код и покрывать критичную логику тестами.
• Опыт интеграции моделей или ML-пайплайнов в продуктовую среду.
• Умение понятно объяснять выбор метрик, ограничения оценки и результаты экспериментов инженерам и продуктовым партнерам.
• Интерес к исследованию пользовательского поведения и поиску новых продуктовых возможностей на основе данных.
• Будет плюсом: Опыт работы с поисковыми или рекомендательными системами, ранжированием, OpenSearch, векторным или гибридным поиском; Опыт оценки диалоговых систем, LLM-приложений, RAG или AI-агентов; Понимание специфики оценки агентных систем (качество отдельных действий, выбор инструментов, траектория выполнения и итоговый результат); Опыт построения автоматических оценщиков, включая ML-классификаторы и LLM-as-a-judge, а также проверки их согласованности с экспертной оценкой; Опыт построения моделей пользовательского поведения, сегментации, анализа последовательностей действий или выявления пользовательских намерений; Опыт организации экспертной разметки и оценки согласованности разметчиков; Опыт работы с MLOps (версионирование данных и моделей, воспроизводимые эксперименты, развертывание и мониторинг); Базовое понимание production-разработки, API, контейнеризации и облачной инфраструктуры

• Возможность работать из офиса или удаленно.
• ДМС со стоматологией, массажем, телемедициной, ежегодными чекапами, которое работает как в Москве, так и в регионах.
• Три оплачиваемых отгула в год.
• Страхование жизни в путешествиях, от несчастных случаев, болезней и критических заболеваний.
• Бесплатные индивидуальные консультации психологов, юристов, экспертов по личным финансам и консультантов по здоровому образу жизни.
• Поддержку опытного наставника, обучающие курсы для комфортной адаптации, помощь в развитии экспертизы со стороны профессиональных сообществ банка.
• Собственную ИТ-академию, участие в конференциях.
• Льготные условия по банковским продуктам и услугам.
• Скидки от партнеров банка в приложении PrimeZone в сферах здоровья, развлечений, творчества и интернет-покупок.