дата аналитик

Команда GigaSearch создаёт поисковый сервис, который отвечает на запросы пользователей на естественном языке. Миссия — предоставить GigaChat доступ к актуальной информации, чтобы пользователи получали точные ответы на любые вопросы, включая свежие новости и события.

• Проектировать стратегии семплирования для потоковой оценки качества (стратифицированное, reservoir sampling, приоритизация по сегментам запросов);
• Разрабатывать и поддерживать метрики качества поиска (NDCG, MRR, Precision@K, pFound) и генерации (Faithfulness, Answer Relevance, Context Recall);
• Строить автоматические пайплайны LLM-оценки: дизайн судейских промптов, валидация надёжности судьи на контрольных выборках;
• Организовывать краудсорсинговую разметку: писать инструкции для асессоров, настраивать контроль качества, рассчитывать cohen's kappa / fleiss' kappa;
• Самостоятельно реализовывать пайплайны оценки (от SQL-запроса до дашборда) без зависимости от разработчиков;
• Участвовать в дизайне и анализе A/B тестов: рассчитывать мощность, проверять стат. значимость, формулировать выводы;
• Генерировать гипотезы о причинах деградации качества и ставить задачи смежным командам.

• Опыт в аналитике данных или оценке качества ML/NLP систем от трех лет;
• Уверенное знание статистики: доверительные интервалы, гипотезы, A/B тесты, метрики согласованности разметчиков;
• Практический опыт проектирования схем семплирования для потоков данных;
• Знание метрик Information Retrieval и понимание их применимости в разных задачах;
• Python на уровне уверенного аналитика: Pandas, NumPy, SciPy, работа с API LLM;
• Продвинутый SQL (ClickHouse / PostgreSQL): оконные функции, сложные агрегации, оптимизация;
• Умение самостоятельно закрывать задачу от идеи до результата;
• Будет плюсом опыт работы с RAG-системами и понимание их специфики (чанкование, эмбеддинги, ретривер vs. генератор), практика с фреймворками автоматической оценки (Ragas, DeepEval, TruLens, MLflow Evaluate), опыт работы с краудсорсинговыми платформами (Толока, Label Studio и аналоги), знакомство с OpenSearch / ElasticSearch как поисковым инструментом, опыт построения дашбордов и систем мониторинга (Superset, Grafana, DataLens), знакомство с Airflow для оркестрации аналитических пайплайнов.

• Комфортный современный офис рядом с м. Кутузовская;
• Ежегодный пересмотр зарплаты, годовая премия;
• Корпоративный спортзал и зоны отдыха;
• Система обучения для профессионального и карьерного развития;
• Расширенный полис ДМС с первого дня работы и страхование для семьи;
• Программа ипотеки для сотрудников;
• Бесплатная подписка СберПрайм+, скидки на продукты компаний-партнеров;
• Вознаграждение за рекомендацию друзей в команду Сбера.