аналитик-разработчик в группу новых поисков

Яндекс развивает платформу, которая позволит запускать и улучшать разные поисковые сервисы с помощью одного промпта. Аналитическая команда платформы создаёт универсальный конвейер для оценки качества ранжирования, датасетов и разметки.

• Придумывать, как собирать из логов сервисов честные и воспроизводимые наборы данных для оценки
• Определять критерии репрезентативности датасетов и проверять, позволяют ли они различать хорошее и плохое ранжирование
• Определять, как переводить продуктовые требования в разметку и какие внешние знания нужны агентам-разметчикам
• Определять, как контролировать качество семантического слоя и обеспечивать устойчивость разметки к внешним факторам
• Определять признаки для приёмки нового ранжирования и офлайн-метрики, предсказывающие онлайн-эффект
• Строить иерархию метрик для незнакомых сервисов
• Отличать настоящее улучшение от артефакта разметки
• Извлекать идеи для будущих улучшений из реальных логов

• Уверенно писать на Python и SQL
• Разбираться в алгоритмах и структурах данных
• Знать математическую статистику и уметь проверять гипотезы
• Понимать важность анализа данных
• Иметь опыт работы с поиском или рекомендациями
• Интересоваться ML-аналитикой
• Знать, как работать с кодинг-агентами
• Уметь общаться, ясно излагать мысли, учитывать мнение коллег и убеждать

• Условий в вакансии нет