аналитик данных поискового ранжирования

Команда работает с поисковыми сигналами, которые влияют на качество ранжирования. Её миссия — автоматизировать ручную разметку, внедрить LLM в процессы оценки и ускорить выпуск моделей без потери качества. Команда проектирует статистически значимые системы оценки и переходит от офлайн-экспериментов к онлайн-тестам.

• Разрабатывать подходы к замещению труда разметчиков AI-агентами и LLM;
• Создавать бенчмарки и методики валидации качества сигналов;
• Придумывать способы объективной оценки качества LLM в роли судьи;
• Выявлять системные ошибки LLM и калибровать её выводы для задач ранжирования;
• Проектировать дизайн офлайн- и онлайн-экспериментов;
• Строить срезы данных и находить скрытые проблемы, влияющие на пользовательский опыт;
• Определять срезы и аспекты ранжирования, в которых возникают проблемы;
• Предлагать инженерные способы исправления проблем на основе данных эксперимента.

• Иметь опыт на стыке аналитики и разработки;
• Уверенно работать с SQL и Python, включая pandas и NumPy;
• Уметь строить сложные модели оценки, офлайн-метрики и статистические выводы;
• Понимать принципы машинного обучения;
• Знать метрики качества ML-моделей: precision, recall, ndcg;
• Иметь опыт работы с LLM или понимать специфику промпт-инжиниринга и оценки качества генерации;
• Знать, как обеспечивать статистическую значимость выводов;
• Иметь опыт A/B-тестирования или офлайн-симуляций;
• Интересоваться методологической работой и уметь защищать свой подход перед стейкхолдерами;
• Обладать критическим мышлением и уметь декомпозировать сложные проблемы поискового ранжирования на измеримые компоненты.

• Расширенная медицинская страховка начинает работать с первого месяца;
• 30 Дней больничного в году оплачиваются полностью;
• ДМС покрывает чекапы, вакцинацию, стоматологию, лечение критических заболеваний и помощь за рубежом;
• После года работы ДМС покрывает коррекцию зрения и хирургическое лечение косоглазия;
• Оплачивается ведение беременности и роды для сотрудниц и жён сотрудников, которые работают более двух лет;
• Для детей и супругов доступна страховка по системе 80/20: 80% стоимости ДМС оплачивает компания.