аналитик данных поиска с Алисой AI

Команда агентного ранжирования отвечает за качество ответов Алисы, которые пользователь видит при вопросах в строке поиска Яндекса. Она развивает выдачу точных ответов вместо списка ссылок, а также Yandex Search API — B2B-продукт, который предоставляет внешним заказчикам документы с релевантными вырезками из текста и поддерживает метрики их качества.

• Придумывать и проверять способы улучшения ранжирования;
• Реализовывать сложные эксперименты по улучшению ранжирования — от подбора промптов до создания бенчмарков и замеров качества;
• Подбирать и тестировать сигналы для смешивания в новую ранжирующую функцию;
• Описывать требования к сигналам;
• Создавать бенчмарки для оценки сигналов;
• Добиваться роста итогового показателя качества;
• Доводить идеи и гипотезы до реализации, оценки результата и выкладки в продакшен;
• Развивать систему метрик качества инфоконтекстов и Yandex Search API;
• Проводить A/B-тесты и эксперименты;
• Анализировать результаты экспериментов;
• Принимать решения о дальнейшем развитии ранжирования на основе экспериментов.

• Знать теорию вероятностей и математическую статистику;
• Понимать устройство экспериментов;
• Уметь формулировать и проверять гипотезы;
• Уметь интерпретировать результаты A/B-тестов и бенчмарков;
• Уверенно работать с Python или SQL;
• Уметь самостоятельно получать данные, проводить анализ, выполнять расчёты и делать выводы;
• Уметь решать нестандартные задачи без готового алгоритма или очевидного решения;
• Уметь превращать гипотезу в работающий эксперимент;
• Уметь определять метрики и бенчмарки для проверки идей;
• Интересоваться ML и генеративными моделями;
• Понимать базовые принципы работы современных ML-систем;
• Хотеть разбираться в оценке и улучшении качества ML-систем;
• Будет плюсом опыт работы с большими объёмами данных.

• Расширенная медицинская страховка с первого месяца работы;
• Оплачиваемые 30 дней больничного в году с сохранением полной зарплаты;
• ДМС включает плановую и неотложную помощь за рубежом, страхование от несчастных случаев, лечение критических заболеваний, стоматологию, чекапы и вакцинацию;
• Онлайн-консультации психологов и психотерапия в офисах с соответствующим кабинетом;
• После года работы ДМС покрывает коррекцию зрения и хирургическое лечение косоглазия;
• Оплачиваемое ведение беременности и роды для сотрудниц и жён сотрудников, работающих в компании более двух лет;
• ДМС для детей и супругов по системе 80/20: компания оплачивает 80% стоимости, сотрудник — 20%.