Аналитик поисковых сервисов

Привет! Меня зовут Кирилл, я руковожу группой аналитики качества ответов в Поиске. Наша команда занимается разработкой и анализом сигнала, который помогает оценивать качество ответов Поиска, в том числе генеративных, привносить в него новые полезные свойства, задавать вектор его развития и непосредственно влиять на работу этого сервиса, которым ежедневно пользуются миллионы людей. У нас сильная, целеустремлённая и дружная команда. Будем рады новым коллегам — присоединяйтесь!

• Разработка критериев внедрения ML-разметки. Вы будете формулировать количественные и качественные критерии, по которым мы будем определять возможность перехода от ручной разметки к моделям в действующем проекте. В тех случаях, когда полностью отказаться от краудсорсинга не получится, нужно будет разрабатывать принципы и условия частичного перехода на модели.
• Внедрение LLM-разметки в пайплайны для обучения продакшен-моделей. Вам предстоит не только анализировать ML-разметку качества ответов, но и внедрять эту разметку в процессы обучения продакшен-моделей Поиска и Алисы в Поиске — для улучшения качества итогового продукта.
• Улучшение качества разметки ответов Поиска с помощью ML-разметки. Нужно будет искать точки роста в разметке и искать способы улучшить её, например за счёт более продвинутого использования внешней информации (RAG) или привлечения экспертов для разбора сложных случаев.

• Обладаете аналитическим складом ума и опытом работы с данными
• Хорошо знаете Python и SQL для анализа и обработки данных
• Понимаете принципы работы современных языковых моделей (LLM)
• Умеете оценивать качество моделей машинного обучения и интерпретировать метрики
• Способны ясно формулировать требования к инструментам и системам
• Можете общаться в команде, ясно излагать мысли, понимать и убеждать коллег
• Будет плюсом: Имеете опыт работы с крауд-платформами: Яндекс Заданиями, Толокой, MTurk или аналогами; Участвовали в разработке или настройке языковых моделей; Знакомы с промпт-инжинирингом для генеративных моделей; Работали в проектах по оптимизации процессов или сокращению расходов; Понимаете специфику разметки данных для поисковых систем

• Условий в вакансии нет