аналитик данных еком-агентов

Еком-агенты помогают пользователям выбирать товары и принимать решения о покупке прямо в чат-интерфейсе: уточняют потребности, ищут подходящие варианты, сравнивают характеристики и цены, находят лучшие предложения и сопровождают пользователя на пути от первого запроса до покупки. Команда развивает еком-сценарии на базе LLM и VLM, использует классическое ML и инфраструктуру Поиска, а также запускает новых агентов.

• Искать и реализовывать точки роста продукта;
• Формулировать гипотезы, находить решения, проводить полный цикл экспериментов и доводить успешные изменения до продакшена;
• Проектировать и поддерживать автоматизированные пайплайны оценки качества еком-агентов;
• Создавать golden datasets для ключевых еком-сценариев;
• Формулировать критерии качества и инструкции для разметки;
• Строить пайплайны на основе LLM-as-a-judge;
• Автоматизировать разметку с помощью LLM;
• Организовывать и анализировать асессорскую разметку;
• Исследовать связь между офлайн-оценками, поведением пользователей и онлайн-метриками;
• Следить за полезностью, точностью и достоверностью ответов агентов;
• Собирать датасеты и анализировать логи пользовательских сценариев и события разных сервисов;
• Решать проблемы качества данных и создавать воспроизводимые пайплайны обработки;
• Применять классические ML-модели, LLM, VLM и другие методы;
• Поддерживать и развивать систему данных для аналитики еком-агентов;
• Развивать витрины, метрики, документацию и инструменты для продуктовых исследований и экспериментов;
• Развивать семантический контекст, метаданные, lineage, документацию и паттерны получения данных для AI-систем.

• От 3 лет опыта;
• Самостоятельно находить точки роста и улучшать продуктовые метрики;
• Уверенно владеть Python и SQL;
• Работать с большими объёмами событийных данных и логами разных сервисов;
• Работать с пайплайнами обработки данных и инструментами оркестрации, например Airflow;
• Находить и исправлять проблемы качества данных;
• Понимать принципы работы LLM-систем, AI-агентов и классического ML;
• Уверенно работать с AI-инструментами разработки и агентскими рабочими процессами программирования;
• Самостоятельно вести задачи от обнаружения проблемы и исследования данных до эксперимента, реализации и выкатки в продакшен;
• Быть автономным и проактивным, отвечать за результат;
• Будет плюсом опыт работы с A/B-экспериментами, LLM-as-a-judge, разметкой данных или оценкой качества генеративных моделей.

• Расширенная медицинская страховка с первого месяца;
• Оплачиваемый больничный — 30 дней в году;
• Доступ к передовым моделям для ежедневной работы;
• Компенсация от 100М токенов для экспериментов и оптимизации рутины;
• Возможность проходить чекапы и регулярно вакцинироваться по ДМС;
• Покрытие коррекции зрения и хирургического лечения косоглазия после года работы;
• Оплата ведения беременности и родов для сотрудниц и жён сотрудников, которые работают более двух лет;
• Страховка для родственников по системе 80/20.