аналитик данных для еком-агентов

Еком-агенты помогают пользователям выбирать товары и принимать решения о покупке прямо в чат-интерфейсе: уточняют потребности, ищут подходящие варианты, сравнивают характеристики и цены, находят лучшие предложения и сопровождают пользователя от первого запроса до покупки. Команда использует LLM, VLM, классическое ML и еком-инфраструктуру Поиска, развивает существующие сценарии и запускает новых агентов.

• Искать и реализовывать точки роста продукта;
• Разбираться, где и почему пользовательский сценарий работает недостаточно хорошо;
• Формулировать гипотезы, находить решения, проводить полный цикл экспериментов и доводить успешные изменения до продакшена;
• Проектировать и поддерживать автоматизированные пайплайны оценки качества агентов;
• Создавать golden datasets для ключевых еком-сценариев;
• Формулировать критерии качества и инструкции для разметки;
• Строить пайплайны на основе LLM-as-a-judge;
• Автоматизировать разметку с помощью LLM;
• Организовывать и анализировать асессорскую разметку;
• Исследовать связь между офлайн-оценками, поведением пользователей и онлайн-метриками;
• Следить за полезностью, точностью и надёжностью ответов агентов;
• Собирать датасеты и разбираться в логах пользовательских сценариев и событиях разных сервисов;
• Решать проблемы качества данных и создавать воспроизводимые пайплайны обработки;
• Использовать классические ML-модели, LLM, VLM и другие методы для достижения измеримого результата;
• Поддерживать и развивать систему данных для аналитики еком-агентов;
• Развивать витрины, метрики, документацию и инструменты для продуктовых исследований и экспериментов;
• Развивать семантический контекст, метаданные, lineage, документацию и паттерны получения данных для AI-систем.

• От 3 лет опыта;
• Самостоятельно находили точки роста и улучшали продуктовые метрики;
• Уверенно владеете Python и SQL;
• Работали с большими объёмами событийных данных и логами разных сервисов;
• Работали с пайплайнами обработки данных и инструментами оркестрации, например Airflow;
• Умеете находить и исправлять проблемы качества данных;
• Понимаете принципы работы LLM-систем, AI-агентов и классического ML;
• Комфортно работаете с инструментами разработки с поддержкой AI и используете агентские рабочие процессы программирования;
• Способны самостоятельно вести задачу от обнаружения проблемы и исследования данных до эксперимента, реализации и выкладки в продакшен;
• Автономны, проактивны и готовы отвечать за результат;
• Будет плюсом опыт с A/B-экспериментами, LLM-as-a-judge, разметкой данных или оценкой качества генеративных моделей.

• Расширенная медицинская страховка с первого месяца работы;
• Оплачиваемый больничный — 30 дней в году;
• ДМС покрывает чекапы, вакцинацию, стоматологию, экстренную помощь за рубежом и другие медицинские услуги;
• После года работы ДМС покрывает коррекцию зрения и хирургическое лечение косоглазия;
• Оплачиваются ведение беременности и роды для сотрудниц и жён сотрудников, которые работают в компании более двух лет;
• ДМС для детей и супругов по системе 80/20.