аналитик эффективности ML

Описания нет

• Формулировать для ML-команды продуктовые задачи и метрики успеха моделей
• Развивать систему A/B-тестирования доработок моделей в разных модулях СуперАппа
• Развивать мониторинг моделей в продакшене: отслеживать качество выдачи, долю трафика под моделью, сдвиг микса показов, деградацию по сегментам и расхождение офлайн-метрик с продакшеном
• Разбирать причины просадки: данные, признаки, смена трафика, конфликт моделей на одном экране или сезонность
• Вести очередь задач для ML: определять, что приносит деньги и улучшает путь клиента, что остаётся исследованием, а что пора отключить
• Фиксировать эффект каждой раскатки в общей картине распределения показов, чтобы улучшение одного плейсмента не ухудшало соседний сценарий без явного решения
• Обеспечивать единый контур тестирования для раскаток и отслеживать эффект моделей на пути клиента и экономике продукта

• Опыт продуктовой аналитики от 4 лет
• Опыт аналитики ML от 2 лет: ранжирование, рекомендации, таргетинг или распределение трафика
• Умение формулировать задачи, определять метрики успеха и самостоятельно принимать решение о раскатке
• Практический опыт A/B-тестов в продакшене: дизайн, мощность, пересечения, новизна и долговременный эффект
• Знание SQL и Python на уровне самостоятельной проверки витрины модели и дашборда мониторинга
• Понимание различий между офлайн-метриками модели и продуктовыми метриками: CTR, конверсия шага CJM, доходность показа
• Будет плюсом: опыт в супераппе или маркетплейсе, построение мониторинга моделей, умение сравнивать модель с простым правилом и оставлять правило при равном эффекте на CJM

• Условий в вакансии нет