product analyst

Продуктовая medtech-компания создаёт онлайн-клинику и внедряет AI-решения в ключевые части продукта.

• Изучать поведение AI-агентов, систем автоматизации и LLM-процессов в продакшене;
• Разбирать логи, диалоги, сырые ответы системы и операционные данные для поиска закономерностей и инсайтов;
• Создавать методики оценки и аналитические фреймворки для замера качества и стабильности AI-систем;
• Настраивать мониторинг и дашборды для контроля производительности AI;
• Находить продуктовые и операционные риски, возникающие из-за автоматизации;
• Взаимодействовать с командами Product, Engineering, QA и Operations.

• Опыт работы в продуктовой аналитике от 3 лет, желательно с AI, ML или сложными production-системами;
• Уверенное владение Python для глубокого анализа и работы с большими объёмами текстовых данных;
• Сильные навыки SQL;
• Понимание слабых мест LLM: галлюцинации, сложности с оценкой, чувствительность к промптам, компромиссы между моделями и сценарии сбоев;
• Опыт построения мониторинга, аналитических фреймворков или операционных дашбордов для production;
• Свободное владение русским языком;
• Английский язык уровня B2;
• Будет плюсом опыт с conversational AI или AI-агентами, опыт оценки выходов LLM или качества разметки, знакомство с метриками качества AI и подходами к оценке, опыт с инфраструктурой Langchain, опыт с ML data pipelines или генерацией синтетических данных, понимание обнаружения аномалий.

• Зарплата до 5500$;
• Страховка после испытательного срока;
• Компенсация спорта;
• 19 Рабочих дней отпуска и 3 дополнительных велнес-дня в год;
• Оплачиваемый больничный (первые 5 рабочих дней).