Дата аналитик

Команда развивает качество ключевой LLM-технологии компании — Alice AI LLM. Работа направлена на повышение интеллектуальности, полезности и надёжности моделей, создание новых метрик, проектирование процессов сбора и валидации данных, а также глубокий анализ поведения моделей для вывода их на новые уровни качества.

• Формировать аналитическую стратегию для развития LLM-навыков модели;
• Строить команду аналитиков, заниматься менторством и планировать ресурсы;
• Разрабатывать подходы к оценке качества LLM в разных продуктах компании в экспертных доменах;
• Разрабатывать комплексные метрики, отражающие реальное качество моделей;
• Создавать методологии оценки в экспертных срезах: формировать критерии, подбирать авторитетные источники, описывать идеальные ответы;
• Сравнивать собственные модели с SOTA-подходами на рынке;
• Автоматизировать оценки с помощью LLM и гибридных методов;
• Запускать сложные процессы разметки данных для fine-tuning и RLHF/RLAIF;
• Работать с узкими экспертными группами и строить пайплайны с участием доменных специалистов;
• Контролировать качество данных и готовить датасеты для исследовательских задач;
• Отслеживать и анализировать новые исследования, бенчмарки и методологии;
• Проводить эксперименты с synthetic data, LLM feedback, active learning, expert-in-the-loop и внедрять исследовательские находки в производственные процессы.

• Опыт управления командой аналитиков не менее трёх лет;
• Умение работать с данными и извлекать из них практический результат;
• Знание математической статистики и теории вероятностей;
• Умение писать код на Python и знание алгоритмов;
• Самостоятельность и готовность браться за новые задачи, для которых нет готового решения;
• Интерес к развитию LLM и желание глубоко погрузиться в тему.

• Расширенная медицинская страховка с первого месяца работы, включающая плановую и неотложную помощь, лечение критических заболеваний, стоматологию и чекапы;
• Оплата 30 дней больничного в году в полном объёме;
• Коррекция зрения и хирургическое лечение косоглазия по ДМС после года работы;
• Ведение беременности и роды для сотрудниц и жён сотрудников со стажем от двух лет;
• Страховка для родственников по системе 80/20;
• Терапевты в крупных офисах компании.