ml разработчик LLM-агентов

Команда строит и развивает LLM-агентов для поддержки пользователей и внутренних бизнес-процессов. Она создаёт решения под ключ — от прототипов и экспериментов до промышленных сервисов с мониторингом качества, метриками и стабильной эксплуатацией.

• Разрабатывать и развивать LLM-агентов: сценарии, инструменты, оркестрацию, память, маршрутизацию, обработку ошибок и резервные сценарии
• Проектировать и внедрять RAG: индексацию, эмбеддинги, ретриверы, ранжирование, разбиение на фрагменты, оценку качества поиска и ответов
• Интегрировать агентные решения в промышленные сервисы, API и компоненты инфраструктуры, включая Kafka и Redis
• Настраивать наблюдаемость и контроль качества: журналирование, трассировку, Langfuse, панели мониторинга и оповещения
• Проводить офлайн- и онлайн-оценку качества, рассчитывать метрики, создавать наборы данных, проводить A/B- или квазиэксперименты и формулировать гипотезы улучшений
• Участвовать в улучшении конвейеров данных и экспериментов: готовить данные, проводить разметку и валидацию, обеспечивать хранение и воспроизводимость
• Писать поддерживаемый код, проводить ревью, писать тесты и документацию, настраивать CI/CD и участвовать в архитектурных решениях

• Уверенное владение Python: проектирование модулей, типизация, тестирование, работа с API и сервисами
• Практический опыт работы с LLM и агентными подходами: промптинг, вызов инструментов, цепочки и графы, управление контекстом, обработка галлюцинаций и ограничений моделей
• Понимание оценки качества: precision, recall, F1, macro-F1, создание наборов данных и интерпретация метрик
• Опыт создания или внедрения RAG: поиск, эмбеддинги, индексация, ранжирование, разбиение на фрагменты, оценка качества поиска
• Опыт разработки и эксплуатации сервисов, работы с REST/gRPC, асинхронностью, журналированием, мониторингом и Git
• Понимание очередей, кэшей и хранилищ, таких как Kafka и Redis, или аналогов; опыт интеграций
• Будет плюсом: опыт с LangGraph, LangChain, Langfuse, YTsaurus и распределёнными системами хранения и обработки данных, конструкторами конвейеров и быстрым прототипированием, ранжированием, гибридным поиском, переформулированием запросов, защитными ограничениями, A/B-тестами, продуктовыми метриками, причинно-следственным анализом, Docker, K8s и CI/CD

• Гибкий график работы
• Бонусы и скидки от партнёров
• Офис в центре города
• ДМС