Applied AI Engineer

Компания разрабатывает и продвигает собственные мобильные продукты и решения на основе ИИ. Она развивает внутреннюю инфраструктуру и экосистему ИИ-агентов для автоматизации внутренних процессов, управления знаниями и рабочих процессов с поддержкой ИИ.

• Тестировать и улучшать внутренние системы ИИ, анализировать качество ответов и ошибок, дорабатывать системные промпты и проверять изменения на реальных и синтетических примерах
• Развивать систему оценки качества решений ИИ, создавать наборы оценки и метрики, настраивать регрессионные тесты, LLM-as-a-Judge, детерминированные проверки и другие механизмы автоматического тестирования
• Проводить эксперименты с моделями, промптами, конфигурациями RAG и другими компонентами ИИ, сравнивать качество, скорость и стоимость подходов
• Анализировать пользовательские сценарии, диалоги и журналы использования, находить повторяющиеся ошибки и формировать гипотезы по улучшению системы
• Улучшать поиск, качество контекста и релевантность информации в корпоративных базах знаний и системах RAG
• Исследовать новые модели, инструменты и подходы, создавать прототипы и проверять их пользу для существующей системы
• Собирать, очищать, классифицировать и размечать данные, формировать наборы данных для SFT, обучения на предпочтениях и оценки
• Разбирать инциденты и проблемы систем ИИ на уровне моделей, промптов, поиска, данных и интеграций
• Развивать рабочие процессы агентов, вызов инструментов и автоматизацию внутренних процессов
• Совместно с ведущим инженером по ИИ развивать общую платформу ИИ, используемую в нескольких продуктах и компаниях

• Практический опыт разработки и поддержки систем ИИ и LLM
• Хорошее понимание принципов работы современных LLM и ограничений таких систем
• Уверенное владение Python
• Опыт работы с API LLM и различными моделями
• Практический опыт проектирования промптов и их системного тестирования
• Понимание оценки систем LLM и создания наборов оценки
• Опыт работы с RAG, векторными представлениями и векторными базами данных
• Умение анализировать, очищать и размечать данные, формировать наборы данных
• Умение самостоятельно изучать новые технологии, быстро создавать прототипы и оценивать целесообразность внедрения
• Способность разбираться в сложных системах ИИ, находить причины снижения качества и предлагать практические улучшения
• Самостоятельность, ответственность за результат и ориентация на практический результат
• Будет плюсом: опыт работы с Onyx и OpenClaw, построения автоматизированных конвейеров оценки, применения LLM-as-a-Judge, тонкой настройки и SFT моделей, использования Langfuse, LangSmith, Phoenix или других инструментов наблюдаемости систем LLM, работы с агентными системами и вызовом инструментов, создания производственных систем RAG, понимание инфраструктуры вывода моделей и особенностей работы моделей с открытым исходным кодом, опыт работы с Claude Code, Cursor, Codex или другими инструментами программирования с ИИ, опыт в стартапах или динамичных продуктовых командах

• Доход в USD, размер не указан
• Гибкий график с работой по московскому часовому поясу
• Возможность работать рядом с сильным техническим лидером и погрузиться в современные системы ИИ и агентные системы
• Быстрые коммуникации, минимум бюрократии и дружелюбная атмосфера
• Постоянный доступ к платным обучающим площадкам