ML-разработчик LLM-инференса

Контур — экосистема для бизнеса. Наши сервисы помогают каждой третьей компании России делать рабочие процессы проще и эффективнее: вести бухгалтерию, сдавать отчетность в госорганы, обмениваться документами без бумаги, общаться друг с другом на удаленке и многое другое. С нами жизнь 3,1 миллионов предпринимателей и их сотрудников становится легче.

• Развивать инфраструктуру LLM-инференса, обеспечивать стабильную и быструю работу моделей в production.
• Оптимизировать производительность вывода, работать с пакетной обработкой запросов, KV-cache, prefill и decode, а также с механизмами ускорения генерации.
• Исследовать и внедрять способы эффективного использования GPU, снижения задержек и увеличения пропускной способности сервисов.
• Профилировать и тестировать производительность моделей, находить узкие места и оценивать эффективность технических решений.
• Развивать мониторинг и инструменты наблюдаемости, обеспечивать надежную работу LLM-сервисов под нагрузкой.
• Взаимодействовать с продуктовыми и инфраструктурными командами, помогать находить решения для производительности и стабильности LLM API.

• Практический опыт развертывания и эксплуатации LLM-сервисов в production.
• Глубокое понимание архитектуры LLM-инференса и принципов работы современных систем вывода.
• Опыт работы с vLLM и понимание механизмов PagedAttention, continuous batching, prefix caching и KV-cache.
• Знание подходов к оптимизации инференса, включая квантизацию, speculative decoding, управление prefill и decode, а также вычислительными ресурсами.
• Понимание особенностей работы LLM на GPU, умение анализировать производительность, задержки и использование памяти.
• Уверенные навыки работы с Python, PyTorch, Linux, Docker и Kubernetes.
• Опыт профилирования и бенчмаркинга LLM-инференса, понимание метрик TTFT, TPOT и пропускной способности.
• Умение самостоятельно разбираться в сложных технических проблемах, находить причины снижения производительности и предлагать решения.
• Готовность участвовать в поддержке production-сервисов и работать с требованиями к их надежности.
• Будет плюсом: Опыт работы с SGLang, TensorRT-LLM или Triton Inference Server; Опыт разработки CUDA- и Triton-ядер, а также использования NVIDIA Nsight; Опыт распределенного инференса, включая tensor, pipeline и expert parallelism; Опыт работы с Mixture of Experts и MoE, а также с моделями с длинным контекстом; Участие в open source проектах vLLM, LMCache, SGLang или аналогичных

• Уровень дохода, который зависит от ваших технических знаний и навыков. Регулярно пересматриваем зарплаты с учетом профессионального роста. Финансовые бонусы тоже есть.
• Заботу о вашем комфорте. Можете работать удаленно, гибридно или в офисе, в любом случае предоставим технику и все необходимое. Если вам по душе работать из офиса — обеспечим удобным местом, зонами отдыха, кухней с полезными перекусами.
• Сильное инженерное комьюнити. Регулярно проводим внутренние технические конференции, обмениваемся опытом между командами. Вы всегда найдете, с кем посоветоваться.
• Возможность сменить продукт, команду или предметную область внутри компании. Поддерживаем развитие в любом направлении.
• Общение на «ты» и максимум горизонтальных связей в коллективе, чтобы быстрее договариваться и решать рабочие задачи.
• Возможность делиться экспертизой. Помогаем выступать на конференциях, участвовать в подкастах или видео, писать статьи.
• Поддержку профессионального развития. Организуем внутреннее и внешнее обучение.