c++ разработчик инфраструктуры LLM

Команда создаёт решения для инфраструктуры инференса LLM, чтобы сбои оборудования и сетевые задержки минимально влияли на доступность и скорость сервиса.

• Повышать эффективность и снижать задержки при выполнении LLM-инференса на GPU
• Создавать и улучшать инструменты для быстрого выявления и устранения инфраструктурных проблем, влияющих на стабильность и скорость инференса
• Работать с методами оптимизации инференса, включая квантование и прореживание, и современными подходами к параллелизации

• Уверенно владеть C++ и Python, иметь навыки низкоуровневого программирования и оптимизации
• Иметь опыт работы с GPU NVIDIA и CUDA, понимать архитектуру GPU, разрабатывать или оптимизировать алгоритмы под CUDA
• Глубоко понимать архитектуру Transformer и её механизмы: attention, FFN, нормализацию и их реализации
• Знать подходы к параллелизации Data Parallel, Tensor Parallel и Pipeline Parallel для распределённого инференса или обучения
• Понимать задачи и сложности эксплуатации больших моделей в продакшне
• Уметь эффективно работать в команде и делиться знаниями
• Будет плюсом: опыт работы с vLLM, TensorRT-LLM (TRT-LLM) или sglang

• Компенсация от 100М токенов для экспериментов и оптимизации рутины
• Доступ к передовым моделям для ежедневной работы
• Расширенная медицинская страховка с первого месяца работы
• Плановая и неотложная медицинская помощь за рубежом, страхование от несчастных случаев и лечение критических заболеваний
• ДМС включает врачей в клиниках, онлайн-консультации с психологами, психотерапию в некоторых офисах, ежегодные чекапы, вакцинацию, стоматологическую помощь и коррекцию зрения после года работы
• 30 Дней больничного в году оплачиваются с сохранением полной зарплаты
• В офисах есть кабинеты врачей-терапевтов
• Ведение беременности и роды оплачиваются для сотрудниц и жён сотрудников, проработавших в компании более двух лет
• Для родственников доступна страховка по системе 80/20: компания оплачивает 80% стоимости ДМС детей и супругов, сотрудник — остальные 20%