Как сделать языковую модель качественнее при том же бюджете вычислений? В GigaChat Pretrain мы исследуем альтернативы стандартному вниманию: Gated DeltaNet, Kimi Delta Attention, Mamba и другие линейные и рекуррентные блоки. За три месяца вы разберёте перспективные подходы, выберете базовую архитектуру и проверите собственное изменение. Это исследовательская задача с неопределённым результатом: важно не только найти улучшение, но и понять, какие идеи работают, где и почему.
сегодня
Исследователь языковых моделей
ориентир по рынку
вакансия
зп не указана
в среднем
80 518 ₽
мэтч
Загрузи резюме, чтобы видеть мэтчи с вакансиейЗагрузи резюме, чтобы видеть мэтч с вакой
подготовься к отклику
ai-инструментыЧтобы адаптировать резюме под вакансию или составить сопроводительное письмо, загрузи резюме
описание
задачи
- Разбирать свежие статьи и выбирать перспективные идеи для экспериментов.
- Реализовывать и менять линейные и рекуррентные блоки языковых моделей.
- Сравнивать качество, скорость и расход памяти при сопоставимом бюджете вычислений.
- Проводить абляции и выяснять, какие изменения стоит масштабировать.
требования
- Уверенное владение Python и PyTorch.
- Знакомство с распределённым обучением.
- Понимание глубокого обучения и устройства Transformer.
- Умение читать статьи, формулировать гипотезы и проверять их экспериментально.
- Будет плюсом: Собственный исследовательский проект; Опыт обучения языковых моделей, работы с линейным вниманием или state-space моделями; Опыт с CUDA, Triton или оптимизацией GPU-вычислений
условия
- Условий в вакансии нет
навыки
Крупнейший российский банк и экосистема. Предоставляет банковские услуги: кредиты, вклады, карты, ипотека. Развивает сервисы: доставка, здоровье, развлечения, облачные технологии и ИИ. Удобно для финансов и повседневных задач.
Подробнее о компании →Если просят выйти из iCloud, прислать код из SMS, запустить или установить что-то, перевести деньги — не соглашайся: это мошенничество.
