Яндекс ищет опытного ML-разработчика для работы в команде, отвечающей за претрейны YandexGPT. Эта команда занимается ключевым этапом обучения больших языковых моделей (LLM), включая подбор данных, постановку экспериментов, выбор процедур обучения и само обучение. Цель команды — обеспечить высокое качество моделей для российских пользователей и лидирующие позиции в области искусственного интеллекта. Модели YandexGPT используются в таких сервисах Яндекса, как Алиса и Нейро в Поиске, а также в Браузере, Маркете, Рекламе и Переводчике, а через Yandex Cloud доступны для внешних пользователей.
Предстоит заниматься улучшением навыков LLM-моделей, выбирая конкретные направления для развития, такие как работа с кодом, решение математических задач или извлечение информации из текста. Для этого нужно будет искать способы улучшения, работая с данными или изменяя процесс обучения. Также предстоит исследовать методы выбора схем обучения и гиперпараметров, основываясь на Scaling Laws и экспериментах с моделями меньшего размера, и заниматься механистической интерпретируемостью для анализа причин ответов моделей. Планируется работа над объединением текстовых LLM с моделями, работающими с аудио, картинками и видео, для создания мультимодального претрейна. Важно отслеживать новые исследования и релизы в области LLM, предлагать новые идеи и подходы для достижения технологического лидерства.
