технический директор для обучающих языковых моделей

Команда сбора данных ищет источники, занимается веб-краулингом, загрузкой и лицензированием разнообразных высококачественных датасетов для обучения языковых моделей. Системы команды поставляют петабайты текстов в обучающие пайплайны.

• Проектировать, развивать и поддерживать масштабируемую инфраструктуру веб-краулинга для обработки миллиардов страниц на разных языках и из разных доменов;
• Развивать пайплайны загрузки данных, преобразующие сырой контент в структурированные, дедуплицированные и обогащённые метаданными датасеты;
• Разрабатывать алгоритмы планирования и приоритизации краулинга для повышения актуальности, покрытия и разнообразия данных с учётом ограничений вычислительных ресурсов и пропускной способности;
• Создавать и поддерживать системы поиска и индексирования, чтобы исследователи и инженеры могли находить, запрашивать и отбирать данные из полного корпуса;
• Определять вместе с командой обработки данных схемы, сигналы качества и интерфейсы передачи данных между этапами сбора и подготовки;
• Обеспечивать наблюдаемость систем: настраивать метрики, логирование, оповещения и инструменты для быстрого реагирования на инциденты;
• Оценивать и подключать внешние источники данных, согласовывать технические требования к форматам поставки и API;
• Помогать команде выбирать технические решения, проводить архитектурные обсуждения и участвовать в проверке кода;
• Повышать инженерную зрелость направления;
• Наставлять инженеров команды и распространять лучшие практики проектирования, эксплуатации и развития систем сбора данных.

• Высшее образование в области информатики, математики или смежной области;
• Не менее 6 лет опыта в разработке ПО, из них не менее 3 лет — в создании масштабных распределённых систем;
• Глубокая экспертиза в веб-краулинге, скрейпинге или информационном поиске в масштабе миллиардов документов;
• Уверенное владение Python, Go или C++;
• Опыт работы с Kubernetes или аналогичными системами оркестрации контейнеров;
• Практический опыт работы с распределёнными системами хранения данных и базами данных типа «ключ — значение» или документоориентированными базами;
• Хорошее понимание сетевых протоколов и веб-стандартов, важных для краулинга;
• Опыт ведения сложных технических инициатив от архитектурного замысла до эксплуатации в рабочей среде;
• Способность быть техническим лидером команды, аргументированно принимать решения, согласовывать архитектурный подход с инженерами и развивать экспертизу коллег;
• Сильные письменные и устные коммуникативные навыки, умение влиять на технические решения при взаимодействии с разными командами;
• Будет плюсом опыт работы с YTSaurus, эксплуатации веб-краулеров петабайтного масштаба, работа в области NLP, извлечения текста или определения языка для многоязычных корпусов, наставничества инженеров и неформального лидерства в сильной технической команде.

• Кластеры YTSaurus с большим количеством ресурсов: десятки петабайт и десятки тысяч ядер;
• Сильная команда выпускников МФТИ, ВШЭ и МГУ, многие имеют опыт работы в профильном бигтехе;
• Комфортный современный офис рядом с метро «Кутузовская»;
• Гибридный график: 2 дня в офисе, 3 дня на удалёнке;
• Ежегодный пересмотр зарплаты и годовая премия;
• Корпоративный спортзал и зоны отдыха;
• Обучение для профессионального и карьерного развития;
• Расширенный полис ДМС с первого дня работы и страхование для семьи;
• Льготная программа ипотеки для сотрудников;
• Бесплатная подписка СберПрайм+, скидки на продукты компаний-партнёров;
• Вознаграждение за рекомендацию друзей в команду Сбера.