tech lead

Создают поисковый сервис для ответа на запросы пользователей на естественном языке. Сервис ломает барьер между статичными знаниями языковой модели и постоянно меняющимся миром. Предоставляют GigaChat доступ к актуальной информации, чтобы пользователи получали точные ответы на любые вопросы, включая вопросы о свежих новостях и событиях.

• Разрабатывать и настраивать механизмы для автоматизированного сбора данных, обеспечивать корректность и полноту сбора, оптимизировать процессы таким образом, чтобы все работало быстрее и без ручного вмешательства
• Декомпозировать и ставить задачи для команды data инженеров, приоритизировать бэклог
• Разрабатывать MapReduce и потоковые пайплайны для предобработки данных и преобразовывать их в формат, оптимальный для дальнейшего хранения, обработки и использования в задачах поиска
• Проектировать и реализовывать хранилища, которые позволили бы эффективно решать задачи поиска
• Применять машинное обучение и искусственный интеллект для улучшения результатов работы, поддерживать корректную работу системы – мониторинг, диагностика и устранение неполадок, исправление старых багов и создание новых

• Роль техлида команды из 3 инженеров: архитектура, распределение задач, контроль качества
• Умение проектировать DWH, Data Lake, Data Management Platform
• Понимание устройства векторных и полнотекстовых индексов
• Опыт разработки и оптимизации высоконагруженных пайплайнов (batch, streaming) для обработки больших объемов данных (100TB - 1PB+)
• Продвинутый уровень владения Python и SQL
• Опыт работы с движками для распределенной обработки данных (Spark, Trino), оркестраторы Airflow
• Будет плюсом опыт работы с таблицами формата Iceberg и опыт работы с GPU (инференс моделей)

• Работа в офисе в Москве