Если вас просят войти через iCloud/Google, отправить коды из SMS или Telegram, запустить код или что-то установить, не соглашайтесь: это признаки мошенничества.
Инженер данных
генерация резюме
сопроводительное письмо
описание
Проект представляет собой поисковый сервис для ответа на запросы пользователей на естественном языке, обеспечивающий доступ языковой модели к актуальной информации о новостях и событиях.
задачи
- Разрабатывать и настраивать механизмы для автоматизированного сбора данных, обеспечивая их корректность, полноту и высокую скорость работы без ручного вмешательства
- Декомпозировать и ставить задачи для команды инженеров данных, приоритизировать бэклог
- Разрабатывать MapReduce и потоковые пайплайны для предобработки данных и их подготовки к хранению и поиску
- Проектировать и реализовывать хранилища для эффективного решения поисковых задач
- Применять машинное обучение и искусственный интеллект для улучшения результатов, обеспечивать мониторинг, диагностику и устранение неполадок системы
требования
- Опыт работы техлидом команды из 3 инженеров: проектирование архитектуры, распределение задач и контроль качества
- Умение проектировать DWH, Data Lake и платформы управления данными
- Понимание устройства векторных и полнотекстовых индексов
- Опыт разработки и оптимизации высоконагруженных пайплайнов (batch, streaming) для обработки данных объемом от 100TB до 1PB+
- Продвинутый уровень владения Python и SQL
- Опыт работы с движками для распределенной обработки данных (Spark, Trino) и оркестраторами Airflow
- Будет плюсом опыт работы с таблицами формата Iceberg и опыт работы с GPU для инференса моделей
условия
- Работа в крупной финансовой организации
навыки