Инженер данных

Добавь резюме в профиле, чтобы видеть % мэтча с вакансией

сопроводительное письмо

Добавь резюме в профиле, а нейросеть определит твою категорию. Затем ты сможешь генерировать сопроводительные письма для вакансий этой категории

Команда занимается генеративной аналитикой и исследованиями применения RAG для решения задач.

Искать и внедрять передовые подходы к работе с данными с использованием ИИ
Исследовать влияние фреймворков для RAG и LLM на результаты
Создавать и поддерживать ETL-пайплайны для свежих данных под RAG
Предлагать улучшения и оптимизации инфраструктуры
Разрабатывать механизмы автоматизированного сбора данных, обеспечивать корректность и полноту
Оптимизировать процессы сбора данных для скорости и без ручного вмешательства
Разрабатывать пайплайны предобработки данных в оптимальный формат для RAG
Проектировать и реализовывать хранилища для задач RAG
Применять машинное обучение и ИИ для улучшения результатов
Мониторить систему, диагностировать и устранять неполадки, исправлять баги

Умение проектировать DWH, Data Lake, Data Management Platform
Опыт построения и развития высоконагруженных систем
Опыт разработки и оптимизации пайплайнов (batch, streaming) для больших объемов данных (100TB - 1PB+)
Продвинутый уровень Python и SQL
Опыт работы с Spark, Trino
Опыт работы с Kafka, RabbitMQ
Опыт работы с MPP базами (ClickHouse, Greenplum, Vertica) и понимание их устройства
Базовые навыки DevOps (Docker, Kubernetes, Ansible, Terraform, CI/CD)
Навыки работы с генеративными AI-моделями, опыт с GigaChat, Kandinsky и AI-агентами
Будет плюсом опыт с облачными платформами (AWS, GCP, SberCloud), объектными хранилищами (S3, MinIO, Ceph), backend-разработкой, администрированием БД, разработкой на GoLang

python sql spark trino kafka rabbitmq clickhouse greenplum vertica docker kubernetes etl rag llm ai