Data engineer in RAG systems

Описания нет

• разрабатывать и оптимизировать процессы сбора, обработки и хранения больших объемов данных
• проектировать и развивать ETL/ELT-процессы
• разрабатывать и оптимизировать алгоритмы обработки данных, включая векторный поиск и RAG
• создавать и развивать системы мониторинга метрик качества работы моделей
• взаимодействовать с командами разработки и аналитики при проектировании и реализации технических решений

• опыт работы в роли Data Engineer от 3 лет
• уверенное знание SQL, Python и опыт работы с реляционными базами данных
• опыт обработки больших объемов данных с использованием Apache Spark, Hadoop
• опыт разработки и оптимизации ETL/ELT-процессов
• опыт работы с облачными платформами и потоковой обработкой данных (Apache Kafka, Apache Flink)
• понимание принципов векторного поиска и RAG (Retrieval-Augmented Generation)
• опыт работы с инструментами мониторинга качества данных, Git, Docker, Kubernetes
• Будет плюсом: знание принципов и методов фактчекинга и фильтрации контента

• официальное трудоустройство
• ДМС со стоматологией, офисного врача, доплату больничного листа и корпоративные скидки
• современный офис на Даниловской мануфактуре (м. Тульская) и бесплатные занятия спортом в собственном спортзале от «Лиги Героев»
• бесплатную подписку на сервисы партнеров
• возможность выбрать комфортный формат работы: офис, гибрид или 100% удаленно
• льготные условия ипотеки в рамках зарплатного проекта
• насыщенную корпоративную жизнь