Data engineer in streaming pipelines

грейд
senior
формат
удалённо
страна
Россия
опубликована
сегодня

описание

Полная удалёнка — по итогам общения с командой.

Лаборатория искусственного интеллекта занимается внедрением технологий ИИ в бизнес-процессы банка. Мы развиваем свою DataOps платформу (Kubernetes, JupyterHub, AirFlow, Spark и т.д.) под названием RAISA и делаем на ней инструменты и фреймворки как для себя, так и для других дата-специалистов РСХБ.

задачи

  • Разработка, поддержка и оптимизация инструмента потоковой обработки данных, а также написание пайплайнов по трансформации данных и инференса машинных моделей
  • Работа с большими данными в распределенной среде
  • Интеграция и обработка данных из различных источник
  • Проектирование новых решений

требования

  • Опыт работы с Java
  • Опыт построение стриминг пайплайнова (Debezium, Kafka, Flink)
  • Опыт работы с Airflow (разработка dag'ов, сенсоры, кастомные операторы)
  • Опыт с Apache Spark (Pyspark, dataframe api, оптимизация джобов)
  • Знание S3 API, HDFS, основ форматов данных (Parquet, orc, avro) и табличных форматов (Hoodie, Iceberg, Hive)
  • Опыт работы с Python (pandas/polars, sqlAlchemy)
  • Опыт работы с системами контроля версий (Git, Gitlab, ci/cd)
  • Опыт взаимодействия с хранилищами данных и базами данных (Greenplum, PostgreSQL)
  • Системное мышление, опыт дизайна Data-решений
  • Ответственность, умение вести разработку фич
  • Уверенное знание работы операционных систем Linux
  • Будет плюсом: Опыт работы с нереляционными и графовыми БД; Опыт работы с облачными системами (AWS, Yandex Cloud); Понимание принципов построения RAG и Мультиагентной системы

условия

  • Обучение за счет компании (посещение конференций, курсов, помощь в написании статей на Хабр и т.д.)
  • Вертикальное и горизонтальное развитие: регулярные тренинги, вебинары, митапы
  • Забота о вашем здоровье: ДМС с первого месяца работы, куда входит стоматология
  • Прозрачный доход: оклад (по итогам интервью) + ежеквартальные премии по результатам KPI
  • Гибкий график или полная удаленка (по итогам общения с командой)
  • Комфортные и современные офисы в городах присутствия (Москва, Санкт-Петербург, Уфа, Брянск, Новосибирск и др.)
  • Дополнительные бонусы от Россельхозбанка для сотрудников группы компаний (Скидки на спортзалы, рестораны, маркетплейсы и т.д.).
Полная удалёнка — по итогам общения с командой. Полная удалёнка — по итогам общения с командой.

навыки

компания

Молодая, но быстрорастущая IT‑компания — цифровое ядро Россельхозбанка. Специализируется на разработке банковских продуктов: экосистема “Своё” (агромаркетплейс), инвестиционные и брокерские платформы, чат‑боты, цифровые офисы и автоматизация кредитования.

Подробнее о компании →

похожие вакансии

статьи для разработчиков