Data engineer in streaming systems

грейд
senior
страна
Россия
опубликована
сегодня

описание

Мы разрабатываем аналитические системы на базе единой платформы, которые позволяют безопасно работать с данными независимо от их формата, метода хранения и эксплуатации. Платформа основана на концепции Infrastructure as Code (IAC) и состоит из нескольких независимых программных продуктов и сервисов на базе Scala и Kubernetes. Она обеспечивает высокий уровень потоковой обработки и хранения данных, управления доступом и метаданными, а также контролем их использования в периметре частных облачных сред.

задачи

  • Реализация процессов загрузки данных на платформу из различных источников (s3, hdfs, samba, sftp) в различных форматах (csv, parquet, json, xml) в разные точки назначения (scylla, postgres, opensearch, clickhouse, nebula)
  • Определение и согласование нефункциональных требований к процессам построения витрин
  • Декомпозиция задач, оценка сроков выполнения
  • Выполнение Code review и контроль правильности реализации принятых технических решений
  • Участие в процессе автоматизации SDLC с помощью LLM

требования

  • Опыт работы по специальности от 3 лет
  • Опыт разработки на Scala от 2 лет
  • Знание особенностей реализации различных алгоритмов и структур данных
  • Опыт работы в команде

условия

  • ДМС со стоматологией
  • Корпоративные скидки в сети фитнес-клубов World Class
  • Корпоративный тариф на абонементы FITMOST
  • Программа корпоративных скидок Best Benefits – на спорт и не только
  • Спортивные мероприятия (турниры по футболу, волейболу, киберспорт, забеги, шахматы)
  • Курсы английского языка, в том числе с носителем языка
  • Сообщества по интересам: вместе читаем книги, ходим на интересные мероприятия и делимся маршрутами путешествий
  • Внешние профессиональные курсы и конференции, сертифицированное обучение, которые вы выбираете сами
  • Профильные митапы – организовываем, проводим и принимаем участие
  • Билеты со скидкой в Музей криптографии для сотрудников и их семей
  • Работа в офисе или в гибридном формате
  • Комфортные офисы в Москве, Санкт-Петербурге и Нижнем Новгороде с кофе-поинтами и разнообразными снеками каждый день
  • Насыщенные и яркие корпоративные праздники
  • Классный мерч

навыки

компания

Разрабатывает ПО и программно‑аппаратные комплексы для больших данных с машинным обучением: умная видеоаналитика, облачные платформы, системы хранения данных, криптография и информационная безопасность. Основана в 2018 в составе ИКС Холдинга, работает >600 специалистов

Подробнее о компании →

похожие вакансии

статьи для разработчиков