дата инженер высоконагруженной потоковой обработки

PARI — одна из самых динамично развивающихся компаний в беттинг-индустрии. Команда управления данными развивает отказоустойчивые пайплайны потоковой обработки данных, которыми пользуются аналитики, ML-специалисты и продуктовые команды.

• Проектировать, разрабатывать и поддерживать высоконагруженные пайплайны для обработки потоковых данных в режиме реального времени;
• Развивать процессы обработки данных и передачи результатов в целевые системы и внешние API;
• Настраивать интеграции Kafka, Flink и ClickHouse между источниками и потребителями данных;
• Очищать, фильтровать, трансформировать и обогащать сырые потоки данных для создания витрин и датасетов;
• Проектировать быстрые витрины с минутными и другими оперативными срезами для аналитических и ML-сценариев;
• Оптимизировать потоковые и пакетные процессы, повышая их производительность, надёжность и масштабируемость;
• Разрабатывать переиспользуемые модули, шаблоны и кастомные расширения для новых процессов обработки данных;
• Внедрять мониторинг, логирование и проверку целостности данных на всех этапах их движения;
• Анализировать сбои и узкие места, находить причины проблем и повышать отказоустойчивость инфраструктуры реального времени;
• Участвовать в проверке кода и поддерживать единые инженерные стандарты внутри команды.

• Коммерческий опыт построения и оптимизации высоконагруженных систем потоковой обработки данных от 3 лет;
• Уверенная работа с Apache Kafka и понимание принципов построения решений на базе брокеров сообщений;
• Практический опыт самостоятельной разработки и оптимизации рабочих процессов на Apache Flink от 2 лет;
• Хорошее знание ClickHouse и понимание выбора движков и архитектурных подходов для обработки данных в реальном времени;
• Уверенное владение Python и умение писать поддерживаемый рабочий код;
• Опыт работы с Airflow и понимание принципов оркестрации процессов;
• Умение интегрировать потоковые решения, брокеры сообщений, API и хранилища данных в единый технологический контур;
• Опыт проектирования решений с учётом масштабирования, производительности, стабильности и отказоустойчивости;
• Умение настраивать мониторинг, логирование, оповещения и проверки качества данных;
• Опыт разработки переиспользуемых модулей, внутренних библиотек или шаблонов для ускорения запуска новых пайплайнов;
• Опыт участия в проверке кода и умение аргументированно предлагать улучшения в архитектуре и коде.

• Бизнес-кейсы проходят на интервью в офисе;
• ИТ-аккредитация Минцифры.