Инженер данных

грейд
senior
формат
удалённо по РФ
страна
Россия
опубликована
сегодня

описание

Описания нет

задачи

  • Разработка и сопровождение высоконагруженных пайплайнов расчёта признаков в Feature Store: витрины, агрегаты, таргеты
  • Проектирование сложных пайплайнов, новых витрин и интеграция новых источников
  • Подготовка данных в DataLake, SandBox и Feature Store по требованиям DS-команд и бизнес-направлений
  • Вывод признаков в онлайн-контур (Cassandra)
  • Оптимизиция производительности Spark-приложений, контроль потребления ресурсов кластера
  • Поддержка стабильности пайплайнов в проде: мониторинг, разбор инцидентов, восстановление данных
  • Проведение code review всех инженеров до уровня Senior, апрув изменений алгоритмов расчёта
  • Наставничество Junior- и Middle-инженеров
  • Разработка и актуализация документации
  • Отражение статусов задач в Jira
  • Участие в развитии платформы Feature Store и миграции на новую инфраструктуру

требования

  • Python: уверенное знание структур данных и алгоритмов, ООП и функциональный подход, модульные и интеграционные тесты (pytest), поддерживаемый код (типизация, линтеры, pre-commit)
  • PySpark: разработка сложных высоконагруженных приложений (от сотен ГБ до ТБ)
  • Глубокое знание настроек Spark и их влияния на производительность: партиционирование, shuffle, skew, broadcast join, AQE, память экзекуторов, параллелизм
  • Умение обосновать конфигурацию под объём данных, диагностирует spill и неэффективное использование ресурсов
  • Экосистема Hadoop: HDFS, Hive, Impala, Hive Metastore, форматы хранения (Parquet, ORC), влияние размера и количества файлов на производительность
  • SQL: сложные запросы с оконными функциями, чтение плана выполнения и оптимизация в Hive, Impala, Spark SQL
  • Airflow: разработка, планирование и мониторинг пакетных пайплайнов — зависимости между DAG, сенсоры, пулы, backfill, перезапуск после сбоя
  • Подготовка данных для ML: временные агрегаты, point-in-time корректность, data leakage, исторические срезы для обучения
  • Умение объяснить это DS-команде, наличие опыта работы с DS как заказчиками
  • Git (BitBucket или аналог), опыт регулярного code review
  • Будет плюсом: Cassandra или другое key-value хранилище для онлайн-выдачи признаков; опыт работы с Feature Store (самописный, Feast, Tecton, Chronon); Iceberg и S3; DuckDB, pandas, Polars для локальной обработки и прототипирования

условия

  • Стабильный и прозрачный доход: оклад + квартальная премия
  • Возможен удаленный формат работы или гибрид
  • Сложные и интересные задачи, современный стек технологий
  • Возможность вертикального и горизонтального карьерного роста: регулярно проходят тренинги, вебинары, митапы и демо-дни
  • Доступ к бесплатным корпоративным библиотекам Alpina Digital, MyBook и бизнес-изданий
  • Предложения от Банка только для сотрудников: собственный спортзал, а также скидки на услуги туристических агентств, продукты питания, в рестораны, бары, магазины

навыки

компания

Ведущий российский банк, предлагает услуги для частных лиц и бизнеса: кредиты, вклады, карты, ипотека, инвестиции. Работает через отделения, онлайн-банк и мобильное приложение. Удобен для управления финансами и покупок.

Подробнее о компании →

похожие вакансии

статьи для разработчиков