Инженер данных

Добавь резюме в профиле, а нейросеть определит твою категорию. Затем ты сможешь генерировать сопроводительные письма для вакансий этой категории

Компания работает с разными проектами для банков, крупных ритейлеров, обучающих платформ и сетей ресторанов с различным технологическим стеком. Вам нужно будет выполнять роль разработчика корпоративного аналитического хранилища данных и технического эксперта по миграции хранилища данных с Oracle на новый стек с Iceberg, S3 и ClickHouse, строить и оптимизировать масштабируемое отказоустойчивое аналитическое хранилище данных, реализовывать сложную логику ядра хранилища, проектировать структуры данных и алгоритмы загрузки, создавать отказоустойчивые ETL/ELT-пайплайны на Apache Spark с PySpark и Spark SQL, управлять оркестрацией на Apache Airflow с DAG и обработкой ошибок, настраивать и оптимизировать ClickHouse для низкой задержки в отчетах, документировать хранилище с диаграммами и описаниями, формировать документы для миграции и эксплуатации, участвовать в приемке-передаче в продакшн, взаимодействовать с аналитиками и владельцами данных, устанавливать лучшие практики в инжиниринге данных, проводить код-ревью и менторство мидл-инженеров.

• Продвинутый опыт с Apache Spark для больших данных, включая архитектуру, оптимизацию и тюнинг.
• Практический опыт построения платформ данных с Apache Iceberg на S3-совместимых хранилищах.
• Опыт настройки и оптимизации ClickHouse под высокие нагрузки.
• Глубокое понимание принципов DWH и подходов Lakehouse.
• Опыт разработки и поддержки пайплайнов в Apache Airflow.
• Умение работать в команде и нести ответственность за архитектурные решения, экспертный опыт ETL/ELT.
• Экспертный SQL и понимание механизмов СУБД.
• Знание подходов к разработке, документированию и тестированию хранилища данных.
• Знание методологий Agile, Scrum, Waterfall.
• Высшее техническое образование.
• Будет плюсом опыт с платформами данных на Kubernetes, навыки мониторинга и алертинга с Prometheus и Grafana.

• Комфортный график.
• Аккредитованная ИТ-компания.
• Работа в команде профессионалов с крутыми проектами.
• Проектная структура, оперативное решение вопросов.
• Прозрачный карьерный рост и программа развития с обучением.
• Оплачивают изучение английского в мини-группах.
• Официальное трудоустройство по ТК или как ИП.
• Доступно соискателям с инвалидностью.