data engineer в крупный ритейл

Описания нет

• Самостоятельно Разрабатывать, реализовывать и поддерживать интеграционные решения на принятом в команде стеке технологий
• Определять стек технологий для конкретных проектов и задач
• Решать технически сложные задачи, с которыми не справляются другие инженеры команды
• Оперативно реагировать на информацию о проблемах в зоне ответственности и выполнять задачи в установленные сроки
• Разрабатывать документацию по взаимодействию конфигурационных единиц платформы больших данных и контролировать её актуальность
• Предоставлять отчёты о своей деятельности начальнику отдела или руководителю в установленном порядке
• Контролировать качество интеграционных решений и создавать задачи или дефекты для рефакторинга
• Определять технологическую стратегию развития проекта или продукта и работать на перспективу
• Выстраивать процессы, включая CI/CD и код-ревью, внедрять и развивать инженерные практики

• Владеть одним из языков программирования: Java или Groovy, знать принципы ООП и уметь читать чужой код
• Уметь собирать и компилировать проект, разворачивать его в Rancher и Docker
• Иметь опыт проектирования, реализации, развития и поддержки интеграционных решений на стеке Big Data
• Знать SQL, включая индексы, функции, чтение планов запросов и оптимизацию запросов
• Иметь опыт работы с реляционными базами данных, например Oracle, Postgres, MySQL, MsSQL или DB2
• Уметь работать с Git в консоли
• Знать особенности ETL-инструментов: Apache Nifi, Airflow, SAP BW, Talend, Informatica или SAS
• Иметь опыт работы с Hadoop
• Понимать устройство HDFS и форматы данных
• Иметь опыт работы с Hive или другим хранилищем на основе Hadoop
• Иметь опыт использования систем ведения проектов и документации
• Уметь работать с архитектурными схемами
• Понимать принципы построения и хранения данных в DWH и Data Lake
• Будет плюсом: опыт администрирования Unix/Linux или Hadoop, включая HDFS, Yarn, Ranger, Spark, Zookeeper, Zabbix и Ansible

• Удалённая работа из РФ или Беларуси