Data engineer

Описания нет

• Разрабатывать, реализовывать и поддерживать интеграционные решения.
• Определять стек технологий для проектов и задач.
• Решать технически сложные задачи.
• Реагировать на проблемы в зоне ответственности и соблюдать сроки выполнения задач.
• Разрабатывать и контролировать актуальность документации по взаимодействию компонентов платформы больших данных.
• Предоставлять отчеты о деятельности руководителю.
• Контролировать качество интеграционных решений и создавать задачи для рефакторинга.
• Определять технологическую стратегию развития проекта или продукта.
• Выстраивать процессы и внедрять инженерные практики.

• Владение Java или Groovy, знание принципов объектно-ориентированного программирования и умение читать чужой код.
• Опыт сборки проектов, компиляции и деплоя в Rancher с использованием Docker.
• Опыт проектирования, реализации и поддержки интеграционных решений на стеке технологий больших данных.
• Глубокое знание SQL, включая оптимизацию запросов и работу с планами выполнения.
• Опыт работы с любой реляционной базой данных.
• Уверенное владение Git в консоли.
• Знание особенностей работы инструментов для извлечения, преобразования и загрузки данных.
• Опыт работы с Hadoop, понимание устройства HDFS и форматов данных.
• Опыт работы с Hive или другими хранилищами на базе Hadoop.
• Опыт использования систем ведения проектов и документации, умение работать с архитектурными схемами.
• Понимание принципов построения хранилищ данных и озер данных.
• Будет плюсом опыт администрирования Unix, Linux или Hadoop, а также навыки работы с Zabbix и Ansible.

• Работа в крупной компании.