data engineer

Описания нет

• Разрабатывать, реализовывать и поддерживать интеграционные решения на стеке технологий, принятых в команде;
• Определять стек технологий для конкретных проектов и задач;
• Решать технически сложные задачи;
• Реагировать на информацию о проблемах в зоне ответственности;
• Выполнять задачи в установленные сроки;
• Разрабатывать и контролировать актуальность документации по взаимодействию конфигурационных единиц платформы больших данных;
• Предоставлять отчеты о деятельности руководителю;
• Контролировать качество интеграционных решений с последующим созданием задач для рефакторинга;
• Определять технологическую стратегию развития проекта или продукта;
• Выстраивать процессы, внедрять и развивать инженерные практики.

• Владение языком программирования Java или Groovy;
• Знание принципов ООП и умение читать чужой код;
• Навыки сборки проекта, компиляции и деплоя в Rancher (Docker);
• Опыт проектирования, реализации, развития и поддержки интеграционных решений на стеке технологий BigData;
• Знание SQL, включая индексы, функции, чтение планов запросов и оптимизацию;
• Опыт работы с реляционными базами данных (Oracle, Postgres, MySQL, MsSQL, DB2 и аналоги);
• Умение работать с Git в консоли;
• Знание особенностей работы ETL-инструментов (Apache Nifi, Airflow, SAP BW, Talend, Informatica, SAS и аналоги);
• Опыт работы с Hadoop;
• Понимание устройства HDFS и форматов данных;
• Опыт работы с Hive или другими хранилищами на основе Hadoop;
• Опыт использования систем ведения проектов и документации;
• Умение работать с архитектурными схемами;
• Понимание принципов построения и хранения данных (DWH и DataLake);
• Гражданство РФ;
• Будет плюсом опыт администрирования Unix/Linux или Hadoop (HDFS, Yarn, Ranger, Spark, Zookeeper), Zabbix, Ansible.

• Условий в вакансии нет