инженер данных для платформы больших данных

Описания нет

• Разрабатывать, реализовывать и поддерживать интеграционные потоки и потоки сборки витрин данных;
• Разрабатывать нетиповые интеграции, в том числе SAP;
• Системно разрабатывать инструменты и переиспользуемые шаблоны обработки данных;
• Разрабатывать системный дизайн сложных решений;
• Оперативно реагировать на проблемы в зоне ответственности;
• Поддерживать документацию типовых интеграционных решений платформы больших данных.

• Иметь общее представление о стеке технологий Lakehouse;
• Понимать различия между BigData/Lakehouse и данными обычного размера;
• Знать SQL, включая индексы, функции, оптимизацию и профилирование производительности;
• Знать Java и Python;
• Иметь опыт работы с реляционными БД: Oracle, Postgres, MySQL, MsSQL и другими;
• Уметь работать с Git: pull, commit, push;
• Иметь опыт работы с DBT, Cosmos и Ni-Fi;
• Иметь опыт разработки на Spark;
• Уметь использовать компоненты экосистемы Hadoop: Yarn, Ranger, Zookeeper, Hive metastore;
• Понимать особенности Trino;
• Понимать форматы данных Iceberg, Parquet и Avro;
• Понимать работу с MinIO или другим хранилищем на основе S3;
• Иметь опыт использования систем ведения проектов и документации;
• Иметь опыт разработки нетиповых интеграций, включая SAP-системы;
• Иметь опыт разработки потоков, близких к реальному времени, с использованием Flink и Debezium;
• Иметь опыт оптимизации высоконагруженных потоков с миллиардами записей инкремента и инструментами наблюдаемости Grafana, Victoria Metrics и Zabbix.

• Условий в вакансии нет