Data engineer in banking

Описания нет

• Опыт работы с DWH, отчетностью (в банках), формирование отчетов, понимание разницы атрибутов;
• Построение потоков данных для хранилища;
• Оптимизация выгрузок данных из систем источников;
• Реализация трансформаций в целевые модели данных хранилища;
• Выгрузка данных в другие системы для дальнейшей обработки;
• Реализация сверочных отчетов.

• Опыт работы в области разработки хранилищ больших данных не менее 2 лет;
• Знание концепций данных и аналитики (напр., моделирование, ETL, инструменты отчетности, управление данными, хранение данных;
• Знание фундаментальных основ Computer Science, в частности устройства распределенных файловых систем;
• Опыт работы с ETL/ELT системами (Informatica, Airflow, Dagster, Apache Nifi, Apache Spark, PXF), трансформация DBT;
• Опыт работы со стриминговыми сервисами обработки данных Apache Kafka, Rabbit MQ;
• Опыт работы с отчетами и пакетами бизнес-аналитики, например: Tableau, QlikView, SAP BO etc;
• Опыт работы с языками программирования, например написание bash-скриптов в UNIX или программирование на Pyton;
• Опыт использования инструментом трансформации данных (DBT, Spark, Pyton);
• Опыт работы с реляционными СУБД (Oracle, MS SQL Server/MySql);
• Опыт работы с нереляционными, колоночными БД (Greenplum, Vertica, Векторные БД, Clickhouse, Scylla DB);
• Опыт построения хранилищ для финансового сектора;
• Опыт работы с инструментами DataGovernance;
• Опыт в области проектирования схемы данных, баз данных и хранилищ;
• Опыт работы с платформами больших данных(напр. HBase, ClickHouse, Druid, MemSQL, Hive, Minio);
• Опыт интергации с технологиями CDC (GoldenGate, Informatica, Debezium )
• Опыт с S3 и Spark

• Условий в вакансии нет