Data engineer in foreign trade

Для реализации проекта требуется специалист по разработке аналитических систем, интеграции и обработке данных. Проект предусматривает создание интерактивной аналитической BI-системы обработки и предоставления данных в сфере внешнеэкономической деятельности (ВЭД).

• Разработка и настройка процессов извлечения, преобразования и загрузки данных с использованием Apache Airflow, Python и SQL.
• Интеграция данных из существующих баз данных, файловых источников и REST API.
• Реализация полной и инкрементальной загрузки, обработки ошибок, повторных запусков и журналирования.
• Очистка, дедупликация, нормализация и обогащение данных.
• Разработка механизмов сопоставления данных с нормативно-справочной информацией и классификаторами.
• Проектирование и реализация многослойной архитектуры хранилища: STAGE, ODS, DDS и DATAMARTS.
• Разработка таблиц, представлений, связей, индексов и аналитических витрин на базе PostgreSQL / Greengage.
• Интеграция данных из существующих структур закрытого контура без избыточного дублирования.
• Организация хранения истории изменений и контроля качества данных.
• Оптимизация запросов и обеспечение производительности аналитической системы.
• Работа с существующими таблицами и представлениями корпоративных баз данных.
• Подключение REST API для получения мастер-данных организаций.
• Реализация загрузки справочников и классификаторов из файлов Excel.
• Сопоставление сведений о компаниях, внешнеторговых операциях, товарах, странах и регионах.
• Подготовка совместимых представлений данных для BI-подсистемы.
• Настройка Apache Superset и подключение аналитических витрин.
• Разработка интерактивных дашбордов, графиков, таблиц и карточек ключевых показателей.
• Реализация сквозных фильтров по периоду, товарам, странам, регионам, компаниям и направлениям торговли.
• Настройка выгрузок данных в XLS/CSV и формирование отчетов в Word по согласованным шаблонам.
• Реализация ролевой модели доступа к данным и компонентам системы.
• анализ экспорта и импорта, товарных групп, компаний, стран и регионов.
• сравнение показателей стран, рейтинги, динамика и доля России в мировой торговле.
• подготовка данных для расчётной модели определения компаний с потенциальными экспортными возможностями и сохранение результатов её работы.
• подготовка архитектуры интеграции и аналитических представлений для последующего подключения официальных данных.

• Практический опыт разработки ETL/ELT-процессов и интеграции разнородных источников данных.
• Уверенное владение Python и SQL.
• Опыт работы с Apache Airflow.
• Опыт проектирования и разработки хранилищ данных (DWH), витрин данных и аналитических представлений.
• Практический опыт работы с PostgreSQL; знание Greenplum или Greengage будет преимуществом.
• Опыт работы с Apache Superset или аналогичными BI-платформами.
• Понимание принципов многослойной архитектуры данных, моделирования фактов и измерений, построения аналитических витрин.
• Навыки оптимизации SQL-запросов и работы с большими объёмами данных.
• Опыт интеграции REST API, обработки JSON и реализации механизмов авторизации.
• Понимание принципов разграничения доступа, журналирования и контроля качества данных.
• Готовность работать по подробному техническому заданию и взаимодействовать с представителями заказчика.
• Будет плюсом: Опыт разработки BI-решений для крупных компаний, государственных организаций или финансовых институтов; Опыт работы в закрытых информационных контурах с ограничениями на внешние подключения; Опыт интеграции данных из нескольких корпоративных систем без дублирования первичных массивов; Опыт построения аналитических моделей, рейтингов и расчётных показателей; Опыт работы с классификаторами, мастер-данными и историческими срезами данных; Опыт подготовки технической документации, программ и методик испытаний

• Условий в вакансии нет