Data engineer for AI and BI projects

Professional IT работает с 2009 года и успешно реализовала сотни проектов цифровой трансформации по всей стране. Мы предлагаем сложные программные решения и автоматизацию бизнеса для государственного, частного и промышленного секторов. Сейчас мы быстро расширяемся в сферах ИИ и бизнес-аналитики, опираясь на современные технологии и долгосрочное партнёрство. В роли старшего инженера данных вы будете отвечать за проектирование, создание и оптимизацию ETL/ELT-конвейеров промышленного уровня, витрин данных и структур хранилищ данных для наших проектов в сфере ИИ и бизнес-аналитики. Основные технологии: PostgreSQL, dbt, Python.

• Разработка и развитие ETL/ELT-процессов промышленного уровня.
• Создание общих витрин данных для решений в сфере бизнес-аналитики и ИИ.
• Проектирование таблиц фактов, измерений, ключей и уровня детализации.
• Инкрементальная загрузка и обработка исторических данных.
• Управление поздно поступающими данными и изменениями схем источников.
• Разработка автоматизированных проверок качества и актуальности данных.
• Сопоставление объёмов данных, ключей и показателей между исходными системами и аналитическим слоем.
• Оптимизация запросов PostgreSQL, индексов и планов выполнения.
• Документирование преобразований и процедур восстановления.

• Уверенное знание SQL и PostgreSQL.
• Практический опыт работы с dbt.
• Знание Python для обработки данных и автоматизации.
• Опыт работы с хранилищами данных и ETL/ELT.
• Опыт создания инкрементальных и воспроизводимых конвейеров данных.
• Знание Git и Linux.
• Умение выявлять проблемы, связанные с дублированием строк в результате JOIN, агрегацией и качеством данных.
• Будет плюсом: MariaDB / MySQL; Большие объёмы исторических данных; Опыт работы с данными в сфере образования или государственного сектора; Подготовка данных для бизнес-аналитики; Проекты Text-to-SQL; Международно признанные сертификаты в этой области

• Конкурентоспособная заработная плата с учётом вашего опыта и навыков, а также премии за результаты.
• Возможность развивать знания и навыки, работая над крупнейшими стратегическими проектами страны в сфере ИИ и бизнес-аналитики, и участвовать в международных программах сертификации.
• Перспективы карьерного роста и перехода на руководящие позиции в быстро растущей команде.
• Гибкий график работы для комфортного и сбалансированного рабочего режима.
• Обеспечение современными технологиями и оборудованием, профессиональная и поддерживающая команда.