Data engineer

Описания нет

• Исследование источников данных: анализ назначения и структуры таблиц и полей, ключей, связей, кардинальности и гранулярности; документирование моделей и схем данных
• Оценка потребностей в получении, обработке и хранении данных; выбор и обоснование архитектурных и технологических решений с преимущественным использованием open-source программного обеспечения
• Организация получения структурированных и неструктурированных данных из баз данных, API, файлов и иных разрешённых источников; разработка SQL-запросов и механизмов извлечения с учётом прав доступа, ограничений систем-источников и требований информационной безопасности
• Проектирование, разработка и сопровождение процессов интеграции и преобразования данных (ETL/ELT), включая очистку, нормализацию, объединение, обновление и автоматизацию обработки
• Создание и развитие аналитических моделей, наборов данных, хранилищ и витрин по мере возникновения обоснованной потребности; организация хранения, версионирования и, при необходимости, историзации данных
• Обеспечение качества данных (Data Quality): профилирование, проверки полноты, корректности, согласованности и уникальности, предотвращение дублирования, автоматизация проверок и контроль результатов загрузки
• Настройка расписания выполнения, журналирования, мониторинга и диагностики процессов обработки данных; участие в обеспечении их надёжности и восстановлении работоспособности во взаимодействии с ответственными за инфраструктуру
• Ведение технической документации, словаря и каталога данных, описаний происхождения и преобразования данных (Data Lineage); применение контроля версий и принципов воспроизводимой разработки
• Совместная работа с аналитиком данных и заинтересованными подразделениями: согласование требований к данным и витринам, устранение технических проблем, развитие аналитических решений

• Опыт работы от 3 -х лет в инженерии данных и/или аналитической инженерии.
• Опыт самостоятельного проектирования, разработки и сопровождения процессов интеграции данных и аналитических моделей.
• Высшее образование, предпочтительно высшее техническое, информационно-технологическое, математическое или иное профильное образование
• SQL — продвинутый/экспертный уровень (сложные запросы, JOIN, CTE, оконные функции, анализ планов и оптимизация выполнения).
• Python — уверенный уровень (обработка данных, API, автоматизация и разработка скриптов)
• Будет плюсом: Преимущество — участие в создании аналитических решений с нуля при ограниченных инфраструктурных ресурсах

• Работа в Правительстве Москвы — это возможность делать наш город современнее и удобнее. Если ты тоже неравнодушен к Москве, хочешь развивать ее и развиваться сам, присоединяйся к нашей команде!
• Пятидневная рабочая неделя, гибридный формат работы
• Чистый, современный, просторный офис со всей необходимой для работы орг. техникой. Находится в пешей доступности (ст. метро Арбатская)
• Значимая роль в команде экспертов, в которой коллеги всегда поддерживают друг друга
• Развивающие задачи и карьерные вызовы, реальные возможности для роста
• Развитая корпоративная культура: постоянные корпроративные обучения, мероприятия, онбординг