data engineer

Описания нет

• Проектировать, внедрять и сопровождать пайплайны обработки информации и системы управления данными на платформе Databricks;
• Исследовать, профилировать и очищать наборы данных для их распределения по бизнес-доменам и выявления персональных данных;
• Создавать архитектуру разграничения доступа к данным, включая управление правами в каталоге и автоматизацию предоставления привилегий через Terraform;
• Взаимодействовать с командой для рецензирования схем доступа и контрактов данных;
• Обеспечивать запуск продуктов обработки данных и механизмов контроля доступа в соответствии с утверждёнными контрактами;
• Готовить и актуализировать документацию по контрактам на данные, моделям доступа и регламентам управления информационными активами;
• Отслеживать работу пайплайнов и выполнять проверки качества данных для гарантии их надёжности, скорости и точности;
• Изучать внутренние наработки и искать решения для повторного использования компонентов и унификации подходов.

• Опыт работы в области проектирования данных от 3 лет;
• Опыт работы с Python и фреймворками для обработки данных, включая Spark и PySpark;
• Практический опыт работы с Unity Catalog и Delta Lake;
• Опыт автоматизации развертывания объектов Databricks через Terraform;
• Умение оптимизировать производительность Spark-задач;
• Опыт работы с потоковой обработкой данных;
• Знания в области моделирования данных, распределенной обработки, SQL и архитектуры хранилищ;
• Практический опыт развертывания облачных платформ и инфраструктуры данных (Databricks, GCP или AWS) с использованием Terraform;
• Опыт внедрения CI/CD для кода обработки данных;
• Навыки проектирования решений для доступа к данным и управления ими;
• Понимание бизнес-ценности продуктов данных и механизмов управления;
• Опыт разработки программного обеспечения;
• Английский язык уровня B1;
• Будет плюсом готовность к изучению новых технологий для целей интеграции.

• Оформление через ИП или самозанятость при совместительстве.