python разработчик для построения витрин данных

Описания нет

• Разрабатывать функциональность сервиса на Python
• Строить Data Lineage на логическом уровне витрин на основе существующего графа движения данных на табличном уровне
• Реализовывать обработку, преобразование и агрегацию связей между объектами данных
• Работать с большими объёмами данных с использованием PySpark, pandas и SQL
• Работать с Hadoop-стеком: HDFS, Spark и Hive
• Дорабатывать существующий фреймворк автоматизированного тестирования
• Разрабатывать и поддерживать автотесты для создаваемой функциональности
• Участвовать в анализе и устранении дефектов

• Опыт разработки на Python от 2 лет
• Практический опыт работы с PySpark и pandas
• Отличное знание SQL
• Опыт работы со стеком Hadoop: HDFS, Spark и Hive
• Понимание принципов обработки больших объёмов данных
• Опыт написания автоматизированных тестов на Python
• Готовность отвечать за качество разработанной функциональности и её автоматизированную проверку
• Умение разбираться в существующем коде и самостоятельно решать технические задачи
• Будет плюсом: опыт работы с Data Lineage, Data Governance или Metadata Management, Oracle, PostgreSQL и Greenplum, понимание принципов построения DWH и витрин данных, опыт работы с графовыми структурами данных, использование pytest или аналогичных инструментов тестирования

• График 5/2