Чтобы адаптировать резюме под вакансию или составить сопроводительное письмо, загрузи резюме
О рекламодателе
ОБЩЕСТВО С ОГРАНИЧЕННОЙ ОТВЕТСТВЕННОСТЬЮ "ЦЕНТР НАЦИОНАЛЬНЫХ ИНТЕЛЛЕКТУАЛЬНЫХ СИСТЕМ" ИНН: 9704271170
описание
Платформа данных предназначена для работы с телеметрией автономного транспорта Москвы — трамваев и метро. Она помогает развивать архитектуру хранилища данных, подключать новые сервисы и повышать производительность и стабильность платформы.
задачи
Превращать телеметрию автономного транспорта в данные, удобные для анализа
Разрабатывать и запускать Spark-пайплайны, продумывать преобразования и проверки качества
Подключать новые источники данных
Разрабатывать интеграции с различными системами и обеспечивать надёжную загрузку данных в хранилище
Развивать архитектуру Data Lake / DWH
Формировать вместе с командой общие подходы к разработке, мониторингу и сопровождению пайплайнов
требования
Практический опыт разработки и сопровождения пайплайнов данных
Опыт работы с PySpark, Python и SQL
Опыт работы с Data Lake / DWH и понимание принципов построения ETL/ELT-процессов
Понимание принципов распределённой обработки данных
Будет плюсом: опыт работы с Trino+S3, оркестрации пайплайнов с помощью Airflow, знакомство с Data Vault 2.0, знание Scala и опыт её использования для обработки данных, опыт развития платформы данных на ранних этапах — от выбора решений до их внедрения и сопровождения
.svg)
