Спроси Хайрика про вакансию
Сверит с твоим резюме, подскажет вилку и вопросы на собесе.
Команда пакетной загрузки данных отвечает за надёжную доставку данных в корпоративное хранилище и развивает экосистему сервисов, обеспечивающих этот процесс.
вчера
data engineer платформы доставки данных
ориентир по рынку
вакансия
зп не указана
в среднем
326 174 ₽
мэтч
Загрузи резюме, чтобы видеть мэтчи с вакансиейЗагрузи резюме, чтобы видеть мэтч с вакой
подготовься к отклику
ai-инструментыЧтобы адаптировать резюме под вакансию или составить сопроводительное письмо, загрузи резюме
описание
задачи
- Развивать и с нуля писать инструменты для пакетной загрузки данных, обеспечивая их отказоустойчивость и масштабируемость
- Оптимизировать и мониторить ETL-пайплайны, повышая производительность и снижая стоимость вычислений
- Участвовать в миграции процессов поставки данных с Vertica на Trino
- Настраивать мониторинг, создавать метрики качества данных и визуализировать их в Superset
- Проектировать и разрабатывать пайплайн миграции данных из Vertica в Trino
- Проводить аудит текущих поставок данных, выявлять узкие места и внедрять автоматические проверки качества данных
требования
- Знать SQL, уметь писать сложные запросы, понимать планы выполнения и оптимизацию
- Понимать принципы работы реляционных и распределённых баз данных
- Уверенно владеть Python и иметь опыт работы с библиотеками для обработки данных
- Иметь практический опыт оркестрации пайплайнов с помощью Airflow или аналогичных инструментов ETL/ELT
- Иметь опыт работы с PySpark и экосистемой Hadoop
- Будет плюсом: опыт работы с MPP-базами Vertica и Trino, разработки на Go, понимание принципов CI/CD и настройки дашбордов в Apache Superset
условия
- Условий в вакансии нет
навыки
Популярная российская платформа для онлайн-шопинга. Продает товары от электроники до одежды, предлагает доставку, скидки и бонусные программы. Поддерживает продавцов через маркетплейс и логистические решения. Удобно для покупок и бизнеса.
Подробнее о компании →Если просят выйти из iCloud, прислать код из SMS, запустить или установить что-то, перевести деньги — не соглашайся: это мошенничество.
