Яндекс Финтех
сегодня

бэкенд разработчик

выше рынка на 44,9%
вакансия 411 600 ₽
в среднем 284 025 ₽
мэтч
Добавь резюме в профиле, чтобы видеть % мэтча с вакансией

сопроводительное письмо

Добавь резюме в профиле, а нейросеть определит твою категорию. Затем ты сможешь генерировать сопроводительные письма для вакансий этой категории

описание

Команда создаёт масштабную и безопасную аналитическую платформу для работы с большими данными.

задачи

  • Разрабатывать, масштабировать и мигрировать дата-платформу на базе S3, Greenplum, Trino, Apache Airflow, Apache Spark, Yandex Cloud
  • Готовить платформу к кратному росту объёмов данных
  • Обеспечивать миграцию с Greenplum на Trino/S3
  • Строить процессы выгрузки из реляционных СУБД, NoSQL, файловых хранилищ и Kafka
  • Реализовывать стратегии загрузки данных (полную или инкрементальную с CDC, пакетную или потоковую обработку)
  • Внедрять Spark Streaming для обновления данных в near-real-time
  • Работать со снепшотами, инкрементами, аудит-таблицами и CDC
  • Обеспечивать отказоустойчивость, безопасность, производительность и масштабируемость сервисов и дата-пайплайнов в режиме 24/7
  • Оптимизировать стоимость обработки данных и использования ресурсов
  • Развёртывать инфраструктуру и проводить её мониторинг через CI/CD-пайплайны
  • Создавать observability-платформу для DWH
  • Обеспечивать мониторинг статусов сборки, качество данных, анализ Data-Lineage, логирование
  • Заниматься версионированием данных, тестировать пайплайны
  • Развивать внутренние фреймворки и low-code-решения для загрузки и трансформации данных
  • Обеспечивать автоматическую выдачу и контроль прав доступа к инфраструктуре и данным
  • Проводить аудит действий пользователей
  • Создавать изолированные среды разработки, тестирования и предпрода с автоматизированным тестированием

требования

  • Занимались коммерческой разработкой от четырёх лет
  • Строили процессы, перечисленные в ключевых задачах
  • Оптимизировали сложные аналитические запросы, работали с планами выполнения
  • Проектировали схемы данных, занимались партиционированием, шардированием, создавали эффективные индексы
  • Работали с различными типами СУБД: реляционными (PostgreSQL, Oracle), NoSQL (MongoDB), MPP-системами (Greenplum)
  • Понимали принципы CDC (Change Data Capture) и работали с соответствующими инструментами или реализовывали CDC-паттерны собственными средствами
  • Управляли данными в S3-совместимых хранилищах
  • Разрабатывали пайплайны в Apache Airflow
  • Выполняли распределённую обработку на Apache Spark (Spark SQL, DataFrame)
  • Работали с данными через Trino

условия

  • Расширенная медицинская страховка с первого месяца (стоматология, чекапы, неотложная помощь за рубежом, лечение онкологии, страхование от несчастных случаев)
  • Психотерапия в офисе или онлайн
  • Лазерная коррекция зрения через год
  • Ведение беременности и роды через два года
  • Страховка для родственников по системе 80/20
  • Внутренняя образовательная платформа, менторство, программы для руководителей
  • Оплата конференций
  • Внутренние проекты для обмена экспертизой
  • Спортзалы в офисах, корпоративный тренер, скидки в фитнес-клубах
  • Спортивный клуб и команды
  • Гибкий график
  • Жилищные займы для сотрудников в российских офисах
  • Страхование для детей, детские дни в офисе, подарки на рождение детей
Откликнуться Добавить в отклики