Инженер данных в маркетинге

Мы развиваем Marketing DWH — хранилище данных для маркетинга Яндекса. Нам нужен дата‑инженер, который поможет пересобрать архитектуру хранилища. Это нужно, чтобы аналитики и ИИ‑агенты могли находить нужные витрины, понимать, как рассчитаны показатели, и проверять результаты.

• Вы будете разбираться, как данные движутся от источников до витрин, обновлять модели данных и переносить на них расчёты.
• Вам предстоит устранять дублирование, ускорять запросы и проверять, как изменения сказываются на результатах расчётов и расходе ресурсов.
• Вы будете настраивать поиск витрин и доступ к маркетинговым данным, а затем проверять, как агенты справляются с реальными аналитическими задачами.
• Например, агент должен сравнить две кампании: подобрать сопоставимые данные, верно рассчитать показатели и указать источники, чтобы результат можно было воспроизвести.
• Вы будете вместе с коллегами определять, кто отвечает за данные в маркетинговом домене, как описывать витрины и какие требования предъявлять к их качеству и свежести.
• Затем поможете внедрить правила на практике — например, добавите автоматические проверки в пайплайны и настроите оповещения об отклонениях.
• Вы поможете перевести часть расчётов на потоковую обработку: определите, для каких сценариев данные нужны с минимальной задержкой, и спроектируете обработку событий.

• Уверенно пишете на SQL и Python
• Разбираетесь в причинах проблемы, сравниваете варианты и можете объяснить, почему выбрали конкретное решение
• Самостоятельно доводите задачу до реализации и проверяете, что решение работает как задумано
• Работали с Kafka или другими системами обмена сообщениями и понимаете, как устроена потоковая обработка
• Будет плюсом: Писали на C++; Внедряли практики Data Governance, развивали каталог данных или автоматизировали проверки качества; Подключали ИИ-агентов к источникам данных или оценивали качество их ответов

• У нас есть направление R&D, к которому можно подключиться. Мы проверяем, как структура данных, описания витрин и способы доступа влияют на скорость и точность работы агентов. Например, можно сравнить несколько вариантов описания одной витрины и посмотреть, при каком из них агент чаще выбирает правильный источник. Подходы, которые показывают результат на реальных задачах, можно внедрить в Marketing DWH.