инженер данных для AI-агентов

Команда DWH Лавки развивает хранилище данных для аналитики и ключевых операционных процессов бизнеса. Она создаёт RT/NRT-поставки для AI-систем Лавки, объединяя потоковые и микробатчевые данные с batch-контуром, едиными контрактами и контролем качества.

• Проектировать и развивать RT/NRT-поставки данных для сценариев продуктовых команд;
• Продумывать взаимодействие оперативного и batch-контуров и подбирать архитектуру с нужными скоростью, полнотой, стоимостью и надёжностью данных;
• Помогать системным аналитикам и продуктовым командам проектировать RT-данные;
• Подбирать источники и способы обработки;
• Определять модель событий, контракты, требования к свежести и качеству данных;
• Прорабатывать правила работы с запаздывающими событиями и предварительными результатами;
• Искать новые способы работы с RT-данными и разрабатывать универсальные подходы;
• Помогать внутренним заказчикам определять задачи, которые можно решить с помощью RT-данных;
• Исследовать процессы и источники данных;
• Запускать решения в промышленную эксплуатацию;
• Контролировать работу решений и безопасно развивать DWH с большим графом зависимостей;
• Расширять возможности AI-агентов в автономном DWH;
• Предоставлять AI-агентам качественный контекст и инструменты;
• Устанавливать ограничения и проверки для AI-агентов;
• Оценивать результаты работы AI-агентов;
• Превращать сложные случаи в новые сценарии автоматизации;
• Выявлять системные причины нетиповых инцидентов;
• Создавать новые проверки, инструменты и возможности для AI-агентов.

• Опыт проектирования и поддержки промышленных RT/NRT-пайплайнов;
• Понимание отличий разработки и эксплуатации RT/NRT-пайплайнов от batch-обработки;
• Опыт разработки в крупном DWH или распределённой платформе;
• Понимание безопасного изменения процессов с большим графом зависимостей;
• Умение проектировать надёжную обработку событийных данных с учётом задержек, повторной обработки и изменений источников;
• Уверенное владение Python и SQL;
• Понимание принципов моделирования данных, качества, наблюдаемости и надёжной эксплуатации;
• Умение превращать не до конца сформулированную бизнес-задачу в модель данных и техническое решение;
• Умение сравнивать архитектурные варианты, объяснять компромиссы и договариваться с владельцами источников;
• Опыт использования AI-агентов в инженерной работе;
• Готовность развивать подход, в котором человек управляет целями, качеством и архитектурой, а значительную часть реализации и поддержки выполняют агенты;
• Готовность брать ответственность за результат поставки данных, а не только за написанный код;
• Будет плюсом глубокий практический опыт работы с Apache Flink, построение lambda- или kappa-архитектуры, объединение оперативного и batch-контуров, запуск нового платформенного направления, развитие внутренних data-продуктов, проектирование data contracts, интеграция нескольких продуктовых систем, разработка инструментов, контекста, проверок или evaluation-процессов для инженерных AI-агентов.

• Расширенная медицинская страховка с первого месяца работы;
• 30 Дней оплачиваемого больничного в году;
• ДМС покрывает плановую и неотложную помощь за рубежом, стоматологию, чекапы, вакцинацию и другие медицинские услуги;
• Онлайн-консультации с психологами и психотерапия в офисах, где есть кабинет психотерапевта;
• После года работы ДМС покрывает коррекцию зрения и хирургическое лечение косоглазия;
• Оплачиваются ведение беременности и роды для сотрудниц и жён сотрудников, которые работают в компании более двух лет;
• ДМС для детей и супругов по системе 80/20: компания оплачивает 80% стоимости;
• Условий в вакансии нет.