аналитик данных

Dwelly цифровизирует и оптимизирует аренду квартир в Великобритании. Компания разрабатывает продукт с автономными AI-агентами, которые управляют процессами работы с недвижимостью — от взимания платежей до решения проблем арендаторов.

• Исследовать, оценивать и улучшать работу автономных AI-агентов;
• Определять, как измерять качество работы агента и улучшать его;
• Выбирать офлайн-метрики для оценки новых версий агента до запуска в прод;
• Определять размер эвал-сета, необходимый для надёжного сравнения версий;
• Собирать эвал-сеты, отражающие реальные сценарии, включая редкие и сложные случаи;
• Оценивать покрытие и прогностическую точность симуляций с участием LLM;
• Сравнивать оценки LLM-as-a-judge с человеческой разметкой и выявлять систематические ошибки;
• Анализировать обоснованность передачи задач человеку и случаи, когда агент не позвал человека при необходимости;
• Изучать частоту и стоимость ошибок агента, определять приоритеты улучшений промптов, инструментов, данных и процессов;
• Анализировать коммуникационные воронки и сроки процессов для улучшения качества сервиса;
• Определять показатели качества поставщиков и причины задержек;
• Анализировать вмешательство человека в автономные процессы, в том числе при звонках клиентов;
• Оценивать влияние автономности агентов на численность сотрудников и маржинальность;
• Проверять, охватывают ли агенты сценарии управления недвижимостью, и выявлять работу координаторов вне системы;
• Определять, нужно ли учитывать выходные и нерабочее время при расчёте сроков задач.

• Уверенно применять статистику и разрабатывать эксперименты: рассчитывать доверительные интервалы и мощность, сравнивать версии на небольших выборках;
• Понимать, как могут давать сбои системы на основе LLM, и быть готовым глубоко разбираться в оценке агентов;
• Владеть английским для рабочей коммуникации;
• Не подходит удалённая работа из РФ и Беларуси;
• Будет плюсом опыт работы с эвалами, LLM-as-a-judge или симуляциями.

• Платят рыночно в фунтах, долларах или евро; необходимо уметь принимать платежи в валюте;
• Для успешных кандидатов могут оформить рабочую визу в Великобританию или одну из стран ЕС через Deel.