описание
Удалёнка не из РФ/РБ.
Dwelly цифровизирует и оптимизирует аренду квартир в Великобритании. Компания разрабатывает продукт с автономными AI-агентами, которые управляют процессами работы с недвижимостью — от взимания платежей до решения проблем арендаторов.
задачи
- Исследовать, оценивать и улучшать работу автономных AI-агентов;
- Определять, как измерять качество работы агента и улучшать его;
- Выбирать офлайн-метрики для оценки новых версий агента до запуска в прод;
- Определять размер эвал-сета, необходимый для надёжного сравнения версий;
- Собирать эвал-сеты, отражающие реальные сценарии, включая редкие и сложные случаи;
- Оценивать покрытие и прогностическую точность симуляций с участием LLM;
- Сравнивать оценки LLM-as-a-judge с человеческой разметкой и выявлять систематические ошибки;
- Анализировать обоснованность передачи задач человеку и случаи, когда агент не позвал человека при необходимости;
- Изучать частоту и стоимость ошибок агента, определять приоритеты улучшений промптов, инструментов, данных и процессов;
- Анализировать коммуникационные воронки и сроки процессов для улучшения качества сервиса;
- Определять показатели качества поставщиков и причины задержек;
- Анализировать вмешательство человека в автономные процессы, в том числе при звонках клиентов;
- Оценивать влияние автономности агентов на численность сотрудников и маржинальность;
- Проверять, охватывают ли агенты сценарии управления недвижимостью, и выявлять работу координаторов вне системы;
- Определять, нужно ли учитывать выходные и нерабочее время при расчёте сроков задач.
требования
- Уверенно применять статистику и разрабатывать эксперименты: рассчитывать доверительные интервалы и мощность, сравнивать версии на небольших выборках;
- Понимать, как могут давать сбои системы на основе LLM, и быть готовым глубоко разбираться в оценке агентов;
- Владеть английским для рабочей коммуникации;
- Не подходит удалённая работа из РФ и Беларуси;
- Будет плюсом опыт работы с эвалами, LLM-as-a-judge или симуляциями.
условия
- Платят рыночно в фунтах, долларах или евро; необходимо уметь принимать платежи в валюте;
- Для успешных кандидатов могут оформить рабочую визу в Великобританию или одну из стран ЕС через Deel.
