системный аналитик экспериментов

Специалист будет развивать направление A/B-тестирования: от постановки гипотез и дизайна экспериментов до анализа результатов, автоматизации и развития конвейеров данных.

• Масштабировать A/B-тестирование: формулировать гипотезы, разрабатывать дизайн, приоритизировать, запускать и анализировать эксперименты;
• Рассчитывать метрики, размер выборки и длительность тестов, контролировать рандомизацию и статистическую корректность;
• Настраивать и мониторить эксперименты, проводить контроль качества, взаимодействовать с продуктовой командой, разработчиками и специалистами по контролю качества;
• Анализировать результаты и сегменты, применять последовательное тестирование, объяснять выводы на языке бизнеса;
• Развивать конвейеры данных, процессы ETL/ELT и единый слой метрик для экспериментов;
• Контролировать качество данных и оценивать их влияние на бизнес-метрики и статистическую достоверность;
• Проводить анализ чувствительности и оптимизировать сбор данных без потери качества результатов;
• Разрабатывать инструменты самообслуживания для запуска и анализа экспериментов;
• Автоматизировать аналитику с помощью LLM: подготовку SQL, отчётов и первичный анализ результатов;
• Развивать документацию, стандарты и лучшие практики экспериментирования.

• От 2 лет опыта в A/B-тестировании, полный цикл от гипотезы до интерпретации результатов;
• Практический опыт масштабирования программ экспериментов, а не только проведения отдельных тестов;
• Хорошее понимание p-value, доверительных интервалов, статистической мощности и размера выборки;
• Опыт работы с отношениями метрик: AOV, ARPPU, коэффициент конверсии и другими;
• Знание методов анализа отношений метрик: линеаризации и bootstrap;
• Понимание рисков преждевременного просмотра результатов и множественного тестирования, знание последовательного тестирования;
• Продвинутый SQL: оконные функции, сложные JOIN и агрегации на больших объёмах данных;
• Python для анализа данных и автоматизации: pandas, numpy, scipy или statsmodels;
• Понимание архитектуры ETL/ELT и конвейеров данных, принципов построения витрин и контроля качества данных;
• Опыт оценки влияния объёма и качества данных на бизнес-метрики и статистическую достоверность экспериментов;
• Опыт применения анализа чувствительности для оценки ценности отдельных сессий и событий;
• Опыт работы с платформами экспериментов: Optimizely, SiteSpect или внутренними решениями;
• Опыт работы с инструментами продуктовой аналитики: GA4, Amplitude, Mixpanel;
• Понимание архитектуры сбора и обработки экспериментальных данных;
• Будет плюсом опыт автоматизации аналитических задач с помощью LLM и AI-агентов, разработка инструментов самообслуживания для продуктовых команд, создание внутренней платформы экспериментов, знание особенностей тестирования мобильных приложений и ограничений экспериментов внутри приложений, опыт работы с персонализацией: Dynamic Yield, Nosto.

• Условий в вакансии нет