.svg)
Понедельник, отчёт для руководителя. Конверсия сайта за месяц упала с 4,40% до 3,25%. Вы открываете разбивку по устройствам и видите странное: на десктопе конверсия выросла, на мобильных тоже. Падает только итоговая цифра, хотя арифметика нигде не сломана.
Так выглядит парадокс Симпсона в аналитике: общий показатель идёт в одну сторону, а внутри каждой группы в другую. Виноваты не данные и не SQL, а привычка читать итог как среднее по группам. Ниже три гипотетических, но реалистичных кейса (конверсия, средний чек, A/B-тест), запросы для разбивки, правила выбора уровня агрегации и формулировки, с которыми не стыдно идти к заказчику.
Коротко:
- Итоговая метрика-отношение - это взвешенное среднее по группам. Когда веса меняются, итог способен уехать против всех слагаемых сразу.
- Настораживает резкий приток одного канала, платформы или типа клиента, особенно если группы различаются по уровню показателя в разы.
- Проверка занимает два запроса: показатель внутри каждой группы и состав групп по периодам или вариантам теста.
- Какому уровню верить, решает причинная схема. Группа, заданная до воздействия, обычно важнее итога. Группа, возникшая после воздействия, часто только портит картину.
- Руководству лучше показать два числа рядом: что произошло внутри групп и как изменился состав.
Откуда берётся переворот: ставки, веса и скрытый фактор
Любая метрика-отношение раскладывается на сумму: доля группы в знаменателе умножается на показатель этой группы. Конверсия сайта - это доля десктопа на конверсию десктопа плюс доля мобильных на конверсию мобильных. Так выглядит взвешенное среднее в аналитике, и двигать итог можно двумя рычагами: показателями внутри групп и самими дол
Три кейса с числами: канал трафика, средний чек и A/B-тест
Теория запоминается плохо, пока не пересчитаешь пример руками. Ниже три выдуманных, но типичных ситуации. Цифры подобраны так, чтобы их можно было проверить на калькуляторе за минуту.
Кейс 1: сайт, где сменился состав трафика
В прошлом месяце было 10 000 сессий. На десктоп пришлось 8 000 с CR 5,0%, на мобильные 2 000 с CR 2,0%. Всего 400 + 40 = 440 покупок, то есть 4,40%. В этом месяце сессий стало 20 000: маркетинг запустил рекламу в соцсетях, и 15 000 визитов пришли с телефонов. Десктоп дал 5 000 сессий с CR 5,5%, мобильные 15 000 с CR 2,5%. Покупок 275 + 375 = 650, общий CR 3,25%.
Обе платформы стали лучше: плюс 0,5 процентного пункта у каждой. Общий показатель при этом потерял 1,15 пункта. Доля мобильного трафика выросла с 20% до 75%, а мобильные покупают реже более чем вдвое. Продукт улучшился, а отчёт рисует катастрофу.
Кейс 2: средний чек в интернет-магазине
Месяц назад было 1 000 заказов. Постоянные покупатели оформили 700 заказов со средним чеком 3 000 ₽, новые 300 заказов по 1 500 ₽. Выручка 2 100 000 + 450 000 = 2 550 000 ₽, средний чек 2 550 ₽. В новом месяце заказов снова 1 000, но распределение другое: постоянные дали 300 заказов по 3 200 ₽, новые 700 заказов по 1 600 ₽. Выручка 960 000 + 1 120 000 = 2 080 000 ₽, средний чек 2 080 ₽.
Чек вырос и у тех, и у других, а общая цифра упала почти на 18%. Реальная причина проста: акция для новичков привела много первых покупок, и теперь они составляют большинство заказов. Это хорошая новость для роста базы, но не повод искать проблему в ассортименте или ценах.
Кейс 3: A/B-тест с кривой раздачей
Команда тестирует новую карточку товара. Вариант A получил 1 000 пользователей: 800 постоянных клиентов с долей покупок 30% (240 покупок) и 200 новичков с долей 5% (10 покупок). Всего 250 покупок, то есть 25,0%. Вариант B тоже получил 1 000 пользователей, но состав иной: 200 постоянных с долей 32% (64 покупки) и 800 новичков с долей 6% (48 покупок). Всего 112 покупок, то есть 11,2%.
В каждом сегменте вариант B выигрывает: 32% против 30% и 6% против 5%. По общей цифре он проигрывает больше чем вдвое. Здесь важная деталь: при честной случайной раздаче состав вариантов должен совпадать с точностью до шума. Если он разъехался так сильно, ломать надо не интерпретацию, а сам механизм раздачи. Например, вариант A могли отправить по email-базе лояльных клиентов, а B показали всем подряд на сайте.
| Кейс | Общая цифра | Внутри сегментов | Что сдвинулось в составе |
|---|---|---|---|
| Трафик сайта | 4,40% → 3,25% | Десктоп 5,0% → 5,5%, мобильные 2,0% → 2,5% | Доля мобильных 20% → 75% |
| Средний чек | 2 550 ₽ → 2 080 ₽ | Постоянные 3 000 → 3 200 ₽, новые 1 500 → 1 600 ₽ | Доля новых заказов 30% → 70% |
| A/B-тест | A 25,0% против B 11,2% | B лучше на 2 пункта и на 1 пункт | Новички в A 20%, в B 80% |
Во всех трёх историях механика одна. Есть сегмент с низким уровнем показателя, и его вес резко вырос. Показатели внутри сегментов при этом никуда не делись и даже улучшились.
Разложение кейса 1 на два эффекта.
Эффект ставок показывает, что дали изменения внутри сегментов при новых весах: 0,25 × 0,5 + 0,75 × 0,5 = +0,5 пункта. Эффект состава показывает, что дал сдвиг долей при старых показателях: (0,25 − 0,80) × 5,0 + (0,75 − 0,20) × 2,0 = −2,75 + 1,10 = −1,65 пункта. Сумма +0,5 − 1,65 = −1,15 пункта, что в точности равно падению с 4,40% до 3,25%. Такое разложение полезно показывать рядом с общим числом: оно сразу объясняет, кто виноват.
Два запроса, которые ловят переворот до отправки отчёта
Проверка не требует сложных инструментов. Нужны две таблицы: как ведёт себя показатель внутри каждого сегмента и как менялась структура. Ниже примеры для PostgreSQL. Предполагается таблица sessions с датой, устройством и признаком покупки. Названия полей замените на свои.
Первый запрос считает показатель по месяцам и платформам:
SELECT date_trunc('month', session_date) AS month, device, count(*) AS sessions, sum(is_purchase::int) AS orders, round(100.0 * sum(is_purchase::int) / count(*), 2) AS cr_pct FROM sessions GROUP BY 1, 2 ORDER BY 1, 2;Второй запрос показывает, какую долю каждый сегмент занимает в общем объёме месяца:
SELECT month, device, sessions, round(100.0 * sessions / sum(sessions) OVER (PARTITION BY month), 1) AS share_pct FROM (SELECT date_trunc('month', session_date) AS month, device, count(*) AS sessions FROM sessions GROUP BY 1, 2) t ORDER BY 1, 2;Если нужно сразу получить разложение из примера выше, пригодится третий вариант с CTE. Он сравнивает два соседних месяца и выдаёт вклад каждого сегмента в эффект состава и в эффект ставок:
WITH m AS (SELECT date_trunc('month', session_date) AS month, device, count(*) AS sessions, sum(is_purchase::int) AS orders FROM sessions GROUP BY 1, 2), w AS (SELECT month, device, orders::numeric / NULLIF(sessions, 0) AS cr, sessions::numeric / sum(sessions) OVER (PARTITION BY month) AS share FROM m) SELECT cur.device, round(100 * (cur.share - prev.share) * prev.cr, 2) AS mix_effect_pp, round(100 * cur.share * (cur.cr - prev.cr), 2) AS rate_effect_pp FROM w cur JOIN w prev ON prev.device = cur.device AND prev.month = cur.month - interval '1 month' WHERE cur.month = date '2026-06-01';Как читать результат. Сначала смотрите на знаки. Если эффект ставок положительный по всем сегментам, а эффект состава отрицательный и перевешивает, перед вами именно этот случай. Если знаки по сегментам разные, картина сложнее, и без разговора с владельцем продукта не обойтись.
Несколько практических замечаний:
- Сегментов должно быть немного. Три-пять осмысленных признаков (устройство, канал, новый или постоянный клиент, регион, тариф) полезнее сорока случайных разрезов.
- Защищайтесь от деления на ноль. Если у сегмента в одном из месяцев нет наблюдений, NULLIF вернёт пустое значение, и строку придётся разобрать вручную.
- Следите за размером. Показатель на сотне наблюдений скачет сам по себе, и красивый переворот может оказаться шумом, а не структурой.
- Сравнивайте сопоставимые периоды. Если в одном месяце была распродажа, а в другом нет, состав изменится независимо от вашей работы.
Полезная привычка: добавьте второй запрос на дашборд как постоянную панель под основным графиком. Резкий сдвиг долей на десять пунктов и больше обычно заслуживает отдельной пометки, даже если общая цифра выглядит спокойно.
Как выбрать уровень, которому верить: схема причин вместо голосования
Самый частый вопрос после обнаружения переворота звучит так: что же теперь считать правдой, общую цифру или разбивку? Универсального ответа нет. Правильный выбор следует из того, как данные появились. Помогает один вопрос: когда и кем определяется, в какой сегмент попадёт наблюдение?
Если признак задан до воздействия и влияет на исход, он сбивает сравнение. Устройство, канал привлечения, тип клиента, страна: человек пришёл с телефона раньше, чем увидел новую карточку, и телефон сам по себе снижает вероятность покупки. Тогда сравнивать нужно внутри сегментов или хотя бы выравнивать состав по весам. Верить стоит разбивке.
Если признак возникает после воздействия, картина обратная. Допустим, вы изменили оформление корзины и смотрите среднюю сумму среди тех, кто дошёл до оплаты. Само изменение влияет на то, кто дойдёт до оплаты, поэтому такой сегмент уже отфильтрован воздействием. Сравнение внутри него смешивает разные типы людей. В таком случае честнее смотреть на всех, кто увидел изменение, то есть на общую цифру.
| Тип признака | Пример | Когда определяется | Чему верить |
|---|---|---|---|
| Исходная характеристика | Устройство, канал, тип клиента | До воздействия | Показателям внутри сегментов или взвешенному сравнению |
| Следствие воздействия | Дошёл до оплаты, открыл письмо, оформил подписку | После воздействия | Общей цифре по всем, кого коснулось изменение |
| Неочевидный случай | Регион при акции в одном городе | Зависит от схемы запуска | Обоим числам, плюс проверка на контрольном сравнении |
Признак вроде региона нередко сбивает с толку. Если акцию запускали в одном городе по решению менеджера, регион связан с воздействием. Если же в городе просто живут разные клиенты, он ближе к исходной характеристике. Ответ лежит не в таблице, а в истории запуска, поэтому полезно спросить коллег, как принималось решение. Если честного контрольного сравнения нет, помогут методы каузального вывода без A/B-теста.
Есть и обратная ловушка: слепая вера в разбивку. Чем больше разрезов, тем выше шанс найти в каком-нибудь из них красивый эффект случайно. Если вы перебрали двадцать срезов и нашли один, где вариант B выигрывает, это ещё не открытие. Заранее запишите, какие разрезы собираетесь смотреть, и ограничьтесь ими. Остальное считайте гипотезами для нового теста.
Ещё одно ограничение связано с малыми объёмами. Если в сегменте мало наблюдений, его показатель плохо определён, и сравнение внутри него шумное. Тогда помогает доверительный интервал или объединение близких сегментов в более крупные. Можно также прямо сказать, что данных для вывода по этому разрезу недостаточно.
В A/B-тестах отдельная история. Если раздача случайная и размер выборки достаточный, состав вариантов совпадает, и общая цифра работает как надо. Расхождение состава сигнализирует о поломке: сломалось разбиение, перекошен трафик, часть пользователей видела оба варианта. Поэтому до разговора о победителе проверьте, что доли сегментов в вариантах близки. Если нет, сначала чините эксперимент, а уже потом смотрите результат. Как запускать и проверять эксперименты, мы разобрали в статье про A/B-тестирование для аналитика.
Практическое правило для спорных случаев: посчитайте оба числа и запишите, при каких допущениях каждое верно. Если вывод одинаков при любом допущении, спорить не о чем. Если разный, это повод вынести вопрос на обсуждение, а не выбирать удобный вариант молча.
Что сказать руководству и что проверить перед отправкой
Нашли переворот, посчитали, выбрали уровень. Остаётся самое сложное: объяснить это человеку, у которого есть минута и тревожный график. Длинное объяснение про взвешенные средние почти не работает. Лучше работает порядок: сначала факт, затем причина, затем вывод для решения.
Шаблон сообщения.
Общий CR упал с 4,40% до 3,25%, но качество сайта не ухудшилось: на десктопе CR вырос с 5,0% до 5,5%, на мобильных с 2,0% до 2,5%. Падение объясняется сменой состава трафика: доля мобильных визитов выросла с 20% до 75% после запуска рекламы в соцсетях, а мобильные покупают реже. Предлагаю оценивать кампанию по CR внутри каналов и по стоимости покупки, а общий показатель показывать вместе с долей мобильного трафика.
Такой текст держится на трёх опорах: конкретные числа, названная причина, предложенное решение. Если у вас есть только одна из трёх, письмо вызовет вопросы вместо спокойствия.
Несколько формулировок, которые лучше не использовать:
- «Данные противоречат друг другу». Они не противоречат, они отвечают на разные вопросы. Скажите, на какие именно.
- «Общая цифра врёт». Она не врёт, а скрывает структуру. Разница важна, потому что вам ещё работать с этими данными.
- «Всё нормально, просто статистика». Без чисел это звучит как отмазка. Покажите разложение.
Если собеседник не из аналитики, помогает бытовая аналогия. Например, средний балл по школе может упасть, хотя каждый класс подтянулся, если в школу пришло много новых первоклассников. Одна понятная картинка стоит десяти формул.
Теперь короткий чеклист на десять минут перед отправкой любого отчёта с метрикой-отношением:
- Выберите два-четыре разреза, которые разумно влияют на показатель, и запишите их до просмотра данных.
- Посчитайте показатель внутри каждого сегмента за оба периода или для обоих вариантов теста.
- Посчитайте доли сегментов за те же периоды и сравните.
- Если направления внутри сегментов и в общей цифре расходятся, разложите изменение на эффект ставок и эффект состава.
- Определите, возникает ли сегмент до воздействия или после него, и выберите уровень для вывода.
- Для A/B-теста отдельно проверьте, что составы вариантов совпадают, а раздача случайна.
- Оцените размер сегментов: там, где наблюдений мало, добавьте оговорку или объедините близкие срезы.
- Покажите руководству два числа рядом и одну фразу о причине.
Когда проверка превращается в привычку, неприятные сюрпризы на встречах случаются реже. Вы заранее знаете, где состав изменился, и успеваете подготовить объяснение, а не придумываете его под вопросом директора. Хорошая практика для команды: включить долю ключевых сегментов в стандартный шаблон отчёта и заложить автоматическую пометку при сдвиге долей больше заданного порога, например десяти пунктов. Тогда проверка не зависит от внимательности конкретного аналитика в конкретный понедельник.
Непрерывные признаки: как нарезать возраст, чек и стаж без самообмана
Пока признак простой (телефон или компьютер), разбивка очевидна. Сложнее с числовыми величинами: возраст клиента, сумма первого заказа, стаж на платформе, число визитов до покупки. Их приходится нарезать на корзины, и от границ нередко зависит, увидите вы переворот или нет.
Две типичные ошибки. Первая: подбирать границы после просмотра результата, пока картина не станет красивой. Вторая: брать слишком крупные корзины, внутри которых всё ещё прячется неоднородность. Например, корзина «покупатели старше 30 лет» смешивает тридцатилетних и шестидесятилетних, у которых поведение может отличаться в разы.
- Фиксируйте границы до анализа. Берите разумные бизнес-рубежи или квантили: квартили, децили.
- Проверьте устойчивость. Сдвиньте границы на 10-20% и посмотрите, сохраняется ли направление эффекта. Если картина рассыпалась, вывод держится на удачной нарезке.
- Следите за краями. В самой нижней и самой верхней корзине наблюдений обычно мало, а выбросы сильнее всего искажают среднее.
- Не дробите без нужды. Каждая лишняя корзина уменьшает объём и повышает шум.
Если признаков несколько, разрезы можно комбинировать, но помните о цене: при трёх признаках по пять значений получится 125 ячеек, и в большинстве из них будет слишком мало данных. Для такой задачи уже подходит регрессия с контролем нескольких факторов сразу, а не ручные таблицы. Как её строить и объяснять бизнесу, читайте в статье про регрессионный анализ.
Фиксированные веса: как показать динамику, не зависящую от смены структуры
Разложение на два эффекта объясняет прошлое. Но иногда руководству нужен другой график: как менялось качество сайта или продукта, если бы структура трафика осталась прежней. Для этого пригодится стандартизация, то есть пересчёт по зафиксированным весам.
Идея простая. Выберите эталонное распределение, например доли прошлого квартала или среднюю структуру за год. Затем умножайте на эти веса показатели каждого месяца. Получится сводная цифра, где изменение структуры исключено, и остаётся только то, что происходило внутри категорий.
- Определите эталонные доли и закрепите их в документации метрики.
- Для каждого периода посчитайте показатель в каждой категории.
- Умножьте показатели на эталонные веса и сложите.
- Выведите на дашборд две линии: фактическую и стандартизованную.
Расхождение двух линий наглядно показывает вклад структуры. Если они идут параллельно, смена состава ни при чём. Если фактическая линия падает, а стандартизованная растёт, вы видите тот самый переворот, но уже без единой формулы в презентации.
Ограничение у метода одно: эталон нужно выбирать заранее и не менять каждый месяц. Иначе вы потеряете сопоставимость и получите ещё один повод для споров о цифрах.
Переворот во времени: когорты, сезонность и недозревшие данные
Структура меняется не только по каналам и платформам. Во времени есть три ловушки, которые дают похожий эффект.
Первая: недозревшие данные. Если вы считаете долю оплативших среди всех, кто зарегистрировался в этом месяце, свежие регистрации ещё не успели дойти до оплаты. Общая доля занижена, хотя внутри старых когорт всё стабильно. Решение: сравнивайте когорты на одном возрасте, например оплату в течение семи дней после регистрации. Подробно про такой подход рассказали в статье о когортном анализе.
Вторая: сезонный сдвиг. В декабре приходят подарочные покупатели, в январе распродажные охотники. Состав аудитории другой, значит, сравнение месяца с предыдущим сопоставляет разные популяции. Надёжнее сравнивать тот же месяц год назад или смотреть отклонение от сезонной нормы.
Третья: выживание. В удержании со временем остаются самые лояльные, поэтому средний показатель по оставшимся растёт, хотя поведение отдельных людей не улучшилось. Ставить это в заслугу новой функции нельзя, пока вы не сравнили одинаковые когорты с изменением и без него.
Практическая проверка для любого временного отчёта: задайте вопрос, одни и те же ли люди стоят в знаменателе в двух периодах. Если нет, выясните, чем именно отличаются, прежде чем интерпретировать динамику.
Когда доступны только итоги: что запросить и как оценить риск
Бывает, что до детальных данных не добраться: отчёт пришёл из внешнего сервиса, подрядчик отдал только сводку, а доступ к сырым логам закрыт. Проверить переворот напрямую невозможно, но риск оценить можно.
- Попросите хотя бы одну дополнительную разбивку: по платформе, каналу или типу клиента. Для проверки достаточно двух-трёх строк на период.
- Узнайте о событиях: запускали ли рекламу, меняли ли тарифы, выходило ли обновление приложения. Любое из них способно сдвинуть структуру.
- Сравните объёмы. Если число наблюдений выросло или упало вдвое, а качество работы вроде бы то же, поищите причину в притоке или оттоке определённой аудитории.
- Оцените крайние сценарии. Прикиньте, как должна была измениться структура, чтобы объяснить падение. Если для этого нужен нереалистичный сдвиг, гипотеза отпадает.
Если дополнительных данных не будет, честно обозначьте это в отчёте: вывод сделан по итоговым цифрам, возможный эффект смены структуры не проверен. Такая оговорка стоит одной строки, а защищает от неприятного разговора, когда выяснится, что картина была иной.
Единица анализа: пользователи, сессии и заказы дают разные картины
Перед разбивкой стоит проверить, что стоит в знаменателе. Одна и та же метрика, посчитанная на сессиях, пользователях или заказах, реагирует на смену структуры по-разному, и иногда переворот появляется только на одном из уровней.
Пример.
За месяц было 10 000 сессий от 4 000 уникальных пользователей и 300 покупок. Конверсия по сессиям 3,0%, по пользователям 7,5%. В следующем месяце приложение стало удобнее, люди начали заходить чаще: 14 000 сессий от тех же 4 000 пользователей, покупок по-прежнему 300. Конверсия по сессиям упала до 2,1%, по пользователям осталась 7,5%. Продукт не ухудшился, просто выросла частота визитов.
Из этого следуют три правила:
- Выбирайте единицу под вопрос. Если интересует поведение людей, считайте на пользователях. Если нагрузка на воронку, подойдут сессии.
- Не смешивайте уровни в одной формуле. Выручку на пользователя нельзя делить на число заказов и называть это чеком.
- Проверяйте, как один человек попадает в группы. Если пользователь заходит и с телефона, и с компьютера, он учтётся дважды, и доли групп перестанут складываться в 100%.
Хорошая привычка: в описании метрики писать единицу измерения и правило отнесения к группе. Тогда два отчёта с похожими названиями не превращаются в спор о том, чей расчёт верный.
Типичные ошибки при разборе переворота
Даже когда аналитик знает про эффект, на практике он ошибается в одних и тех же местах. Таблица ниже помогает пройтись по списку перед отправкой выводов.
| Ошибка | Как выглядит | Как исправить |
|---|---|---|
| Усреднение долей | Берут среднее арифметическое конверсий групп вместо взвешенного | Считать суммы числителей и знаменателей, затем делить |
| Поиск вины в одной группе | Объясняют падение худшей группой, хотя её показатель не менялся | Разложить изменение на вклад ставок и вклад долей |
| Подгонка разреза | Перебирают признаки, пока не найдут нужное направление | Заранее записать список разрезов и не выходить за него |
| Игнорирование малых выборок | Делают вывод по группе из нескольких десятков наблюдений | Показать интервал или объединить близкие группы |
| Разные периоды в сравнении | Неделя с акцией против обычной недели | Сравнивать сопоставимые периоды или тот же период прошлого года |
Отдельно отметим вторую строку. Если показатель группы не изменился, а общая цифра сдвинулась, причина почти наверняка в долях. Искать проблему в самой группе в такой ситуации бессмысленно, а время на это уходит большое.
Как закрепить проверку в команде: договорённости вместо героизма
Разовая проверка перед важным отчётом спасает один отчёт. Чтобы переворот не всплывал на каждой встрече, нужны простые правила, которые работают независимо от внимательности конкретного человека.
- Для каждой ключевой метрики-отношения определите один или два обязательных разреза и опишите их в справочнике метрик.
- Добавьте в шаблон отчёта строку с долями групп рядом с основным графиком.
- Договоритесь о пороге сдвига долей, при котором в отчёте обязательна пометка. Порог лучше подобрать по истории, а не взять с потолка.
- Перед запуском эксперимента фиксируйте ожидаемый состав групп, после запуска сверяйте с фактом.
- Раз в квартал просматривайте случаи, когда общая цифра и разбивка расходились, и записывайте причины. Через год у вас появится готовая библиотека типичных сценариев.
Полезно также проговорить с заказчиками, что общая цифра и разбивка равноправны. Тогда, увидев в отчёте две линии, они не воспримут это как попытку оправдаться, а будут читать их как две части одного ответа.
