Конверсия снизилась: сравните периоды при одинаковом составе трафика

Общая конверсия снизилась, хотя внутри знакомых источников трафика картина выглядит лучше. Перед сменой карточки проверьте состав потока. Группа с меньшей долей целевых действий могла получить больший вес в общем результате.

Смена направления связи при объединении групп известна как парадокс Симпсона. Работа Джуды Перла объясняет, почему агрегированное и разделённое представления могут давать разные направления связи и почему причинный вывод требует знания процесса формирования данных. Ни общий процент, ни разбивка сами по себе не доказывают эффект рекламы.

Зафиксируйте событие и основание

Выберите одну метрику с неизменным определением числителя и знаменателя. Периоды, окно атрибуции, товарный охват и правила учёта должны быть сопоставимы. Если нужны исходные определения, начните с материала о знаменателе конверсии в корзину на Маркете.

Для следующего расчёта нужны реальные количества событий и наблюдений по одним и тем же группам в обоих периодах. Источники подходят, только если выбранная выгрузка позволяет сформировать непересекающиеся группы с согласованной атрибуцией. Не складывайте уникальных людей из перекрывающихся строк и не смешивайте конверсию посещений с конверсией показов.

Постройте таблицу двух периодов

Для каждой группы сохраните знаменатель, число целевых действий и их отношение. Рядом рассчитайте долю группы в общем знаменателе своего периода. Сумма знаменателей групп должна совпасть с охватом, который вы анализируете.

Если знаменатель равен нулю, конверсия не определена. Не заменяйте её нулём и не восстанавливайте точные события из округлённого процента.

Примените общие веса

Для описательной проверки выберите один общий состав, например доли групп в первом периоде. Зафиксируйте этот выбор до интерпретации результата. Для каждого периода умножьте конверсию каждой группы на её выбранный общий вес, затем сложите произведения. Веса должны быть неотрицательными и в сумме давать единицу.

Получатся два условных показателя при одинаковой структуре. Это пересчёт ваших наблюдений, а не прогноз реального результата при покупке такого трафика. Если группа отсутствовала в одном периоде, оценить её конверсию для него нельзя. Можно отдельно сравнить общий охват присутствующих в обоих периодах групп, явно сообщив об исключённой части. Не подставляйте выдуманную долю успехов.

Сохраните оба ответа

Поставьте рядом фактическую общую конверсию, конверсии групп, их доли и пересчёт с общими весами. Если направления расходятся, в отчёте опишите, какая часть сравнения зависит от состава. Не объявляйте общий показатель ошибочным: он отвечает на вопрос о фактическом потоке своего периода.

Если снижение сохраняется и при общих весах, изучите изменения внутри групп: доступность товара, цену, предложение и качество данных. При малом числе наблюдений отдельно оцените неопределённость; красивое направление процента не гарантирует устойчивого различия.

Сохраните выгрузку, правила группировки и веса вместе с выводом. Рабочий результат здесь состоит в воспроизводимом сравнении. Для решения, вызвано ли изменение конкретным действием, потребуется отдельная проверка причинной гипотезы.