Перейти к содержанию
Содержание

Прогноз отмен заказов: сравните вероятности оценкой Брайера

Если аналитик оценивает вероятность отмены каждого заказа, проверять прогноз только по ярлыку «отменится» недостаточно. Сохраните исходные вероятности и оцените, насколько они расходятся с наблюдаемыми исходами. Ниже рассматривается бинарное событие с заранее установленным горизонтом наблюдения.

Зафиксируйте событие и момент прогноза

До расчёта определите, что считается отменой и в течение какого периода после момента прогноза вы наблюдаете результат. По каждому заказу сохраните ID, время прогноза, вероятность, версию модели и окончательный исход в пределах выбранного горизонта.

Прогноз отмен заказов: сравните вероятности оценкой Брайера

Вероятность должна быть записана до того, как стал известен исход. Если пересчитать её задним числом по обновлённым сведениям заказа, проверяться будет другой прогноз. Выбирайте проверочный период, который не использовался для подбора сравниваемых моделей.

Проверьте завершённость наблюдения

У каждого включённого заказа должен закончиться выбранный горизонт. Заказ с ещё неизвестным исходом не является подтверждённым отсутствием отмены. Установите дату среза, сохраните количество ожидающих наблюдений и дождитесь результата для заранее выбранной когорты.

Для двух моделей нужны прогнозы по одним ID и одинаковое определение события. Пропущенная вероятность не равна нулевой. Сначала разберите пропуски, затем зафиксируйте общий состав сравнения и его ограничения.

Рассчитайте средний квадрат ошибки

Обозначьте исход y: единица, если событие произошло, ноль в противном случае. Пусть p является сохранённой вероятностью этого же события в диапазоне от нуля до единицы. Для каждой строки вычислите (p-y)², затем среднее по всем включённым заказам.

Это бинарная форма оценки Брайера в диапазоне от нуля до единицы. Документация scikit-learn описывает её как средний квадрат разности вероятности и исхода; меньшее значение лучше. Для многоклассовой задачи и иных соглашений о масштабировании диапазон может отличаться.

Не округляйте вероятность до ответа «да» или «нет» перед расчётом. Такое преобразование теряет сведения об уверенности и меняет оцениваемый прогноз.

Сравните на одной базе

Рассчитайте показатель для каждой модели на одной сохранённой выборке. Полезно также заранее задать простой базовый прогноз, например постоянную историческую долю отмен из предшествующего обучающего периода. Не подбирайте эту долю по исходам проверочного периода.

В отчёте оставьте число заказов, долю события, даты, горизонт, версии моделей и правило масштабирования оценки. Меньшая ошибка на этой выборке не доказывает будущую экономию и не задаёт порог управленческого действия. Для решения об обработке заказов отдельно оцените стоимость действий и ограничения процесса.

Рабочий результат: воспроизводимое сравнение сохранённых вероятностей с исходами. Если два расчёта используют разные заказы или горизонт, сначала устраните это различие, затем сопоставляйте оценки.

Теги

Комментарии 0

0 / 1500

Популярные статьи