Квантильный прогноз продаж: сравните модели через pinball loss

Если аналитик передаёт прогноз высокого квантиля продаж, обычная абсолютная ошибка может быть неудобным критерием сравнения моделей. Для такого прогноза ошибки в две стороны оценивают с разными весами. Соберите сохранённые прогнозы одного уровня и посчитайте pinball loss на одинаковых строках.

Что нужно получить от аналитика

Уточните, что число является прогнозом квантиля с заданной вероятностью p, где 0 < p < 1. Средний прогноз, медиана и верхний квантиль не взаимозаменяемы. Уровень должен быть записан явно, а не восстановлен по названию столбца «план с запасом».

Подготовьте по каждой строке SKU, единицу измерения, склад или канал, дату выпуска прогноза, целевой период, горизонт, уровень p, прогноз f и факт y. Используйте версии, выпущенные до целевого периода. Для двух моделей нужны прогнозы одних и тех же строк.

Пропуск факта не равен нулю. Продажи в период отсутствия товара не показывают весь возможный спрос: отметьте такие строки и заранее определите, какую задачу вы проверяете. Не восстанавливайте упущенный спрос произвольным числом.

Посчитайте ошибку с двумя весами

В Forecasting: Principles and Practice, разделе Quantile scores описана оценка квантильного прогноза. В книге используется множитель 2. Ниже берём распространённую форму без этого множителя, pinball loss; внутри сравнения сохраняйте одну форму.

Для каждой строки вычислите:

если y >= f: L = p × (y − f)
если y <  f: L = (1 − p) × (f − y)

Факт выше прогноза получает вес p, ниже прогноза вес 1 − p. При p больше 0,5 превышение факта на одинаковое количество штук даёт большую потерю. При точном совпадении результат равен нулю. Чем меньше средняя потеря на сопоставимой проверочной выборке, тем лучше оценка выбранного квантиля по этому критерию.

Добавьте отдельные столбцы «факт выше или равен прогнозу», «разница» и «потеря». Проверьте на своих строках обе ветви: величина должна быть неотрицательной, а при равенстве нулевой. Затем посчитайте среднее L и число пригодных строк для каждой модели.

Сравнивайте одинаковую задачу

Оставьте один p, одинаковый горизонт и одно определение факта. Нельзя оценивать прогноз заказанных штук по выкупленной выручке. При разных составах SKU меньший итог может объясняться переходом к товарам с меньшими объёмами: сначала сравните результаты по SKU, затем используйте заранее согласованное правило объединения.

Не выбирайте между прогнозом медианы и высоким квантилем только по их средним потерям при разных p. Это разные цели. Сначала зафиксируйте нужный квантиль, потом сравнивайте модели, которые его прогнозируют.

Если итоговое преимущество невелико, посмотрите строки, создавшие разницу, и устойчивость по периодам. Один удачный отрезок ещё не подтверждает будущую точность. Результат проверки должен содержать исходные версии, правила отбора, расчёт потерь и объём сравнения.

Как использовать результат в закупке

Передайте аналитику таблицу с результатами и перечнем проблемных строк. При обнаруженной ошибке сопоставления исправьте входы и пересчитайте сравнение. При отсутствии сохранённых прогнозов начните их сохранять; пересчитанная задним числом модель не заменяет прежнее решение.

Квантиль продаж сам по себе не задаёт уровень обслуживания склада или объём заказа. Для закупки отдельно нужны текущие остатки, ожидаемые поступления, срок поставки и ограничения заказа. Не переводите величину L в обещанную экономию.

Если система выдаёт целый диапазон, полезна отдельная проверка попаданий и ширины прогнозного интервала. Она отвечает на другой вопрос: как ведут себя две границы диапазона, а не один выбранный квантиль.