Остатки модели прогноза: найдите повторяющийся рисунок ошибок

Средняя ошибка прогноза близка к нулю, но одни и те же дни недели снова дают недооценку продаж. Итоговая метрика скрывает порядок ошибок. Для аналитика запасов следующий шаг: проверить, остался ли в остатках модели повторяющийся рисунок.

Подготовьте именно остатки модели

По разделу о диагностике остатков в Forecasting: Principles and Practice, корреляция инновационных остатков означает, что модель использовала не всю доступную информацию. Отсутствие корреляции само по себе не выбирает лучшую модель.

Запросите у аналитика выгрузку для одного SKU, одной частоты и одной версии модели: дата, фактические продажи, однопериодное расчётное значение и остаток. Для модели в исходной шкале остаток можно записать как факт − расчётное значение. Если модель работает после преобразования, сначала уточните, в какой шкале программа возвращает диагностические остатки.

Не смешивайте их с ошибками плана закупки на несколько недель вперёд. Для проверки будущей точности нужен отдельный тест на данных, которых модель не видела.

Посмотрите ошибки в порядке дат

Постройте график остатков вокруг нулевой линии. Отметьте дни отсутствия товара, акции, изменение цены и смену схемы продаж. Длинные серии одного знака или повтор в одни и те же дни дают вопросы для проверки, но ещё не доказывают причину.

Сохраните исходный график. Не удаляйте неудобные даты ради ровной картинки: иначе невозможно проверить, исчезла ли закономерность после изменения модели или только после очистки данных.

Проверьте связь между соседними периодами

Попросите аналитика построить ACF остатков, то есть корреляции с их прошлыми значениями при разных сдвигах. Для дневных данных отдельно рассмотрите сдвиг на неделю, если торговый календарь делает его осмысленным. Для недельных данных сдвиг 7 означает семь недель, а не день недели.

Сначала зафиксируйте частоту и интересующие сдвиги, затем смотрите результат. Один выделяющийся столбец среди множества проверок не превращайте в универсальное правило закупки. На короткой истории вывод оставьте предварительным.

Эта таблица задаёт направления исследования. Она не устанавливает причину статистическим тестом и не подтверждает эффект рекламы.

Проверьте новую версию до закупки

Сформулируйте одно изменение, которое должно объяснить найденный рисунок: например, учёт календаря. Сохраните прежнюю модель как контроль. Сравните обе версии на одинаковых датах отсечения, горизонте и составе SKU.

Прочитайте про проверку прогноза без утечки будущего, прежде чем использовать контрольный период для настройки.

Удачная диагностика заканчивается записью: какой рисунок найден, какое объяснение проверяется, как изменились ошибки на отложенных данных и какое решение принято. Если улучшения вне обучения нет, не увеличивайте закупку только из-за более красивых остатков.