Проверка прогноза продаж: переносите дату отсечения без утечки будущего

Модель хорошо описывает историю продаж, но для закупки нужно знать, как она предсказывала бы ещё неизвестные дни. Проверьте, не попали ли сведения из будущего в обучение и подготовку данных. Для этого подходит проверка с последовательным переносом даты, на которую строится прогноз.

Forecasting: Principles and Practice описывает time series cross-validation: обучающая часть содержит только наблюдения до проверяемого периода. Дата построения прогноза сдвигается вперёд, а ошибки оцениваются по нескольким таким проверкам. Для задачи с длинным горизонтом нужно проверять соответствующие шаги вперёд, а не только следующий день.

Задайте реальное решение

Зафиксируйте один SKU или согласованный набор, канал, единицу времени и то, что прогнозируете: заказы, отгрузки или другой показатель. Выберите горизонт, который нужен решению о закупке. Хороший прогноз на следующий день не доказывает такую же пригодность для всего срока пополнения.

Определите даты отсечения, первоначальный объём обучения, шаг переноса и проверяемые горизонты до просмотра итоговых ошибок. Слишком короткая история не становится достаточной от того, что её много раз разделили. Согласуйте требования к длине обучающей части с аналитиком.

Восстановите доступные тогда сведения

Для каждой даты отсечения оставьте в обучении только информацию, которая уже была известна к ней. Это относится не только к продажам, но и к признакам, пересчётам и справочникам, участвующим в модели.

Заранее известный календарь и фактически измеренный будущий результат представляют разную информацию. Если использован будущий рекламный расход, проверьте, был ли тогда доступен план именно этого расхода. Нынешняя итоговая сумма не заменяет архивный план.

Оценку пропусков и параметры преобразований тоже рассчитывайте без доступа к проверяемому будущему. Иначе правильная последовательность строк не устранит утечку через предварительную обработку. Если старые версии входов не сохранены, укажите это ограничение проверки.

Сохраняйте один результат на дату и горизонт

При перекрывающихся горизонтах одна дата факта может встретиться в нескольких строках с разными датами построения. Это разные прогнозы. Не удаляйте их как случайные дубли, но и не считайте все строки независимыми наблюдениями при оценке уверенности в результате.

Сравнивайте методы на одинаковых проверках

Проверьте, что методы получили одинаковые даты отсечения, горизонты и фактические значения. Сначала сравните ошибки отдельно по каждому нужному горизонту, затем выбранный общий показатель с явно указанным способом объединения.

Не заменяйте проверку качества ошибкой подгонки модели на всей истории. И не выбирайте лучший метод по разным удобным периодам для каждого: состав проверки должен оставаться общим.

До расчёта подготовьте календарь исходных наблюдений с отдельными отметками пропусков. Если факта нет, отметьте исключение, вместо подстановки оценённого значения как наблюдения.

Результат: воспроизводимая таблица прогнозов, построенных только на доступном прошлом, и сравнение на нужном горизонте. Она показывает качество выбранной процедуры на проверенной истории, но не гарантирует тот же результат после изменения ассортимента, цен или условий продажи.