Содержание
Вероятность отмены: проверьте соответствие прогноза фактической доле
Прогноз вероятности отмены полезно проверять по группам похожего риска: соответствует ли средняя предсказанная вероятность фактической доле отмен в группе? Такая проверка называется калибровочной кривой. Она помогает найти систематическое завышение риска, даже если общий показатель качества выглядит приемлемо.
Нужны сохранённые до исхода заказа вероятности и уже известные финальные результаты. Каждая строка относится к одному заказу. Кодируйте отмену единицей, отсутствие отмены нулём; заранее определите, какие причины и какой срок наблюдения включены.
Сначала исключите утечку будущего
Используйте отдельный период проверки, не обучающие данные модели. Незавершённые заказы не записывайте автоматически как отсутствие отмены. Проверьте уникальность заказов, диапазон вероятностей от нуля до единицы и соответствие прогноза реальному моменту решения.
Не смешивайте прогноз до оплаты с прогнозом после сборки: это разные задачи. Сохраните версию модели и дату выгрузки.
Соберите группы и их объёмы
Документация scikit-learn определяет координаты кривой как среднюю вероятность внутри интервала и долю положительных исходов в том же интервале. Рядом нужен объём группы: две точки с разным числом заказов имеют разную устойчивость.
Практический порядок на ваших данных:
- Заранее задайте границы интервалов вероятности и правило включения граничного значения.
- Для каждого интервала посчитайте число заказов, среднюю сохранённую вероятность и среднее бинарного признака отмены.
- Исключите из графика пустые интервалы, но сохраните их как пустые в таблице проверки.
- Постройте точки «средний прогноз, фактическая доля» и диагональ совпадения.
- Отдельно покажите число наблюдений в каждом интервале.
В Python готовая calibration_curve рассчитывает первые две координаты; число заказов по тем же границам следует сохранить отдельно. Не принимайте число возвращённых точек за число исходно заданных интервалов.
Интерпретируйте отклонение
Если фактическая доля выше прогноза, в этой группе риск недооценён; если ниже, переоценён. Небольшое число заказов может давать нестабильную долю, поэтому не перестраивайте модель по одной малой группе.
Калибровочная кривая не говорит, сколько заказов склад успеет дополнительно проверить, и не выбирает рабочий порог автоматически. Для решения об очереди проверок отдельно оцените ресурсы и последствия ошибок.
Проверьте изменение на новом периоде
Если требуется исправлять вероятности, поручите аналитику настройку калибратора на данных, независимых от обучения исходной модели. Повторная оценка на тех же строках, по которым исправляли прогноз, даёт излишне благоприятную картину.
Результат: сохранённая таблица интервалов с объёмом, прогнозом и долей отмен и перечень устойчивых отклонений для проверки на следующем независимом периоде.
Комментарии 0