Содержание
Два контролёра: оцените согласие решений с помощью каппы Коэна
Два сотрудника могут часто давать одинаковый ответ просто потому, что большинство заказов относятся к одной категории. Для анализа согласия сохраните полные пары решений и дополните долю совпадений каппой Коэна. Эта задача не определяет, кто из сотрудников прав.
Подготовьте полные пары
Для каждого проверенного заказа нужны ID и два независимых решения по одному критерию. Согласуйте категории до проверки. Не заменяйте пропуск ответом «ошибки нет» и не меняйте исходные оценки после обсуждения.
Ниже рассматриваются два бинарных решения: ошибка есть или её нет. Удалите повторные строки одного заказа, сохранив причины исключений. Не сравнивайте решения по разным выборкам как парные наблюдения.
Составьте таблицу
| Решение A | B: ошибка есть | B: ошибки нет |
|---|---|---|
| Ошибка есть | a | b |
| Ошибки нет | c | d |
Буквы обозначают реальные количества заказов вашей проверки. Пусть n=a+b+c+d. Наблюдаемая доля совпадений равна po=(a+d)/n. Оценка совпадений из частот ответов: pe=((a+b)*(a+c)+(c+d)*(b+d))/n².
В документации scikit-learn каппа определена как (po-pe)/(1-pe). При единице ожидаемого согласия знаменатель нулевой: не заменяйте неопределённость идеальным баллом.
Посчитайте по своим данным
Введите четыре фактических целых количества. Код использует только стандартный Python и не создаёт учебных результатов.
a, b, c, d = map(int, input("a b c d: ").split())
n = a + b + c + d
if min(a, b, c, d) < 0 or n == 0:
raise ValueError("Нужны неотрицательные количества и полные пары")
po = (a + d) / n
expected_num = (a+b)*(a+c) + (c+d)*(b+d)
print("Заказов:", n, "Доля совпадений:", po)
if expected_num == n*n:
print("Каппа не определена")
else:
print("Каппа:", ((a+d)*n-expected_num)/(n*n-expected_num))
Сохраните смысл результата
Документация трактует нулевую каппу как отсутствие согласия сверх ожидаемого случайного, а единицу как полное согласие. Не вводите универсальный проходной порог без обоснования для своей задачи. Частоты категорий и состав выборки влияют на показатель.
В отчёте оставьте исходную таблицу, число пар, долю совпадений и каппу. Для оценки правильности контроля нужен проверяемый эталон. Совпадающие ответы двух сотрудников могут быть одинаково неверными. Разберите спорные заказы отдельно и сохраните изменения инструкции новой версией.
Комментарии 0