Калькулятор точности классификации

Доля верных ответов, или accuracy, показывает, какую часть всех предсказаний модель классифицировала правильно. Для расчёта складывают истинно положительные и истинно отрицательные результаты и делят сумму на все наблюдения матрицы ошибок. Метрика понятна интуитивно, но редко должна интерпретироваться отдельно. При дисбалансе классов модель может почти всегда предсказывать наиболее частый класс и показывать высокую долю верных ответов, пропуская самые важные случаи. Поэтому калькулятор выводит пять взаимодополняющих метрик бинарной классификации. Точность, или precision, — доля действительно положительных случаев среди предсказанных положительных: TP, делённое на сумму TP и FP. Полнота, также называемая чувствительностью, — доля реальных положительных случаев, найденных моделью: TP, делённое на сумму TP и FN. Специфичность оценивает распознавание отрицательных случаев: TN, делённое на сумму TN и FP. F1-мера — гармоническое среднее точности и полноты, поэтому она поощряет их баланс, а не рост одной за счёт другой. Начните с представления результатов оценки в виде матрицы ошибок. Истинно положительный результат — положительный случай, правильно предсказанный как положительный. Ложноположительный — отрицательный случай, ошибочно предсказанный как положительный. Истинно отрицательный — отрицательный случай, правильно предсказанный как отрицательный; ложноотрицательный — положительный случай, пропущенный классификатором. Все четыре значения должны быть количествами из одного тестового набора при одном пороге решения. Смешивание процентов, обучающих наблюдений или результатов разных порогов делает метрики некорректными. Приоритет метрик зависит от задачи. В медицинском скрининге пропуск заболевания может дорого обойтись, поэтому полноте часто уделяют больше внимания. В спам-фильтрах или автоматическом применении санкций дорогими могут быть ложные обвинения, что делает точность важной. Специфичность полезна, когда важно правильно исключать отрицательные случаи. Сравнивайте метрики на одном наборе данных, изучайте доли классов и учитывайте доверительные интервалы, прежде чем объявлять модель лучшей. Калькулятор даёт детерминированные точечные оценки для быстрого анализа, документации и сравнения порогов; он не заменяет проверку на репрезентативных данных.