分類正解率計算機
二値分類の混同行列から正解率、適合率、再現率、特異度、F1スコアを計算します。
分類の評価指標
混同行列の4つの件数を入力して二値分類器を評価します。
分類正解率について
分類正解率は、すべての予測のうちモデルが正しく分類した割合です。真陽性と真陰性を合計し、混同行列の全観測数で割って求めます。直感的に理解しやすい指標ですが、単独での解釈は通常避けるべきです。クラスが不均衡な場合、ほぼ毎回多数派クラスを予測するだけで高い正解率が得られ、重要なケースを見逃していても気づきにくくなります。
そのため、この計算機では相互に補完する5つの二値分類指標を表示します。適合率は陽性と予測したもののうち実際に陽性だった割合で、TPをTPとFPの和で割ります。再現率は感度とも呼ばれ、実際の陽性のうちモデルが発見した割合で、TPをTPとFNの和で割ります。特異度は陰性を正しく識別する能力を表し、TNをTNとFPの和で割ります。F1スコアは適合率と再現率の調和平均で、一方を犠牲にして他方を高めるのではなく、両者のバランスを評価します。
まず評価結果を混同行列に整理します。真陽性は陽性を正しく陽性と予測したもの、偽陽性は陰性を誤って陽性と予測したものです。真陰性は陰性を正しく陰性と予測したもの、偽陰性は分類器が見逃した陽性です。4つの値はすべて同じテストセットと判定しきい値で得られた件数でなければなりません。百分率、学習データ、異なるしきい値の結果を混在させると、指標は無効になります。
重視する指標は用途によって異なります。医療スクリーニングでは見逃しの影響が大きく、再現率が重視されることがよくあります。迷惑メール判定や自動的な違反取締りでは誤認の影響が大きく、適合率が重要です。陰性を正しく除外する必要がある場合は特異度が役立ちます。モデルの優劣を判断する前に、同じデータセットで指標を比較し、クラスの割合を確認し、信頼区間も考慮してください。この計算機は迅速な分析、記録、しきい値比較のための決定論的な点推定を提供しますが、代表性のあるデータでの検証に代わるものではありません。
正解率の計算例
| 混同行列 | 主な結果 | 解釈 |
|---|---|---|
| TP 80, FP 20, TN 90, FN 10 | 正解率85.00%;F1 84.21% | 良好で比較的バランスの取れた性能 |
| TP 50, FP 0, TN 50, FN 0 | すべての指標が100.00% | この標本では完全に正しく分類 |
| TP 10, FP 5, TN 180, FN 5 | 正解率95.00%;再現率66.67% | 高い正解率が陽性の見逃しを隠している |
分類指標の計算方法
- 評価対象の予測から真陽性と偽陽性の件数を数えます。
- 同じデータセットから真陰性と偽陰性の件数を数えます。
- 対応する欄に0以上の4つの件数を入力します。
- 「指標を計算」を選び、正解率を適合率、再現率、特異度、F1スコアと比較します。
よくある質問
どの程度の正解率なら良いモデルですか?
クラスのバランス、ベースラインの性能、各エラーの影響によって異なります。単純なベースラインと比較し、他の指標も確認してから判断してください。
正解率が誤解を招くのはなぜですか?
すべての正しい予測に同じ重みを与えるため、多数派クラスに左右されやすいからです。少数派をほとんど検出できなくても、高い正解率を示す場合があります。
適合率と再現率の違いは?
適合率は陽性と予測したうち何件が正しかったかを示します。再現率は実際の陽性のうち何件を分類器が発見できたかを示します。
F1スコアはいつ使うべきですか?
偽陽性と偽陰性の両方が重要で、バランスを重視した単一指標が欲しい場合に使います。真陰性を考慮しないため、正解率と特異度も確認してください。
件数の代わりに百分率を入力できますか?
すべてのセルで同じ分母を使う必要があるため、可能な限り件数を使用してください。割合を使えるのは、一貫した尺度で混同行列全体を表している場合だけです。