Calculatrice de matrice de confusion - Métriques de classification
Analysez les performances de classification avec accuracy, precision, recall, F1 et MCC
Saisissez les valeurs de votre matrice de confusion pour calculer accuracy, precision, recall, specificity, F1-score et d'autres métriques de performance pour l'analyse de classification binaire.
Calculatrice de matrice de confusion - Métriques de classification
Analysez les performances de classification avec accuracy, precision, recall, F1 et MCC
À propos de la calculatrice de matrice de confusion
Une matrice de confusion est un tableau 2×2 qui résume les performances d'un modèle de classification binaire en répertoriant les quatre issues possibles : Vrais Positifs (TP), Faux Positifs (FP), Vrais Négatifs (TN) et Faux Négatifs (FN). À partir de ces quatre nombres, on peut dériver un ensemble riche de métriques de performance, chacune mesurant un aspect différent du comportement du classifieur.
Les Vrais Positifs (TP) sont les cas où le modèle a correctement prédit la classe positive. Les Faux Positifs (FP) sont les cas où le modèle a prédit positif alors que la vraie étiquette était négative — aussi appelés erreurs de type I. Les Vrais Négatifs (TN) sont des prédictions négatives correctes. Les Faux Négatifs (FN) sont les cas où le modèle a manqué un positif — aussi appelés erreurs de type II.
Les métriques clés dérivées de la matrice de confusion incluent :
• Accuracy = (TP + TN) / Total — la fraction de l'ensemble des prédictions qui sont correctes. Simple à interpréter, mais trompeuse sur des jeux de données déséquilibrés.
• Precision (Valeur prédictive positive) = TP / (TP + FP) — parmi toutes les prédictions positives, combien sont réellement positives. Une precision élevée signifie peu de fausses alertes.
• Recall (Sensitivity, Taux de vrais positifs) = TP / (TP + FN) — parmi tous les positifs réels, combien ont été détectés. Un recall élevé signifie peu de positifs manqués.
• Specificity (Taux de vrais négatifs) = TN / (TN + FP) — parmi tous les négatifs réels, combien ont été correctement identifiés. Important dans le dépistage médical.
• F1-score = 2 × (Precision × Recall) / (Precision + Recall) — la moyenne harmonique de precision et recall, qui équilibre les deux métriques. Utile lorsque les classes sont déséquilibrées.
• Coefficient de corrélation de Matthews (MCC) = (TP×TN − FP×FN) / √((TP+FP)(TP+FN)(TN+FP)(TN+FN)) — une métrique équilibrée qui prend en compte les quatre cellules de la matrice de confusion. Va de −1 (désaccord parfait) à +1 (accord parfait), avec 0 indiquant une performance aléatoire.
Le choix de la bonne métrique dépend de votre problème. Pour la détection de fraude, le recall est critique (ne jamais manquer une fraude). Pour les filtres anti-spam, la precision est plus importante (ne pas bloquer les e-mails légitimes). Pour le dépistage de maladies rares, recall et specificity sont tous deux importants. Le MCC et le F1-score sont généralement plus informatifs que la seule accuracy lorsque les classes sont déséquilibrées.
Exemples
Le tableau montre des entrées de matrice de confusion et leurs métriques de performance résultantes.
| TP, FP, TN, FN | Métriques clés | Type de modèle |
|---|---|---|
| TP=92, FP=8, TN=88, FN=12 | Accuracy=90%, F1=0.9020, MCC=0.801 | Modèle bien équilibré et performant |
| TP=45, FP=5, TN=95, FN=25 | Accuracy=82.35%, Precision=90%, Recall=64.29% | Haute precision, prédictions conservatrices |
| TP=85, FP=30, TN=70, FN=10 | Accuracy=79.5%, Recall=89.5%, Specificity=70% | Recall élevé, modèle sensible |
| TP=48, FP=12, TN=188, FN=2 | Accuracy=94%, Sensitivity=96%, Specificity=94% | Test diagnostique médical — haute sensibilité |
Comment utiliser la calculatrice de matrice de confusion
- Saisissez le nombre de Vrais Positifs (TP) : cas où le modèle a correctement prédit la classe positive.
- Saisissez les Faux Positifs (FP) : le modèle a prédit positif alors que la vraie étiquette était négative (erreur de type I).
- Saisissez les Vrais Négatifs (TN) et les Faux Négatifs (FN) : les faux négatifs sont des positifs manqués (erreur de type II).
- Cliquez sur « Calculer les métriques » pour calculer instantanément accuracy, precision, recall, specificity, F1-score, MCC, NPV, FPR et FNR.
- Utilisez les boutons d'exemples rapides pour explorer des scénarios préconfigurés comme les modèles équilibrés, à haute precision et les tests médicaux.
Foire aux questions
Quelle est la différence entre precision et recall ?
La precision répond à la question « parmi toutes les prédictions positives, combien étaient correctes ? », tandis que le recall répond à « parmi tous les positifs réels, combien le modèle a-t-il trouvés ? ». Une precision élevée signifie peu de faux positifs (le modèle est prudent lorsqu'il étiquette quelque chose comme positif). Un recall élevé signifie peu de faux négatifs (le modèle manque rarement un vrai positif). Il existe généralement un compromis entre les deux, contrôlé par le seuil de décision.
Pourquoi l'accuracy n'est-elle pas toujours la meilleure métrique ?
L'accuracy peut être trompeuse sur des jeux de données déséquilibrés. Par exemple, si seulement 1 % des transactions sont frauduleuses, un modèle qui prédit toujours « non frauduleux » obtient 99 % d'accuracy mais ne détecte aucun cas de fraude. Dans ce type de situation, precision, recall, F1-score ou MCC donnent une vision bien plus utile des performances du modèle.
Qu'est-ce que le coefficient de corrélation de Matthews (MCC) ?
Le MCC est une métrique unique et équilibrée qui prend en compte les quatre cellules de la matrice de confusion (TP, FP, TN, FN). Il varie de −1 à +1, où +1 correspond à une prédiction parfaite, 0 à une performance équivalente au hasard et −1 à un désaccord total. Le MCC est considéré comme l'une des métriques les plus informatives pour la classification binaire, surtout sur des jeux de données déséquilibrés, car il n'est pas gonflé par de forts déséquilibres de classes.
Que mesure la specificity et quand est-elle importante ?
La specificity (Taux de vrais négatifs) = TN / (TN + FP) mesure la capacité du modèle à éviter les faux positifs parmi les négatifs réels. Elle est particulièrement importante en dépistage médical : un test à forte specificity minimise le nombre de personnes saines incorrectement signalées comme malades, réduisant les examens de suivi inutiles et l'anxiété des patients. La sensibilité (recall) et la specificity définissent ensemble la courbe ROC.
Quel est le lien entre F1-score, precision et recall ?
Le F1-score est la moyenne harmonique de precision et recall : F1 = 2 × (P × R) / (P + R). L'utilisation de la moyenne harmonique garantit que le F1 est faible si precision ou recall est faible — vous ne pouvez pas obtenir un F1 élevé en sacrifiant l'un pour l'autre. Le F1 varie de 0 (pire) à 1 (meilleur) et c'est la métrique unique la plus courante lorsque vous devez équilibrer à la fois les faux positifs et les faux négatifs.
Quelle est la différence entre sensibilité et specificity dans les tests médicaux ?
La sensibilité (recall) est la probabilité que le test identifie correctement un patient malade : TP / (TP + FN). Un test très sensible manque très peu de patients malades, ce qui le rend utile pour exclure une maladie. La specificity est la probabilité que le test identifie correctement une personne en bonne santé : TN / (TN + FP). Un test très spécifique produit peu de faux positifs, ce qui le rend utile pour confirmer une maladie. La plupart des tests diagnostiques impliquent un compromis entre les deux, représenté par la courbe ROC.