Calculateur de valeurs aberrantes - Détecter avec la méthode IQR

Une valeur aberrante est un point de données situé à une distance anormale des autres valeurs d’un jeu de données. En analyse statistique, les valeurs aberrantes peuvent fausser des indicateurs comme la moyenne et l’écart type, gonfler les estimations de variance et violer les hypothèses des tests paramétriques. Les identifier tôt est une étape essentielle de l’analyse exploratoire, du contrôle qualité et du prétraitement pour le machine learning. La méthode la plus utilisée pour détecter les valeurs aberrantes repose sur l’écart interquartile (IQR), c’est-à-dire la différence entre le troisième quartile (Q3) et le premier quartile (Q1). Cette méthode est robuste car l’IQR, contrairement à la moyenne et à l’écart type, n’est pas lui-même déformé par les valeurs extrêmes. La formule des deux bornes est : borne inférieure = Q1 − k × IQR et borne supérieure = Q3 + k × IQR. Tout point de données situé en dehors de ces bornes est classé comme valeur aberrante. Le multiplicateur k détermine la sévérité du signalement. Le choix le plus courant est k = 1,5, valeur par défaut des diagrammes en boîte, qui identifie ce qu’on appelle parfois des valeurs aberrantes « légères » — des valeurs qui s’écartent nettement de la masse des données, mais qui peuvent encore avoir une explication valable. Avec k = 3,0, le critère est plus strict ; seules les valeurs aberrantes « extrêmes » sont signalées — des valeurs si éloignées de la distribution principale qu’elles représentent presque certainement des erreurs, des anomalies ou des événements réellement rares. Pour calculer les quartiles, le calculateur trie d’abord les données par ordre croissant. Q1 correspond au 25e percentile et Q3 au 75e percentile du jeu trié. Lorsque la position du quartile tombe entre deux points, le calculateur effectue une interpolation linéaire pour produire un résultat fluide, conforme au comportement par défaut d’Excel et à de nombreuses conventions de logiciels statistiques. Détecter une valeur aberrante ne signifie pas la supprimer automatiquement. Avant de retirer ou de transformer une valeur détectée, il faut en rechercher la cause. Il peut s’agir d’une erreur de saisie (un chiffre mal tapé), d’une erreur de mesure (un instrument défectueux), d’une erreur d’échantillonnage (une valeur provenant d’une autre population) ou d’une observation extrême réelle, importante sur le plan scientifique et à conserver. Par exemple, en détection de fraude, le point de données le plus important est souvent la valeur aberrante. En recherche clinique, le patient présentant la réponse la plus extrême peut être le plus informatif. Documentez toujours votre décision et, en cas de doute, présentez les résultats avec et sans la valeur aberrante pour montrer la sensibilité. La méthode IQR est non paramétrique, ce qui signifie qu’elle ne suppose aucune forme particulière pour la distribution sous-jacente. Elle est donc particulièrement adaptée aux distributions asymétriques, aux petits échantillons et aux données comportant plusieurs groupes. Pour des données approximativement normales avec de grands échantillons, la méthode du score Z (signalement des valeurs situées à plus de 2 ou 3 écarts types de la moyenne) constitue une alternative, mais le score Z est lui-même influencé par les valeurs aberrantes qu’il cherche à détecter, ce qui rend l’approche IQR généralement plus fiable.