Niveau : Intermédiaire
Fonction du poste : Analyste / Scientifique / Ingénieur
Michael Crotty, rédacteur statistique principal JMP, SAS
Marie Gaudard, consultante statistique
Colleen McKendry, rédactrice technique JMP, SAS
Finaliste du meilleur article invité
Dans les situations où la détection d'anomalies est l'objectif d'un modèle prédictif, les données sous-jacentes présentent souvent une distribution de classes déséquilibrée. En effet, la classe anormale est significativement plus petite que la classe non anormale. L'objectif de la modélisation est généralement d'identifier les membres de la classe minoritaire. Cependant, une application directe des techniques de modélisation prédictive peut aboutir à un modèle biaisé et inexact. De nombreuses techniques ont été proposées pour résoudre ces problèmes. Nous cherchons à guider les utilisateurs de JMP Pro dans le développement de modèles prédictifs pour les données déséquilibrées. Nous abordons les approches JMP Pro de classification dans une classe sous-représentée. Nous décrivons d'abord les aspects généraux du problème des classes déséquilibrées : biais, mesures de performance et approches pour résoudre les problèmes de modélisation. Nous abordons ensuite les méthodes d'échantillonnage que nous utilisons dans notre étude, notamment la pondération, le sous-échantillonnage, le suréchantillonnage et la technique de suréchantillonnage synthétique des minorités (SMOTE). Pour plusieurs ensembles de données réelles présentant des proportions de classes variables, nous comparons les ajustements obtenus grâce à ces méthodes d'échantillonnage en combinaison avec les modèles prédictifs disponibles sur les plateformes de classification JMP Pro. Nous explorons de manière similaire les techniques d'échantillonnage et les modèles prédictifs pour un nombre limité d'ensembles de données simulées. Pour ces ensembles, nous tentons d'identifier le degré de sous-représentation à partir duquel les modèles standards commencent à être affectés par le déséquilibre des classes. Nous présentons également nos conclusions sur la performance relative des méthodes d'échantillonnage et des modèles prédictifs.
Un module complémentaire permettant d'effectuer les analyses présentées dans cette présentation est désormais disponible : le module complémentaire « Classification déséquilibrée » . Ce module étend les fonctionnalités des scripts du fichier Scripts_and_Results.zip. Entre autres fonctionnalités, il ne dépend pas de R, effectue des échantillonnages SMOTE, Tomek et SMOTE plus Tomek sur des ensembles de données incluant des prédicteurs nominaux et ordinaux, et fournit une documentation complète via le bouton « Aide » de la boîte de dialogue.
