Niveau: intermédiaire
Fonction: Analyste / Scientifique / Ingénieur
Industrie: industrie croisée
Michael Crotty, rédacteur statistique principal JMP, SAS
Marie Gaudard, consultante en statistique
Colleen McKendry, rédactrice technique JMP, SAS
Dans les situations où la détection d'anomalie est l'objectif d'un modèle prédictif, les données sous-jacentes présentent souvent une distribution de classes déséquilibrée. À savoir, la classe anormale est significativement plus petite que la classe non anormale. L'objectif de la modélisation est généralement d'identifier les membres de la classe minoritaire. Cependant, une application directe de techniques de modélisation prédictive peut aboutir à un modèle biaisé et imprécis. De nombreuses techniques ont été proposées pour résoudre ces problèmes. Nous cherchons à guider les utilisateurs de JMP Pro dans le développement de modèles prédictifs pour des données déséquilibrées. Nous abordons les approches de classification JMP Pro dans une classe sous-représentée. Nous décrivons d’abord les aspects généraux du problème de classe déséquilibré: biais, mesures de performance et approches pour traiter les problèmes de modélisation. Nous discutons ensuite des méthodes d'échantillonnage que nous utilisons dans notre étude. il s'agit notamment de la pondération, du sous-échantillonnage, du suréchantillonnage et de la technique de suréchantillonnage minoritaire synthétique (SMOTE). Pour plusieurs ensembles de données réelles présentant des proportions de classe variables, nous comparons les ajustements obtenus à l'aide de ces méthodes d'échantillonnage en combinaison avec les modèles prédictifs disponibles dans les plates-formes de classification JMP Pro. Nous effectuons une exploration similaire des techniques d'échantillonnage et des modèles prédictifs pour une gamme limitée d'ensembles de données simulées. Pour les jeux de données simulés, nous essayons d'identifier le degré de sous-représentation pour lequel les modèles standard commencent à être affectés par le déséquilibre des classes. Nous présentons également des conclusions sur la performance relative des méthodes d'échantillonnage et des modèles prédictifs.
