Niveau : Intermédiaire
Fonction : Analyste / Scientifique / Ingénieur
Michael Crotty, rédacteur statistique principal JMP, SAS
Marie Gaudard, consultante statistique
Colleen McKendry, rédactrice technique JMP, SAS
Finaliste du meilleur article invité
Dans les situations où la détection d'anomalies est l'objectif d'un modèle prédictif, les données sous-jacentes présentent souvent une distribution de classe déséquilibrée. À savoir, la classe anormale est significativement plus petite que la classe non anormale. L'objectif de la modélisation est généralement d'identifier les membres de la classe minoritaire. Cependant, une simple application des techniques de modélisation prédictive peut aboutir à un modèle biaisé et inexact. De nombreuses techniques ont été proposées pour résoudre ces problèmes. Nous cherchons à guider les utilisateurs de JMP Pro dans le développement de modèles prédictifs pour les données déséquilibrées. Nous abordons les approches JMP Pro de la classification dans une classe sous-représentée. Nous décrivons d'abord les aspects généraux du problème de classe déséquilibrée : biais, mesures de performance et approches pour résoudre les problèmes de modélisation. Nous discutons ensuite des méthodes d'échantillonnage que nous utilisons dans notre étude; ceux-ci comprennent la pondération, le sous-échantillonnage, le suréchantillonnage et la technique de suréchantillonnage minoritaire synthétique (SMOTE). Pour plusieurs ensembles de données réelles qui présentent des proportions de classe variables, nous comparons les ajustements obtenus à l'aide de ces méthodes d'échantillonnage en combinaison avec des modèles prédictifs disponibles dans les plates-formes de classification JMP Pro. Nous effectuons une exploration similaire des techniques d'échantillonnage et des modèles prédictifs pour une gamme limitée d'ensembles de données simulées. Pour les ensembles de données simulées, nous essayons d'identifier le degré de sous-représentation pour lequel les modèles standards commencent à être affectés par le déséquilibre des classes. Nous présentons également des conclusions sur la performance relative des méthodes d'échantillonnage et des modèles prédictifs.
Un complément qui effectue les analyses décrites dans cette présentation est désormais disponible : Complément de classification déséquilibré .Le complément étend les fonctionnalités des scripts trouvés dans Scripts_and_Results.zip.Entre autres fonctionnalités, le complément ne dépend pas de R, il effectue un échantillonnage SMOTE, Tomek et SMOTE plus Tomek sur des ensembles de données qui incluent des prédicteurs nominaux et ordinaux, et il fournit une documentation complète via le bouton Aide de la boîte de dialogue.
Je ne connais rien d'intégré à JMP Pro qui gérerait les données de capteur en temps réel, mais avec quelques scripts, je suis sûr que vous pourriez le faire. Ce serait une bonne question pour l'ensemble de la communauté JMP.
Merci pour votre intérêt et votre question !
Michael
Merci. c'est vraiment super et utile !
une question, JMPpro peut-il être utilisé pour la détection d'anomalies en temps réel (telles que les données de capteur) ?
Merci!
