Détection d'anomalies et JMP® Pro (2019-US-45MP-218)Niveau : Avancé
Michel Croty, @michael_jmp , Rédacteur statistique principal JMP, SAS
Colleen McKendry, @cozmck , rédacteur technique JMP, SAS
Marie Gaudard, @marie_gaudard , consultant statistique
Dans les situations où la détection d'anomalies est l'objectif d'un modèle prédictif, les données sous-jacentes présentent souvent une distribution de classe déséquilibrée. À savoir, la classe anormale est significativement plus petite que la classe non anormale. L'objectif de la modélisation est généralement d'identifier les membres de la classe minoritaire. Cependant, une simple application des techniques de modélisation prédictive peut aboutir à un modèle biaisé et inexact. De nombreuses techniques ont été proposées pour résoudre ces problèmes. Nous cherchons à guider les utilisateurs de JMP Pro dans le développement de modèles prédictifs pour les données déséquilibrées. Nous abordons les approches JMP Pro de la classification dans une classe sous-représentée. Nous décrivons d'abord les aspects généraux du problème de classe déséquilibrée : biais, mesures de performance et approches pour résoudre les problèmes de modélisation. Nous discutons ensuite des méthodes d'échantillonnage que nous utilisons dans notre étude; il s'agit notamment de la pondération, du sous-échantillonnage, du suréchantillonnage et de la technique de suréchantillonnage minoritaire synthétique (SMOTE). Pour plusieurs ensembles de données réelles qui présentent des proportions de classe variables, nous comparons les ajustements obtenus à l'aide de ces méthodes d'échantillonnage en combinaison avec des modèles prédictifs disponibles dans les plates-formes de classification JMP Pro. Nous effectuons une exploration similaire des techniques d'échantillonnage et des modèles prédictifs pour une gamme limitée d'ensembles de données simulées. Pour les ensembles de données simulées, nous essayons d'identifier le degré de sous-représentation pour lequel les modèles standards commencent à être affectés par le déséquilibre des classes. Nous présentons également des conclusions sur la performance relative des méthodes d'échantillonnage et des modèles prédictifs.
Un complément qui effectue les analyses décrites dans cette présentation est désormais disponible : Complément de classification déséquilibré .Le complément étend les fonctionnalités des scripts trouvés dans Scripts_and_Results.zip.Entre autres fonctionnalités, le complément ne dépend pas de R, il effectue un échantillonnage SMOTE, Tomek et SMOTE plus Tomek sur des ensembles de données qui incluent des prédicteurs nominaux et ordinaux, et il fournit une documentation complète via le bouton Aide de la boîte de dialogue.
ÉclaterVidéoObjet : Détection d'anomalies et JMP® Pro (2019-US-45MP-218)Salut Natalia,
Je voulais juste vous faire savoir que les scripts de données déséquilibrées de la conférence de Tucson ont maintenant été intégrés dans un complément, que vous pouvez trouver ici :
Complément de classification déséquilibré .Le complément a des capacités étendues : entre autres fonctionnalités, il ne dépend pas de R, il effectue un échantillonnage SMOTE, Tomek et SMOTE plus Tomek sur des ensembles de données qui incluent des prédicteurs nominaux et ordinaux, et il fournit une documentation complète via le bouton Aide de la boîte de dialogue. .
Nous espérons que vous trouvez cela utile!
Marie
Objet : Détection d'anomalies et JMP® Pro (2019-US-45MP-218)Salut Natalia,
Remercier toi pour avoir utilisé notre script !Il semble que le problème soit lié à l'installation de R.Dans la version du script actuellement publiée, nous obtenons les valeurs AUC de la courbe Precision Recall de R.Cependant, nous avons une nouvelle version du script qui n'utilise pas du tout R et possède des fonctionnalités supplémentaires, mais elle peut nécessiter l'exécution de JMP 15.
Si vous le souhaitez, je pourrais vous envoyer cette version, conditionnée sous forme de complément.Cependant, je ne vois pas comment joindre un fichier à cet e-mail via la communauté JMP.Si vous pouviez m'envoyer votre adresse e-mail, je pourrai vous envoyer un brouillon du nouveau complément.Mon adresse e-mail est mgaudard@tampabay.rr.com.
--Marie
Objet : Détection d'anomalies et JMP® Pro (2019-US-45MP-218)Merci beaucoup d'avoir fourni cette ressource ! J'ai une question sur l'obtention de l'AUC pour la courbe de précision. J'ai installé R sur le bureau et lorsque j'exécute le script de données déséquilibrées, il passe à la création d'ensembles de données, puis indique Obtenir les valeurs AUC pour Precison Curve. Il reste assis pendant environ 10 à 145 secondes, puis affiche une erreur JMP. Il ne crée aucun rapport d'aucune sorte. Avant d'installer R, il créerait le rapport (tout comme votre powerpoint le montre), mais les valeurs AUC pour la courbe de précision ne sont pas calculées. Qu'est-ce que je fais mal? J'aimerais que ceux-ci soient calculés automatiquement.
Merci
