Bonjour. Mon nom est Bryan Fricke.
Je suis un produit directeur à JMP concentré sur le JMP utilisateur expérience.
Précédemment, je était un logiciel développeur fonctionnement sur exportation rapports
à autonome HTML feu des dossiers.
JMP En direct et JMP Publique.
Dans ce présentation,
Je suis en allant à parler à propos en utilisant Courbes de confiance
comme un alternative à nul hypothèse importance essai
dans le contexte de prédictif modèle dépistage.
Supplémentaire matériel sur ce sujet peut être trouvé sur le JMP Communauté site web
dans le papier associé avec ce présentation.
Dr. Russe Wolfinger est un Distingué Recherche Compagnon à JMP
et un co- auteur, et je serait comme à remercier lui pour son contributions.
Le Modèle Dépistage Plate-forme, introduit dans JMP Pro 16
permet toi à évaluer le performance
de plusieurs prédictif des modèles en utilisant croix validation.
À montrer toi comment le Modèle Dépistage plate-forme travaux,
Je suis en allant à utiliser le Diabète Données tableau,
lequel est disponible dans le JMP échantillon données bibliothèque.
Je vais choisir modèle dépistage depuis le analysé prédictif la modélisation menu.
JMP répond par affichage le Modèle Dépistage dialogue.
Le d'abord trois Colonnes dans le données tableau
représenter maladie progression dans continu binaire et ordinal formes.
Je vais utiliser le continu colonne nommé Oui comme le réponse variable.
Je vais utiliser le Colonnes depuis âge à glucose dans le X facteur rôle.
Je vais taper 1234 dans le ensemble aléatoire graine saisir boîte pour reproductibilité,
Je vais sélectionner le vérifier boîte suivant à Pliage en K croix validation et partir K ensemble à cinq.
Je vais tapez 3 dans le saisir boîte suivant à répété KF vieux.
Dans le méthode liste, Je vais désélectionner neural.
Maintenant Je vais Cliquez sur D'accord.
JMP répond par entraînement et validation des modèles pour chaque de le choisi méthodes
en utilisant leur défaut paramètre paramètres et croix validation.
Après terminer le entraînement et validation processus,
JMP affiche le résultats dans un nouveau fenêtre.
Pour chaque la modélisation méthode.
Le Modèle Dépistage plate-forme fournit performance mesures
dans le formulaire de indiquer estimations pour le coefficient de détermination,
aussi connu comme R. au carré, le racine moyenne au carré erreur,
et le standard déviation pour le racine moyenne au carré erreur.
Maintenant Je vais Cliquez sur sélectionner dominant.
JMP répond par mise en évidence le méthode
que effectue meilleur à travers le performance mesures.
Qu'est-ce que c'est manquant ici est un graphique à montrer le taille de le différences
entre le dominant méthode et le autre méthodes,
le long de avec le visualisation de le incertitude
associé avec le différences.
Mais pourquoi pas juste montrer P- valeurs indiquant si le différences sont significatif?
Je ne devrais pas un décision à propos si un modèle est supérieur à un autre
être basé sur importance?
D'abord, depuis le P- valeur fournit un probabilité
basé sur un standardisé différence,
un Valeur P par lui-même perd information à propos le brut différence.
Un un significatif différence n'a pas impliquer un significatif différence.
Est que vraiment un problème?
je signifier, n'est-ce pas il inutile
à être concerné avec le taille de le différence entre deux des modèles
avant en utilisant importance essai
à déterminer si le différence est réel?
Le problème avec que doubler de pensée est que c'est pouvoir ou un moins bêta
que détermine notre capacité à correctement rejeter un nul hypothèse.
Auteurs tel comme Jacob Cohen et Franc Forgeron
avoir suggéré que typique études avoir le pouvoir à détecter différences
dans le gamme de .4 à .6 .
Donc allons supposer nous avoir un différence.
Où le pouvoir à détecter un vrai différence?
Zéro cinq à un alpha niveau zéro cinq.
Que suggère nous serait détecter le vrai différence, sur moyenne 50% de le temps.
Donc dans que cas, importance essai serait identifier réel différences
Non mieux que retourner un impartial pièce de monnaie.
Si tous autre des choses sont égal, type 1 et type 2 les erreurs sont équivalent.
Mais importance essais que utiliser un alpha valeur de .05.
Souvent implicitement supposer type 2 les erreurs sont préférable à type 1 les erreurs,
particulièrement si le pouvoir est comme faible comme .5 .
UN commun suggestion à adresse ces et autre problèmes avec importance essai
est à montrer le indiquer estimation le long de avec le confiance intervalles.
Un objection à faire donc est que
un indiquer estimation le long de avec un 95% confiance intervalle
est effectivement le même chose comme importance essai.
Même si nous supposer que est vrai, un indiquer estimation et confiance intervalle
toujours met le ordre de grandeur de le différence
et le gamme de le incertitude devant et centre,
alors que un prêt Valeur P cache eux les deux.
Donc divers auteurs, y compris Cohen et Forgeron,
avoir recommandé remplacer importance essai
avec indiquer estimations et confiance intervalles.
Même donc, le recommandation à utiliser confiance intervalles supplie le question,
lequel ceux faire nous montrer?
Affichage seulement le 95% confiance intervalle
serait probable encourager toi à interpréter il comme un autre formulaire de importance essai.
Le solution fourni par Courbes de confiance
est à littéralement montrer tous confiance intervalles
en haut à un arbitrairement haut confiance niveau.
Comment faire je montrer Courbes de confiance et JMP ?
À commodément créer Courbes de confiance et JMP,
installer le Courbes de confiance ajouter à par visiter le JMP Communauté Page d'accueil.
Taper Courbes de confiance dans le recherche saisir champ.
Cliquez sur le Courbes de confiance résultat.
Maintenant Cliquez sur le télécharger icône suivant à courbes de confiance. JMPa jj- dans.
Maintenant Cliquez sur le téléchargé déposer.
JMP répond par demander si je vouloir à installer le ajouter- dans.
Toi serait Cliquez sur Installer.
Cependant, Je vais Cliquez sur Annuler comme j'ai déjà installée le ajouter à.
Donc comment faire toi utiliser le ajouter à?
D'abord.
À générer Courbes de confiance pour ce rapport, sélectionner Sauvegarder Résultats tableau
depuis le haut rouge Triangle menu situé sur le Modèle Dépistage Rapport fenêtre.
JMP répond par créer un nouveau tableau contenant parmi autres.
Le suivant Colonnes procès.
Lequel contient le identifiants pour le trois ensembles
de croix validation résultats.
Pli.
Lequel contient le identifiants
pour le cinq distinct ensembles de sous-échantillons utilisé pour validation dans chaque procès.
Méthode.
Lequel contient le méthodes utilisé à créer des modèles depuis le test données.
Et dans.
Lequel contient le nombre de données points utilisé dans le validation se plie.
Note que le procès colonne volonté être manquant si le nombre de répète est exactement un,
dans lequel cas le procès colonne est ni l'un ni l'autre créé ni nécessaire.
Sauvegarder pour que exception, ces Colonnes sont essentiel
pour le Courbes de confiance ajouter à à fonction correctement.
Dans ajout à ces Colonnes, toi besoin un colonne
que fournit le métrique à comparer entre méthodes.
Je vais être en utilisant R. au carré comme le métrique de intérêt dans ce présentation.
Une fois toi avoir le modèle dépistage résultats tableau,
Cliquez sur compléments depuis JMP principal menu bar et alors sélectionner Courbes de confiance.
Le logique que suit serait être mieux mis dans un magicien,
et je espoir à ajouter que Fonctionnalité dans un avenir libérer de ce ajouter à.
Comme il est, le d'abord dialogue que apparaît
demandes toi à sélectionner le nom de le tableau
que était généré quand toi choisi 'sauvegarder résultats tableau',
depuis le Modèle Écran Rapports Rouge Triangle menu.
Le nom de le tableau dans ce cas est Modèle Écran Statistiques Validation Ensemble.
Suivant, un dialogue est affiché
que demandes le nom de le méthode que volonté servir comme le ligne de base
depuis lequel tous le autre performance métrique sont mesuré.
je suggérer départ avec le méthode que était choisi quand toi Cliquez sur
le Sélectionner Dominant option
dans le Modèle Dépistage Rapport fenêtre, lequel dans ce cas est Ajuster Par étapes.
Enfin, un dialogue est affiché
que demandes toi à sélectionner le métrique à être par rapport entre le divers méthodes.
Comme mentionné plus tôt, Je vais utiliser R. au carré comme le métrique pour comparaison.
JMP répond par créer un Confiance Courbe tableau que contient Valeurs P
et correspondant confiance les niveaux pour le signifier différence
entre le choisi ligne de base méthode et chaque de le autre méthodes.
Plus spécifiquement, le généré tableau a Colonnes pour le suivant.
Modèle.
Dans lequel chaque rangée contient le nom de le la modélisation méthode
dont performance est évalué relatif à le ligne de base méthode.
P- valeur dans lequel chaque rangée contient le probabilité
associé avec le performance différence
à moins comme extrême comme le valeur montré dans le différence dans notre carré colonne.
Confiance intervalle dans lequel chaque rangée contient le confiance niveau.
Nous avoir que le vrai signifier est contenu dans le associé intervalle
et enfin, différence dans notre carré,
dans lequel chaque rangée est le maximum ou le minimum
de le attendu différence dans R. au carré
associé avec le confiance niveau montré dans le confiance intervalle colonne.
Depuis ce tableau, Courbes de confiance sont créé
et montré dans le Graphique Constructeur graphique.
Donc quoi sont Courbes de confiance ?
À clarifier le clé les attributs de un Courbe de confiance,
Je vais cacher tous mais le Soutien Vecteur Machines Courbe de confiance
en utilisant le locale données filtre par en cliquant sur Soutien Vecteur Machines.
Par défaut, un Courbe de confiance seulement montre
le lignes que connecter le extrêmes de chaque confiance intervalle.
À voir le points, sélectionner Montrer Contrôle Panneau depuis le rouge Triangle menu
situé suivant à le texte que lit Graphique Constructeur dans le Titre bar.
Maintenant Je vais changement Cliquez sur le points icône.
JMP répond par affichage le points de terminaison de le confiance intervalles
que faire en haut le Courbe de confiance.
Maintenant je volonté Zoom dans et examiner un indiquer.
Si toi flotter le souris aiguille sur n'importe lequel de ces points.
UN flotter étiquette montre le P - valeur confiance intervalle,
différence dans le taille de le métrique
et le méthode utilisé à générer le modèle
être par rapport à le référence modèle.
Maintenant Bien tourner désactivé le points par changement en cliquant le points icône
et en cliquant le Fait bouton.
Même cependant le individuel points sont Non plus long montré,
toi peut toujours voir le associé flotter étiquette
par placement le souris aiguille sur le Courbe de confiance.
Indiquer estimation pour le principal différence
dans performance entre le sport vecteur Machines et Ajustement par étapes des modèles
est montré à le 0% confiance niveau,
lequel est le signifier valeur de le différences calculé en utilisant croix validation.
UN Courbe de confiance parcelles le étendue
de chaque confiance intervalle depuis le généré tableau entre zéro
et le 99,99% confiance niveau le long de avec le gauche Oui axe.
P. valeurs associé avec le confiance intervalles sont montré
le long de le droite oui axe.
Le confiance niveau associé avec chaque confiance intervalle montré.
Le Oui axe les usages un enregistrer échelle
donc que plus résolution est montré à plus haut confiance les niveaux.
Par défaut, deux référence lignes sont tracé aux côtés de un Courbe de confiance.
Le verticale doubler représente
le traditionnel nul hypothèse de Non différence dans effet.
Note toi peut changement le verticale doubler position
et ainsi le implicite nul hypothèse.
Dans le Axe X paramètres.
Le horizontal doubler passe à travers le conventionnel 95% confiance intervalle.
Comme avec le verticale référence doubler,
toi peut changement le horizontal doubler position
et ainsi le implicite niveau de importance
par en changeant le Oui axe paramètres.
Si un Courbe de confiance des croix le verticale doubler au-dessus de le horizontal doubler,
toi ne peut pas rejeter le nul hypothèse en utilisant importance essai.
Pour exemple, nous ne peut pas rejeter le nul hypothèse pour soutien vecteur Machines.
Sur le autre main, si un Courbe de confiance
des croix le verticale doubler ci-dessous le horizontal doubler,
toi peut rejeter le nul hypothèse en utilisant importance essai.
Pour exemple, nous peut rejeter le nul hypothèse pour boosté arbre.
Comment sont Courbes de confiance calculé ?
Le actuel mise en œuvre de confiance courbes suppose
le différences sont calculé
en utilisant R fois répété Pliage en K croix validation.
Le étendue de chaque confiance intervalle est calculé
en utilisant quoi est connu comme un variance corrigée rééchantillonné Test T.
Note que auteurs Claude Nadeau et Yoshoua Bengio,
note que un corrigée rééchantillonné Test T
est typiquement utilisé dans cas où entraînement ensembles
sont cinq ou dix fois plus grand que validation ensembles.
Pour plus détails, s'il te plaît voir le papier associé avec ce présentation.
Donc comment sont Courbes de confiance interprété ?
D'abord, le Courbe de confiance graphiquement dépeint
le principal différence dans le métrique de intérêt entre un donné méthode
et un référence méthode à le 0% confiance niveau.
Donc nous peut évaluer si le signifier différence entre le méthodes
est significatif.
Si le principal différence n'est-ce pas significatif, il y a petit indiquer dans plus loin analyse
de un donné méthode contre le référence méthode avec respect à le choisi métrique.
Quoi constitue un significatif différence dépend sur le métrique de intérêt
comme Bien comme le destiné scientifique ou ingénierie application.
Pour exemple,
toi peut voir le modèle développé avec un décision arbre méthode
est sur moyenne à propos 14% pire que Ajustez étape par étape,
lequel discutablement est un significatif différence.
Si le différence est significatif,
nous peut évaluer comment précisément le différence a a été mesuré
par évaluer comment beaucoup le Confiance C urve largeur changements
à travers le confiance les niveaux.
Pour n'importe lequel confiance intervalle pas traversée le défaut verticale axe,
nous avoir à moins que niveau de confiance que le principal différence est non nul.
Pour exemple,
le décision arbre confiance courbe n'a pas croix le Oui axe
jusqu'à à propos le 99,98% confiance niveau.
Nous sont presque 99,98% confiant le signifier différence n'est-ce pas égal à zéro.
Dans fait, avec ce données,
il se tourne dehors que nous peut être à propos 81% confiant
que Ajustement par étapes est à moins comme bien,
si pas mieux, que chaque méthode autre que généralisé régression Lasso.
Maintenant allons considérer le relation entre Courbes de confiance.
Si deux ou plus Courbes de confiance significativement chevaucher
et le signifier différence de chaque est pas de manière significative différent depuis le autre.
Le données suggérer chaque méthode effectue à propos le même comme le autre
avec respect à le référence modèle.
Donc pour exemple,
nous voir que sur moyenne, le Soutien vecteur Machines modèle
effectue moins que . 5% que Amorcer Forêt,
lequel est discutablement pas un significatif différence.
Le confiance intervalles faire pas chevaucher jusqu'à à propos le 4% confiance niveau,
lequel suggère ces valeurs serait être attendu
si les deux méthodes vraiment faire avoir à propos le même différence dans performance
avec respect à le référence.
Si le moyenne différence dans performance
est à propos le même pour deux confiance courbes,
mais le confiance intervalles ne le faites pas chevaucher aussi beaucoup,
le données suggère
le des modèles effectuer à propos le même comme chaque autre avec respect à le référence modèle.
Cependant, nous sont confiant de un non- significatif différence.
Ce particulier cas est rare que le autres
et je ne le faites pas avoir un exemple à montrer avec ce données ensemble.
Sur le autre main, si le moyenne différence dans performance
entre un paire de Courbes de confiance est de manière significative différent
et le confiance courbes avoir petit chevaucher,
le données suggère le des modèles effectuer
différemment depuis un un autre avec respect à le référence.
Pour exemple, le généralisé régression Lasso modèle prédit à propos 13,8%
plus de le variation dans le réponse que fait le décision arbre modèle.
De plus, le Courbes de confiance ne le faites pas chevaucher
jusqu'à à propos le 99,9% confiance niveau,
lequel suggère ces résultats sont assez inhabituel
si le méthodes en fait effectuer à propos le même avec respect à le référence.
Enfin, si le moyenne différence dans performance entre un paire
de Courbes de confiance est de manière significative différent depuis un un autre
et le courbes avoir considérable chevaucher,
le données suggère que
alors que le méthodes effectuer différemment depuis un un autre avec respect à le référence,
il ne le ferais-je pas être surprenant si le différence est furieux.
Pour exemple, nous peut voir que sur moyenne
soutien vecteur Machines prédit à propos 1,4% plus de le variance dans le réponse
que a fait [inaudible 00:19:18] la plus proche voisins.
Cependant, le confiance intervalles commencer à chevaucher à à propos le 17% confiance niveau,
lequel suggère il ne le ferais-je pas être surprenant
si le différence dans performance entre chaque méthode
et le référence est en fait plus petit que suggéré par le indiquer estimations.
Simultanément,
il ne le ferais-je pas être surprenant si le réel différence est plus grand que mesuré,
ou si le direction de le différence est en fait renversé.
Dans autre mots, le différence dans performance est incertain.
Note que il n'est-ce pas possible à évaluer le variabilité et performance
entre deux des modèles relatif à un un autre
quand le différences sont relatif à un troisième modèle.
À comparer le variabilité et performance
entre deux méthodes relatif à un un autre,
un de le deux méthodes doit être le référence méthode
depuis lequel le différences sont mesuré.
Mais quoi à propos plusieurs des comparaisons ?
Ne le faites pas nous besoin à ajuster le Valeurs P
à contrôle le famille sage type 1 erreur taux?
Dans ce papier à propos Courbes de confiance,
Daniel Burrough suggère que ajustements sont nécessaire dans confirmatif études
où un but est prédéfini, mais pas dans exploratoire études.
Ce idée suggère en utilisant non corrigé Valeurs P pour plusieurs Courbes de confiance
dans un exploratoire mode
et seulement un célibataire Courbe de confiance généré depuis différent données
à confirmer ton résultats de un significatif différence
entre deux méthodes quand en utilisant importance essai.
Que dit, s'il te plaît garder dans esprit le dangers de cerise cueillette, p-piratage
quand conduite exploratoire études.
Dans résumé, le modèle dépistage plate-forme introduit dans JMP Pro 16
fournit un moyens à simultanément comparer le performance
de prédictif des modèles créé en utilisant différent méthodologies.
JMP a un long debout but à fournir un graphique avec chaque statistique,
et Courbes de confiance aide à remplir que écart.
Pour le modèle dépistage plate-forme.
Toi pourrait naturellement attendre à utiliser importance essai à différencier
entre le performance de divers méthodes être par rapport.
Cependant, Valeurs P avoir viens sous augmenté examen minutieux dans récent années
pour obscurcissant le taille de performance différences.
Dans ajout,
Valeurs P sont souvent mal interprété comme le probabilité le nul hypothèse est vrai.
Plutôt de Valeur P est le probabilité de observer un différence
comme ou plus extrême, en supposant le nul hypothèse est vrai.
Le probabilité de correctement rejetant le nul hypothèse quand il est FAUX
est déterminé par un pouvoir ou un moins bêta.
je avoir argumenté que il est pas rare à seulement avoir un 50% chance
de correctement rejetant le nul hypothèse avec un alpha valeur de .05 .
Comme un alternative, un confiance intervalle pourrait être montré plutôt de un prêt P- valeur.
Cependant, le question serait être gauche ouvrir comme à lequel confiance niveau à montrer.
Courbes de confiance adresse ces préoccupations par montrant tous confiance intervalles
en haut à un arbitrairement haut- niveau de confiance.
Le signifier différence dans le performance
est clairement visible à le 0% confiance niveau, et que actes comme un indiquer estimation.
Tous de le des choses être égal, type 1 et taper 2 les erreurs sont équivalent.
Courbes de confiance ne le faites pas intégrer un biais vers commerce type 1 les erreurs pour type 2.
Même donc, par défaut,
un verticale doubler est montré dans le confiance courbe graphique
pour le standard nul hypothèse de Non différence.
Dans ajout,
un horizontal doubler est montré que délimite le 95% confiance intervalle,
lequel facilement offre un typique importance essai analyse si voulu.
Le valeurs par défaut pour ces lignes sont facilement modifié,
mais différent nul hypothèse et confiance les niveaux voulu.
Même donc, donné le plutôt large et parfois catégorique suggestion
à remplacer importance essai avec indiquer estimations et confiance intervalles,
il peut être meilleur à voir un Courbe de confiance comme un indiquer estimation
le long de avec un presque complet voir de c'est associé incertitude.
Si toi avoir retour à propos le confiance courbes ajouter à,
s'il te plaît partir un commentaire sur le JMP communauté site.
Et ne le faites pas oublier à vote pour ce présentation
si toi trouvé il intéressant ou utile.
Remercier toi pour en train de regarder ce présentation et je espoir toi avoir un super jour.
