Bonjour, mon nom est Bryan Fricke.
Je suis un nouvellement frappé Produit Directeur à JMP, mise au point sur le JMP utilisateur expérience.
Précédemment, je était un logiciel développeur fonctionnement sur exportation rapports
pour rester seul HTML déposer des dossiers, JMP En direct, et JMP Public.
Dans ce présentation,
Je suis en allant pour parler à propos en utilisant confiance courbes
comme un alternative pour H nul hypothèse Importance Essai
dans le contexte de prédictif modèle dépistage.
Supplémentaire matériel sur ce sujet peut être trouvé sur le JMP Communauté site Internet
et le papier associé avec ce présentation.
Dr. Russe Wolfinger, OMS est un distingué recherche compagnon à JMP, est un co -auteur,
et je serait comme pour remercier lui pour son contributions.
Le Modèle Dépistage plateforme introduit dans Saut Pro 16,
permet toi pour évaluer le performance
de plusieurs prédictif des modèles en utilisant croix- validation.
Pour montrer toi comment le Modèle Dépistage plateforme travaux,
Je suis en allant pour utiliser le Diabète Données tableau,
qui est disponible dans le JMP Goûter Données Bibliothèque.
Je vais choisir Modèle Dépistage depuis le Analyser Prédictif La modélisation menu.
JMP répond par afficher le Modèle Dépistage dialogue.
Le d'abord trois Colonnes dans le données tableau
représenter maladie progression dans continu, binaire, et ordinal formes.
Je vais utiliser le continu colonne nommé Oui comme le réponse variable.
Je vais utiliser tous le Colonnes depuis Âge pour Glucose dans le X Facteur rôle.
Je vais taper 1-2-3-4 dans le Ensemble Aléatoire Graine saisir boîte pour reproductibilité.
Je vais sélectionner le vérifier boîte suivant pour Pli K Croix validation
et partir K ensemble pour cinq.
Je vais taper trois dans le saisir boîte suivant pour Répété K Pli.
Dans le Méthode liste, Je vais désélectionner Neural,
et maintenant Je vais sélectionner D'ACCORD.
JMP répond par entraînement et valider des modèles pour chaque de le choisi Méthodes
en utilisant leur défaut paramètre paramètres et croix validation.
Après achever le entraînement et valider processus,
JMP affiche le résultats dans un nouveau fenêtre.
Pour chaque la modélisation méthode, le Modèle Dépistage plateforme fournit
performance mesures dans le former de indiquer estimations
pour le coefficient de détermination,
qui est aussi connu comme R au carré, le racine moyenne au carré erreur,
et le standard déviation pour le racine moyenne au carré erreur.
Maintenant Je vais Cliquez sur Sélectionner Dominant.
JMP répond par mise en évidence le méthode ce effectue meilleur
à travers le performance mesures.
Qu'est-ce que manquant ici est un graphique
pour montrer toi le taille de le différence entre le Dominant Méthode
et le autre méthodes, le long de avec le visualisation
de le incertitude associé avec le différences.
Mais pourquoi pas juste montrer P valeurs indiquant si le différences sont important?
Ne devrait pas un décision à propos si un modèle est supérieur pour un autre
être basé sur importance?
D'abord,
depuis un Valeur P fournit un probabilité basé sur un standardisé différence,
un P valeur par lui-même perd information à propos le brut différence,
donc un important différence n'a pas impliquer un significatif différence.
Mais est ce vraiment un problème?
je moyenne, n'est pas il inutile pour être concerné
avec le taille de un différence entre deux des modèles avant importance essai est utilisé
pour déterminer si le différence est réel?
Le problème avec ce doubler de pensée est ce c'est pouvoir, ou un moins bêta,
ce détermine notre capacité pour correctement rejeter un nul hypothèse.
Auteurs tel comme Jacob Cohen et Franc Schmidt
ont suggéré ce typique études ont un pouvoir pour détecter différences
dans le gamme de 0,4 pour 0,6 .
Allons supposer nous ont un différence où le pouvoir pour détecter un vrai différence
est 0,5 à un Alpha valeur de 0,05 .
Ce suggère nous serait détecter le vrai différence
sur moyenne 50 pourcent de le temps.
Dans ce cas, importance essai serait identité réel différences
Non mieux que retourner un impartial pièce de monnaie.
Si tous autre choses sont égal, Taper Un et Taper Deux les erreurs sont équivalent.
Mais importance essais ce utiliser un Alpha valeur de .05
souvent implicitement supposer Tapez T non les erreurs sont préférable pour Taper Un les erreurs,
notamment si le pouvoir est comme faible comme 0,5 .
UN commun suggestion pour adresse ces et autre questions avec importance essai
est pour montrer le indiquer estimation le long de avec confiance intervalles.
Un objection pour action donc est ce un indiquer estimation
le long de avec un 95 pour cent confiance intervalle
est effectivement le même chose comme importance essai.
Même si nous supposer ce est vrai, un indiquer estimation et confiance intervalle
toujours met le ordre de grandeur de le différence dans le gamme de le incertitude
devant et centre,
alors que un seul P valeur dissimule eux les deux.
Divers auteurs, y compris Cohen et Schmidt,
ont recommandé remplacer importance essai
avec indiquer estimations et confiance intervalles.
Même donc, le recommandation pour utiliser confiance intervalles
supplie le question, "Qui ceux faire nous montrer?"
Montrant seul le 95 pour cent confiance intervalle
serait probable encourager toi pour interpréter il comme un autre former de importance essai.
Le solution fourni par confiance courbes
est pour littéralement montrer tous confiance intervalles
en haut pour un arbitrairement haut confiance niveau.
Donc comment faire toi montrer confiance courbes dans JMP ?
Pour commodément créer confiance courbes dans JMP,
installer le confiance courbes ajouter- dans par visiter le JMP Communauté page d'accueil.
Taper "confiance courbes" dans le recherche saisir champ.
Cliquez sur sur le d'abord entrée ce apparaît.
Maintenant Cliquez sur le télécharger icône suivant pour Courbes de confiance.jmp ajouter dans,
et maintenant toi peut Cliquez sur sur le téléchargé déposer.
JMP répond par demander si je vouloir pour installer le ajouter- dans.
Toi serait Cliquez sur "Installer."
Cependant, Je vais Cliquez sur "Annuler," comme je déjà ont le ajouter- dans installée.
Comment faire toi utiliser le ajouter- dans?
D'abord, pour générer confiance courbes pour ce rapport,
sélectionner "Sauvegarder Résultats Tableau"
depuis le haut rouge Triangle menu situé sur le modèle filtrer rapport fenêtre.
JMP répond par créer un nouveau tableau contenant, parmi autres,
le suivant Colonnes:
Procès, qui contient le identifiants pour trois ensembles de croix validation résultats;
Pli, qui contient le Identifiants pour le cinq distinct ensembles de sous-échantillons
utilisé pour validation dans chaque procès;
Méthode, qui contient le méthodes utilisé pour créer des modèles depuis le test données,
et N, qui contient le nombre de données points utilisé dans le validation plis.
Note ce le procès colonne sera être manquant si le nombre de répète est exactement un,
dans qui cas le Procès colonne est ni créé ni nécessaire.
Sauvegarder pour ce exception,
ces Colonnes sont essentiel pour le confiance courbes ajouter- dans
pour fonction correctement.
Dans ajout pour ces Colonnes,
toi besoin un colonne ce fournit le métrique pour comparer méthodes.
Je vais être en utilisant R au carré comme le métrique de intérêt dans ce présentation.
Une fois toi ont le Modèle Filtrer et Résultats Tableau,
Cliquez sur "Ajouter- Ins" depuis le JMP principal menu bar et alors s élire "Confiance Courbes."
Le logique ce suit serait être mieux mis dans un magicien,
et je espoir pour ajouter ce Fonctionnalité dans un avenir libérer de le ajouter- dans.
Comme il est, le d'abord dialogue ce apparaît
demandes toi pour sélectionner le nom de le tableau ce était généré
quand toi a choisi "Sauvegarder Résultats Tableau"
depuis le Modèle Dépistage Rapports rouge Triangle menu.
Le nom de le tableau dans ce cas est Modèle Dépistage Statistiques Validation Ensemble.
Suivant, un dialogue est affiché ce demandes le nom de le méthode
ce sera servir comme le ligne de base
depuis qui tous le autre performance métrique sont mesuré.
je suggérer départ avec le méthode
ce était choisi quand toi cliqué le Sélectionner Dominant, ou dans ce cas,
je choisi ou cliqué Sélectionner Dominant option
dans le Modèle Filtrer et Rapport fenêtre,
qui dans ce cas est adapter marcher sage.
Enfin, un dialogue est affiché
ce demandes toi pour sélectionner le métrique pour être par rapport entre le divers méthodes.
Comme mentionné plus tôt, Je vais utiliser R au carré comme le métrique pour comparaison.
Saut répond par créer un confiance courbe tableau ce contient P valeurs
et correspondant confiance les niveaux
pour le moyenne métrique différence entre le choisi ligne de base méthode
et chaque de le autre méthodes.
Plus spécifiquement, le généré tableau a Colonnes pour le suivant:
Modèle, dans qui chaque ligne contient le nom de le la modélisation méthode
dont performance est évalué relatif pour le ligne de base méthode;
valeur P,
dans qui chaque ligne contient le probabilité associé avec le performance différence
à moins comme extrême comme le valeurs montré dans le Différence dans R Carré colonne;
Confiance Intervalle, dans qui chaque ligne contient le confiance niveau nous ont
ce le vrai moyenne est contenu dans le associé intervalle.
Et enfin, Différence dans R Carré, dans qui chaque ligne est le maximum ou le minimum
de le attendu différence dans R au carré associé avec le confiance niveau
montré dans le Confiance Intervalle colonne.
Depuis ce tableau, confiance courbes sont créé
et montré dans le Graphique Constructeur graphique.
Quoi sont confiance courbes?
Pour clarifier le clé les attributs de un confiance courbe,
Je vais cacher tous mais le Soutien Vecteur Machines confiance courbe
en utilisant le local données filtre par en cliquant sur Soutien Vecteur Machines.
Par défaut, un confiance courbe seul montre le lignes
ce connecter le extrêmes de chaque confiance intervalle.
Pour voir le points, sélectionner Montrer Contrôle Panneau depuis le rouge Triangle menu
situé suivant pour le texte ce lit Construction de graphique r dans le titre bar.
Maintenant Je vais Changement Cliquez sur le Points icône.
JMP répond par afficher le fin points de le confiance intervalles
ce faire en haut le confiance courbe.
Maintenant je sera Zoom dans et examiner un indiquer.
Si toi flotter le souris aiguille sur n'importe quel de ces points,
un flotter étiqueter montre le P valeur, confiance intervalle,
différence dans le taille de le métrique,
et le méthode utilisé pour générer le modèle être par rapport pour le référence.
Maintenant je sera tourner désactivé le points par Changement en cliquant le Points icône
et en cliquant le Fait bouton.
Même mais le individuel points sont Non plus long montré,
toi peut toujours voir le associé flotter Étiquettes
par placement le souris aiguille sur le confiance courbe.
Le indiquer estimation pour le moyenne différence dans performance
entre Soutien Vecteur M achinés et Adapter marcher sage
est montré à le 0 pour cent confiance niveau,
qui est le moyenne valeur de le différences calculé en utilisant croix validation.
Confiance courbe parcelles le étendue de chaque confiance intervalle
depuis le généré tableau entre le zéro et 99. 99 pour cent confiance niveau,
qui est un arbitrairement haut valeur.
Le long de le gauche Oui axe,
Valeurs P associé avec la confiance intervalles sont montré.
Le long de le droite Oui axe,
le confiance niveau associé avec chaque confiance intervalle est montré.
Le Oui axe les usages un enregistrer escalader,
donc ce plus résolution est montré à plus haut confiance les niveaux.
Par défaut, deux référence lignes sont comploté aux côtés de un confiance courbe.
Le vertical doubler représente le traditionnel nul hypothèse
de Non différence dans effet.
Notez-vous peut changement le vertical doubler position
et ainsi le implicite nul hypothèse
dans le X axe paramètres.
Le horizontal doubler
passe à travers le conventionnel 95 pour cent confiance intervalle.
Comme avec le vertical référence doubler,
toi peut changement le horizontal doubler position
et ainsi le implicite niveau de importance,
par en changeant le Oui axe paramètres.
Si un confiance courbe des croix le vertical doubler au-dessus de le horizontal doubler,
toi ne peut pas rejeter le nul hypothèse en utilisant importance essai.
Pour exemple, nous ne peut pas rejeter le nul hypothèse pour soutien vecteur Machines.
Sur le autre main,
si un confiance courbe des croix le vertical doubler dessous le horizontal doubler,
toi peut rejeter le nul hypothèse.
Par exemple, on peut rejeter l'hypothèse nulle pour Boosté Arbre.
Comment sont confiance courbes calculé ?
Le actuel mise en œuvre de confiance courbes
assume le différences sont calculé en utilisant R fois répété
Pli K croix validation.
Le étendue de chaque confiance intervalle est calculé
en utilisant quoi est connu comme un Variance Corrigée Rééchantillonné Test T.
Note ce auteurs Claude Nadeau et Yoshua Bengio
indiqué ce un corrigée rééchantillonné T- test
est typiquement utilisé dans cas où entraînement ensembles
sont cinq ou dix fois plus grand que validation ensembles.
Pour plus détails, s'il te plaît voir le papier associé avec ce présentation.
Donc comment sont confiance courbes interprété ?
D'abord, un confiance courbe graphiquement dépeint
le principal différence dans le métrique de intérêt entre un donné méthode
et un référence méthode à le 0 pour cent confiance niveau.
Nous peut évaluer si le moyenne différence entre méthodes est significatif.
Si le moyenne différence n'est pas significatif, il y a petit indiquer dans plus loin analyse
de le donné méthode contre le référence méthode avec respect pour le choisi métrique.
Quoi constitue un significatif différence dépend sur le métrique de intérêt
comme Bien comme le destiné scientifique ou ingénierie application.
Pour exemple, toi peut voir le modèle développé avec un décision arbre méthode
est sur moyenne à propos 14 pour cent pire que Adapter marcher sage,
qui discutablement est un significatif différence.
Si le différence est significatif,
nous peut évaluer comment précisément le différence a a été mesuré
par évaluer le largeur de le associé confiance intervalles.
Pour n'importe quel confiance intervalle pas traversée le défaut vertical axe,
nous ont à moins ce niveau de confiance ce le moyenne différence est non nul.
Pour exemple, le décision arbre confiance courbe n'a pas croix le Oui axe
jusqu'à à propos le 99. 98 pour cent confiance niveau,
donc nous sont presque 99. 98 pour cent confiant le moyenne différence n'est pas égal pour zéro.
Dans fait, avec ce données ensemble,
il se tourne dehors ce nous peut être à propos 81 pour cent confiant
ce Adapter marcher sage est à moins comme bien, si pas mieux,
que chaque méthode autre que généralisé lasso de régression.
Maintenant allons considérer le relation entre confiance courbes.
Si deux ou plus confiance courbes significativement chevaucher
et le moyenne différence de chaque est pas significativement différent depuis le autre,
le données suggérer chaque méthode effectue
à propos le même comme le autre avec respect pour le référence modèle.
Pour exemple, nous peut voir ce sur moyenne,
le S soutien Vecteur Machines modèle effectue
moins que 0,5 % de mieux que Amorcer Forêt,
qui est discutable pas un significatif différence.
Et le confiance intervalles
faire pas chevaucher jusqu'à à propos les quatre pour cent confiance niveau,
qui suggère ces valeurs serait être attendu
si les deux méthodes vraiment faire ont à propos le même différence dans performance
avec respect pour le référence.
Si le moyenne différence dans performance
est à propos le même pour deux confiance courbes
mais le confiance intervalles ne le faites pas chevaucher aussi beaucoup,
le données suggère le des modèles effectuer à propos le même comme chaque autre
avec respect pour le référence modèle.
Cependant, nous sont confiant de un non- significatif différence.
Ce particulier cas est plus rare que le autres, et
je ne le faites pas ont un exemple pour montrer avec ce données ensemble.
Sur le autre main,
si le moyenne différence dans performance entre un paire de confiance courbes
est significativement différent et le confiance courbes ont petit chevaucher,
le données suggère le des modèles effectuer différemment depuis un un autre
avec respect pour le référence.
Pour exemple, le généralisé régression lasso modèle
prédit à propos 13. 8 pour cent plus de le variation dans le réponse
que fait le décision arbre modèle.
De plus, le confiance courbes ne le faites pas chevaucher
jusqu'à à propos le 99. 9 pour cent confiance niveau,
qui suggère ces résultats sont assez inhabituel
si le méthodes en fait effectuer à propos le même avec respect pour le référence.
Enfin, si le moyenne différence dans performance
entre un paire de confiance courbes
est significativement différent depuis un un autre et le courbes ont considérable chevaucher,
le données suggère ce alors que le méthodes effectuer différemment depuis un un autre
avec respect pour le référence,
il ne serait pas être surprenant si le différences sont le différences faux.
Pour exemple, nous peut voir ce sur moyenne,
Soutien Vecteur Machines prédit environ 1,4 pour cent plus de le variance
dans le réponse que a fait K La plus proche Voisins.
Cependant, le confiance intervalles commencer pour chevaucher
à à propos le 17 pour cent confiance niveau,
qui suggère il ne serait pas être surprenant si le différence dans performance
entre chaque méthode dans le référence
est en fait plus petit que suggéré par le indiquer estimations.
Simultanément,
il ne serait pas être surprenant si le réel différence est plus grand que mesuré,
ou si le direction de le différence est en fait renversé.
Dans autre mots, le différence dans performance est incertain.
Note ce il n'est pas possible pour évaluer le variabilité dans performance
entre deux des modèles relatif pour un un autre
quand le différences sont relatif pour un troisième modèle.
Pour comparer le variabilité dans performance entre deux méthodes
relatif pour un un autre,
un de le deux méthodes devoir être le référence méthode
depuis qui le différences sont mesuré.
Mais quoi à propos plusieurs des comparaisons ?
Ne le faites pas nous besoin pour ajuster le Valeurs P
pour contrôle le famille sage Taper Un erreur taux?
Dans son papier à propos confiance courbes, Daniel Barrer suggère
ce ajustements sont nécessaire dans confirmatif études
où un but est pré-spécifié, mais pas dans exploratoire études.
Ce suggère en utilisant non corrigé Valeurs P pour plusieurs confiance courbes
dans un exploratoire mode
et seul un seul confiance courbe généré depuis différent données
pour confirmer ton découverte de un important différence entre deux méthodes
quand en utilisant importance essai.
Ce a dit, s'il te plaît donjon dans esprit le dangers de cerise cueillette
et P le piratage quand conduire exploratoire études.
Dans résumé, le Modèle Dépistage plateforme introduit dans JMP Pro 16
fournit un moyens pour simultanément comparer le performance
de prédictif des modèles créé en utilisant différent méthodologies.
JMP a un long- debout but pour fournir un graphique avec chaque statistique,
et confiance courbes aider pour remplir ce écart
pour le Modèle Dépistage plateforme.
Toi pourrait naturellement attendre pour utiliser importance essai pour différencier
entre le performance de le divers méthodes être par rapport.
Cependant, Valeurs P ont venir sous augmenté examen minutieux dans récent années
pour obscurcissant le taille de performance différences.
Dans ajout,
Valeurs P sont souvent mal interprété comme le probabilité le nul hypothèse est FAUX.
Plutôt, un Valeur P est le probabilité de observer un différence comme ou plus extrême,
en supposant le nul hypothèse est vrai.
Le probabilité de correctement rejetant le nul hypothèse
quand il est FAUX est déterminé par pouvoir, ou un moins bêta.
j'ai argumenté ce il est pas rare pour seul ont un 50 pourcent chance
de correctement rejetant le nul hypothèse avec un Alpha valeur de 0,05 .
Comme un alternative, un confiance intervalle pourrait être montré plutôt de un seul Valeur P.
Cependant, le question serait être gauche ouvrir comme pour qui confiance niveau pour montrer.
Confiance courbes adresse ces préoccupations
par montrant tous confiance intervalles en haut pour un arbitrairement haut niveau de confiance.
Le moyenne différence dans performance
est clairement visible à le zéro pour cent confiance niveau,
et ce actes comme un indiquer estimation.
Tous autre choses être égal,
Taper Un et Taper Deux les erreurs sont équivalent,
donc confiance courbes ne le faites pas intégrer un biais vers commerce T oui Un les erreurs
pour Taper Deux.
Même donc, par défaut, un vertical doubler est montré dans le confiance courbe graphique
pour le standard nul hypothèse de Non différence.
Dans ajout, un horizontal doubler est montré ce délimite
le 95 pour cent confiance intervalle,
qui facilement offre un typique importance essai analyse si voulu.
Le valeurs par défaut pour ces lignes sont facilement modifié
si un différent nul hypothèse et confiance niveau est voulu.
Même donc, donné le plutôt large et parfois catégorique suggestion
pour remplacer importance essai avec indiquer estimations et confiance intervalles,
il peut être meilleur pour voir un confiance courbe comme un indiquer estimation
le long de avec un presque complet voir de c'est associé incertitude.
Si toi ont retour à propos le confiance courbes ajouter- dans,
s'il te plaît partir un commentaire sur le JMP C communauté placer
et ne le faites pas oublier pour vote pour ce présentation
si toi trouvé il intéressant et ou utile.
Remercier toi pour en train de regarder ce présentation, et moi espoir toi ont un super jour.
