Bonjour, ma Nom est Bryan Fricke.
je suis une nouvellement frappé Produit Directeur à JMP, mise au point au la JMP utilisateur expérience.
Précédemment, je a été une Logiciel développeur travaillant au exportation rapports
pour supporter seule HTML fichier des dossiers, JMP Vivre, et JMP Publique.
Dans ce présentation,
je suis Aller pour parler sur en utilisant confiance courbes
comme une alternative pour H nul hypothèse Importance Essai
dans la le contexte de prédictif maquette dépistage.
Supplémentaire Matériel au ce matière pouvez être a trouvé au la JMP Communauté site Internet
et la papier associée avec ce présentation.
Dr. Russe Wolfinger, OMS est une distingué recherche compagnon à JMP, est une co -auteur,
et je voudrais aimer pour remercier lui pour le sien contributions.
le Modèle Dépistage Plate-forme introduit dans Saut Pro 16,
permet toi pour évaluer la performance
de plusieurs prédictif des modèles en utilisant traverser- validation.
Pour Afficher toi comment la Modèle Dépistage Plate-forme œuvres,
je suis Aller pour utiliser la Diabète Données table,
lequel est disponible dans la JMP Goûter Données Bibliothèque.
je vais choisir Modèle Dépistage à partir de la Analyser Prédictif La modélisation menu.
JMP répond par afficher la Modèle Dépistage dialogue.
le première Trois Colonnes dans la Les données table
représenter maladie progression dans continu, binaire, et ordinal formes.
je vais utiliser la continu colonne nommé Oui comme la réponse variable.
je vais utiliser tous la Colonnes à partir de Âge pour Glucose dans la X Facteur rôle.
je vais taper 1-2-3-4 dans la Régler Aléatoire Planter contribution boîte pour reproductibilité.
je vais sélectionner la Chèque boîte suivant pour Pli K Traverser validation
et partir K ensemble pour cinq.
je vais taper Trois dans la contribution boîte suivant pour Répété K Plier.
Dans la Méthode liste, je vais désélectionner Neural,
et à présent je vais sélectionner D'ACCORD.
JMP répond par formation et valider des modèles pour chaque de la choisi Méthodes
en utilisant leur défaut paramètre réglages et traverser validation.
Après achever la formation et valider traiter,
JMP affiche la résultats dans une Nouveau la fenêtre.
Pour chaque la modélisation méthode, la Modèle Dépistage Plate-forme fournit
performance les mesures dans la forme de indiquer estimations
pour la coefficient de détermination,
lequel est également connu comme R au carré, la racine moyen au carré Erreur,
et la la norme déviation pour la racine moyen au carré Erreur.
À présent je vais Cliquez sur Sélectionner Dominant.
JMP répond par mise en évidence la méthode ce effectue meilleur
de l'autre côté la performance les mesures.
Qu'est-ce que disparu ici est une graphique
pour Afficher toi le Taille de la différence compris entre la Dominant Méthode
et la autre méthodes, le long de avec la visualisation
de la incertitude associée avec la différences.
Mais Pourquoi ne pas juste Afficher P valeurs indiquant qu'il s'agisse la différences sont important?
Ne devrait pas une décision sur qu'il s'agisse une maquette est supérieur pour une autre
être basé au importance?
Première,
puisque une Valeur P fournit une probabilité basé au une standardisé différence,
une P évaluer par lui-même perd information sur la cru différence,
alors une important différence n'est-ce pas impliquer une significatif différence.
Mais est ce vraiment une problème?
je signifier, n'est pas ce inutile pour être concerné
avec la Taille de une différence compris entre deux des modèles avant de importance essai est utilisé
pour déterminer qu'il s'agisse la différence est réel?
le problème avec ce ligne de en pensant est ce c'est Puissance, ou une moins bêta,
ce détermine notre capacité pour correctement rejeter une nul hypothèse.
Auteurs tel comme Jacob Cohen et Franc Schmidt
avoir suggéré ce typique études avoir une Puissance pour détecter différences
dans la intervalle de 0,4 pour 0,6 .
Allons supposer nous avoir une différence où la Puissance pour détecter une vrai différence
est 0,5 à une Alpha évaluer de 0,05 .
Ce suggère nous voudrais détecter la vrai différence
au moyen 50 pourcent de la temps.
Dans ce Cas, importance essai voudrais identifier réel différences
non mieux que retourner une impartial pièce de monnaie.
Si tous autre des choses sont égal, Taper Une et Taper Deux les erreurs sont équivalent.
Mais importance essais ce utiliser une Alpha évaluer de .05
souvent implicitement supposer Tapez T non les erreurs sont préférable pour Taper Une les erreurs,
particulièrement si la Puissance est comme meugler comme 0,5 .
UNE commun suggestion pour adresse celles-ci et autre questions avec importance essai
est pour Afficher la indiquer estimation le long de avec confiance intervalles.
Une objection pour Faire alors est ce une indiquer estimation
le long de avec un 95 pour cent confiance intervalle
est effectivement la même chose comme importance essai.
Même si nous supposer ce est vrai, une indiquer estimation et confiance intervalle
toujours met la ordre de grandeur de la différence dans la intervalle de la incertitude
de face et centre,
tandis que une seul P évaluer dissimule leur tous les deux.
Divers auteurs, y compris Cohen et Schmidt,
avoir conseillé remplacer importance essai
avec indiquer estimations et confiance intervalles.
Même alors, la recommandation pour utiliser confiance intervalles
supplie la question, "Lequel ceux fais nous Afficher?"
Montrant seulement la 95 pour cent confiance intervalle
voudrais probable encourager toi pour interpréter ce comme une autre forme de importance essai.
le Solution à condition de par confiance courbes
est pour au sens propre Afficher tous confiance intervalles
en haut pour une arbitrairement haut confiance niveau.
Alors comment fais toi Afficher confiance courbes dans JMP ?
Pour commodément créer confiance courbes dans JMP,
installer la confiance courbes ajouter- dans par visiter la JMP Communauté page d'accueil.
Taper "confiance courbes" dans la chercher contribution champ.
Cliquez sur au la première entrée ce apparaît.
À présent Cliquez sur la Télécharger icône suivant pour Courbes de confiance.jmp ajouter dans,
et à présent toi pouvez Cliquez sur au la téléchargé fichier.
JMP répond par demander si je vouloir pour installer la ajouter- dans.
Toi voudrais Cliquez sur "Installer."
Cependant, je vais Cliquez sur "Annuler," comme je déjà avoir la ajouter- dans installée.
Comment fais toi utiliser la ajouter- dans?
Première, pour produire confiance courbes pour ce rapport,
sélectionner "Sauvegarder Résultats Table"
à partir de la Haut rouge Triangle menu situé au la maquette écran rapport la fenêtre.
JMP répond par créer une Nouveau table contenant, parmi les autres,
la Suivant Colonnes:
Essai, lequel contient la identifiants pour Trois ensembles de traverser validation résultats;
Plier, lequel contient la Identifiants pour la cinq distinct ensembles de sous-échantillons
utilisé pour validation dans chaque essai;
Méthode, lequel contient la méthodes utilisé pour créer des modèles à partir de la test Les données,
et N, lequel contient la numéro de Les données points utilisé dans la validation plis.
Noter ce la essai colonne volonté être disparu si la numéro de répète est exactement une,
dans lequel Cas la Essai colonne est non plus créé ni nécessaire.
sauvegarder pour ce exception,
celles-ci Colonnes sont essentiel pour la confiance courbes ajouter- dans
pour une fonction correctement.
Dans une addition pour celles-ci Colonnes,
toi besoin une colonne ce fournit la métrique pour comparer méthodes.
je vais être en utilisant R au carré comme la métrique de intérêt dans ce présentation.
Une fois que toi avoir la Modèle Écran et Résultats Table,
Cliquez sur "Ajouter- Ins" à partir de la JMP principale menu bar et alors s élire "Confiance Courbes."
le logique ce suit voudrais être mieux mis dans une sorcier,
et je espérer pour ajouter ce Fonctionnalité dans une avenir Libération de la ajouter- dans.
Comme ce est, la première dialogue ce apparaît
demandes toi pour sélectionner la Nom de la table ce a été généré
lorsque toi a choisi "Sauvegarder Résultats Table"
à partir de la Modèle Dépistage Rapports rouge Triangle menu.
le Nom de la table dans ce Cas est Modèle Dépistage Statistiques Validation Régler.
Suivant, une dialogue est affiché ce demandes la Nom de la méthode
ce volonté servir comme la ligne de base
à partir de lequel tous la autre performance métrique sont mesuré.
je suggérer départ avec la méthode
ce a été choisi lorsque toi cliqué la Sélectionner Dominant, ou dans ce Cas,
je choisi ou cliqué Sélectionner Dominant option
dans la Modèle Écran et Reportage la fenêtre,
lequel dans ce Cas est ajuster étape sage.
Finalement, une dialogue est affiché
ce demandes toi pour sélectionner la métrique pour être par rapport compris entre la divers méthodes.
Comme mentionné plus tôt, je vais utiliser R au carré comme la métrique pour Comparaison.
Saut répond par créer une confiance courbe table ce contient P valeurs
et correspondant confiance niveaux
pour la signifier métrique différence compris entre la choisi ligne de base méthode
et chaque de la autre méthodes.
Suite Plus précisément, la généré table a Colonnes pour la Suivant:
Modèle, dans lequel chaque ligne contient la Nom de la la modélisation méthode
à qui performance est évalué relatif pour la ligne de base méthode;
valeur P,
dans lequel chaque ligne contient la probabilité associée avec la performance différence
à moins comme extrême comme la valeurs montré dans la Différence dans R Carré colonne;
Confiance Intervalle, dans lequel chaque ligne contient la confiance niveau nous avoir
ce la vrai signifier est contenu dans la associée intervalle.
Et finalement, Différence dans R Carré, dans lequel chaque ligne est la maximum ou le minimum
de la attendu différence dans R au carré associée avec la confiance niveau
montré dans la Confiance Intervalle colonne.
À partir de ce table, confiance courbes sont créé
et montré dans la Graphique Constructeur graphique.
Quoi sont confiance courbes?
Pour clarifier la clé les attributs de une confiance courbe,
je vais cacher tous mais la Support Vecteur Machines confiance courbe
en utilisant la local Les données filtre par en cliquant au Support Vecteur Machines.
Par défaut, une confiance courbe seulement spectacles la lignes
ce relier la extrêmes de chaque confiance intervalle.
Pour voir la points, sélectionner Montrer Contrôler Panneau à partir de la rouge Triangle menu
situé suivant pour la texte ce lit Construction de graphique r dans la Titre bar.
À présent je vais Changement Cliquez sur la Points icône.
JMP répond par afficher la finir points de la confiance intervalles
ce Fabriquer en haut la confiance courbe.
À présent je volonté Zoom dans et examiner une indiquer.
Si toi flotter la Souris aiguille plus de quelconque de celles-ci points,
une flotter étiqueter spectacles la P évaluer, confiance intervalle,
différence dans la Taille de la métrique,
et la méthode utilisé pour produire la maquette être par rapport pour la référence.
À présent je volonté tourner désactivé la points par Changement en cliquant la Points icône
et en cliquant la Terminé bouton.
Même mais la individuel points sont non plus long montré,
toi pouvez toujours voir la associée flotter Étiquettes
par placement la Souris aiguille plus de la confiance courbe.
le indiquer estimation pour la signifier différence dans performance
compris entre Support Vecteur M achinés et Ajuster étape sage
est montré à la 0 pour cent confiance niveau,
lequel est la signifier évaluer de la différences calculé en utilisant traverser validation.
Confiance courbe parcelles la Le degré de chaque confiance intervalle
à partir de la généré table compris entre la zéro et 99. 99 pour cent confiance niveau,
lequel est une arbitrairement haut évaluer.
Le long de la la gauche Oui axe,
Valeurs P associée avec la confiance intervalles sont montré.
Le long de la droit Oui axe,
la confiance niveau associée avec chaque confiance intervalle est montré.
le Oui axe les usages une Journal escalader,
alors ce Suite résolution est montré à plus haute confiance niveaux.
Par défaut, deux référence lignes sont comploté aux côtés de une confiance courbe.
le verticale ligne représente la traditionnel nul hypothèse
de non différence dans effet.
Notez-vous pouvez changement la verticale ligne position
et ainsi la implicite nul hypothèse
dans la X axe réglages.
le horizontal ligne
passe par la conventionnel 95 pour cent confiance intervalle.
Comme avec la verticale référence ligne,
toi pouvez changement la horizontal ligne position
et ainsi la implicite niveau de importance,
par en changeant la Oui axe réglages.
Si une confiance courbe des croix la verticale ligne au dessus la horizontal ligne,
toi ne peut pas rejeter la nul hypothèse en utilisant importance essai.
Pour Exemple, nous ne peut pas rejeter la nul hypothèse pour Support vecteur Machines.
Au la autre main,
si une confiance courbe des croix la verticale ligne au dessous de la horizontal ligne,
toi pouvez rejeter la nul hypothèse.
Par exemple, on peut rejeter l'hypothèse nulle pour Boosté Arbre.
Comment sont confiance courbes calculé ?
le courant la mise en oeuvre de confiance courbes
assume la différences sont calculé en utilisant R fois répété
Pli K traverser validation.
le Le degré de chaque confiance intervalle est calculé
en utilisant Quel est connu comme une Variance Corrigée Rééchantillonné Test T.
Noter ce auteurs Claude Nadeau et Yoshua Bengio
c'est noté ce une corrigée rééchantillonné T- test
est typiquement utilisé dans cas où formation ensembles
sont cinq ou Dix fois plus grand que validation ensembles.
Pour Suite des détails, s'il te plaît voir la papier associée avec ce présentation.
Alors comment sont confiance courbes interprété ?
Première, une confiance courbe graphiquement dépeint
la principale différence dans la métrique de intérêt compris entre une étant donné méthode
et une référence méthode à la 0 pour cent confiance niveau.
Nous pouvez évaluer qu'il s'agisse la signifier différence compris entre méthodes est significatif.
Si la signifier différence n'est pas significatif, il y a peu indiquer dans plus loin Analyse
de la étant donné méthode contre la référence méthode avec le respect pour la choisi métrique.
Quoi constitue une significatif différence dépend au la métrique de intérêt
comme bien comme la destiné scientifique ou ingénierie application.
Pour Exemple, toi pouvez voir la maquette développé avec une décision arbre méthode
est au moyen sur 14 pour cent pire que Ajuster étape sage,
lequel discutablement est une significatif différence.
Si la différence est significatif,
nous pouvez évaluer comment précisément la différence a été mesuré
par évaluer la largeur de la associée confiance intervalles.
Pour quelconque confiance intervalle ne pas traversée la défaut verticale axe,
nous avoir à moins ce niveau de confiance ce la signifier différence est non nul.
Pour Exemple, la décision arbre confiance courbe n'est-ce pas traverser la Oui axe
jusqu'à ce que sur la 99. 98 pour cent confiance niveau,
alors nous sont presque 99. 98 pour cent confiant la signifier différence n'est pas égal pour zéro.
Dans fait, avec ce Les données ensemble,
ce se tourne en dehors ce nous pouvez être sur 81 pour cent confiant
ce Ajuster étape sage est à moins comme bien, si ne pas mieux,
que tous méthode autre que généralisé lasso de régression.
À présent allons considérer la relation amoureuse compris entre confiance courbes.
Si deux ou Suite confiance courbes significativement chevaucher
et la signifier différence de chaque est ne pas significativement différent à partir de la autre,
la Les données suggérer chaque méthode effectue
sur la même comme la autre avec le respect pour la référence maquette.
Pour Exemple, nous pouvez voir ce au moyen,
le S soutien Vecteur Machines maquette effectue
moins que 0,5 % de mieux que Amorcer Forêt,
lequel est discutable ne pas une significatif différence.
Et le confiance intervalles
fais ne pas chevaucher jusqu'à ce que sur les quatre pour cent confiance niveau,
lequel suggère celles-ci valeurs voudrais être attendu
si tous les deux méthodes vraiment fais avoir sur la même différence dans performance
avec le respect pour la référence.
Si la moyen différence dans performance
est sur la même pour deux confiance courbes
mais la confiance intervalles ne fais pas chevaucher aussi beaucoup,
la Les données suggère la des modèles effectuer sur la même comme chaque autre
avec le respect pour la référence maquette.
Cependant, nous sont confiant de une non- significatif différence.
Ce particulier Cas est plus rare que la les autres, et
je ne fais pas avoir une Exemple pour Afficher avec ce Les données ensemble.
Au la autre main,
si la moyen différence dans performance compris entre une paire de confiance courbes
est significativement différent et la confiance courbes avoir peu chevaucher,
la Les données suggère la des modèles effectuer différemment à partir de une une autre
avec le respect pour la référence.
Pour Exemple, la généralisé régression lasso maquette
prédit sur 13. 8 pour cent Suite de la variation dans la réponse
que Est-ce que la décision arbre maquette.
En outre, la confiance courbes ne fais pas chevaucher
jusqu'à ce que sur la 99. 9 pour cent confiance niveau,
lequel suggère celles-ci résultats sont assez inhabituel
si la méthodes en fait effectuer sur la même avec le respect pour la référence.
Finalement, si la moyen différence dans performance
compris entre une paire de confiance courbes
est significativement différent à partir de une une autre et la courbes avoir considérable chevaucher,
la Les données suggère ce tandis que la méthodes effectuer différemment à partir de une une autre
avec le respect pour la référence,
ce ne serait pas être surprenant si la différences sont la différences faux.
Pour Exemple, nous pouvez voir ce au moyen,
Support Vecteur Machines prédit environ 1,4 pour cent Suite de la variance
dans la réponse que a fait K La plus proche Voisins.
Cependant, la confiance intervalles commencer pour chevaucher
à sur la 17 pour cent confiance niveau,
lequel suggère ce ne serait pas être surprenant si la différence dans performance
compris entre chaque méthode dans la référence
est en fait plus petit que suggéré par la indiquer estimations.
Simultanément,
ce ne serait pas être surprenant si la réel différence est plus grand que mesuré,
ou si la direction de la différence est en fait renversé.
Dans autre mots, la différence dans performance est incertain.
Noter ce ce n'est pas possible pour évaluer la variabilité dans performance
compris entre deux des modèles relatif pour une une autre
lorsque la différences sont relatif pour une la troisième maquette.
Pour comparer la variabilité dans performance compris entre deux méthodes
relatif pour une une autre,
une de la deux méthodes devoir être la référence méthode
à partir de lequel la différences sont mesuré.
Mais Quel sur plusieurs des comparaisons ?
Ne pas nous besoin pour régler la Valeurs P
pour contrôler la famille sage Taper Une Erreur taux?
Dans le sien papier sur confiance courbes, Daniel Barrer suggère
ce ajustements sont nécessaire dans confirmatif études
où une but est prédéfini, mais ne pas dans exploratoire études.
Ce suggère en utilisant non corrigé Valeurs P pour plusieurs confiance courbes
dans une exploratoire mode
et seulement une Célibataire confiance courbe généré à partir de différent Les données
pour confirmer ton découverte de une important différence compris entre deux méthodes
lorsque en utilisant importance essai.
Ce mentionné, s'il te plaît garder dans esprit la dangers de Cerise cueillette
et P le piratage lorsque conduire exploratoire études.
Dans sommaire, la Modèle Dépistage Plate-forme introduit dans JMP Pro 16
fournit une moyens pour simultanément comparer la performance
de prédictif des modèles créé en utilisant différent méthodologies.
JMP a une long- debout but pour apporter une graphique avec tous statistique,
et confiance courbes aider pour remplir ce écart
pour la Modèle Dépistage Plate-forme.
Toi pourrait naturellement attendre pour utiliser importance essai pour différencier
compris entre la performance de la divers méthodes être par rapport.
Cependant, Valeurs P avoir viens en dessous de augmenté examen minutieux dans récent années
pour obscurcissant la Taille de performance différences.
Dans une addition,
Valeurs P sont souvent mal interprété comme la probabilité la nul hypothèse est faux.
À la place, une Valeur P est la probabilité de observer une différence comme ou Suite extrême,
en supposant la nul hypothèse est vrai.
le probabilité de correctement rejetant la nul hypothèse
lorsque ce est faux est déterminé par Puissance, ou une moins bêta.
j'ai argumenté ce ce est ne pas rare pour seulement avoir une 50 pourcent chance
de correctement rejetant la nul hypothèse avec une Alpha évaluer de 0,05 .
Comme une alternative, une confiance intervalle pouvait être montré au lieu de une seul Valeur P.
Cependant, la question voudrais être la gauche ouvrir comme pour lequel confiance niveau pour Afficher.
Confiance courbes adresse celles-ci préoccupations
par montrant tous confiance intervalles en haut pour une arbitrairement haut niveau de confiance.
le signifier différence dans performance
est clairement visible à le zéro pour cent confiance niveau,
et ce actes comme une indiquer estimation.
Tous autre des choses être égal,
Taper Une et Taper Deux les erreurs sont équivalent,
alors confiance courbes ne fais pas intégrer une biais vers commerce T oui Une les erreurs
pour Taper Deux.
Même alors, par défaut, une verticale ligne est montré dans la confiance courbe graphique
pour la la norme nul hypothèse de non différence.
Dans une addition, une horizontal ligne est montré ce délimite
la 95 pour cent confiance intervalle,
lequel facilement offre une typique importance essai Analyse si voulu.
le valeurs par défaut pour celles-ci lignes sont facilement modifié
si une différent nul hypothèse et confiance niveau est voulu.
Même alors, étant donné la plutôt large et parfois catégorique suggestion
pour remplacer importance essai avec indiquer estimations et confiance intervalles,
ce mai être meilleur pour voir une confiance courbe comme une indiquer estimation
le long de avec une presque complet voir de son associée incertitude.
Si toi avoir retour d'information sur la confiance courbes ajouter- dans,
s'il te plaît partir une commenter au la JMP C communauté placer
et ne fais pas Oubliez pour voter pour ce présentation
si toi a trouvé ce intéressant et ou utile.
Remercier toi pour en train de regarder ce présentation, et moi espérer toi avoir une génial journée.
