Bonjour. Mon nom est Bryan Fricke.
Je suis a produit directeur à JMP concentré sur le JMP utilisateur expérience.
Précédemment, I était a logiciel promoteur fonctionnement sur exporter rapports
à autonome HTML feu fichiers.
JMP En direct et JMP Publique.
Dans ce présentation,
Je suis en allant à parler à propos en utilisant Courbes de confiance
comme un alternative à nul hypothèse importance essai
dans le contexte de prédictif modèle dépistage.
Supplémentaire matériel sur ce sujet peut être trouvé sur le JMP Communauté site web
dans le papier associé avec ce présentation.
Dr. Russ Wolfinger est a Distingué Recherche Compagnon à JMP
et a co- auteur, et I serait comme à remercier lui pour son contributions.
Le Modèle Dépistage Plate-forme, introduit dans JMP Pro 16
permet toi à évaluer le performance
de multiple prédictif modèles en utilisant croix validation.
À montrer toi comment le Modèle Dépistage plate-forme travaux,
Je suis en allant à utiliser le Diabète Données tableau,
lequel est disponible dans le JMP échantillon données bibliothèque.
Je vais choisir modèle dépistage depuis le analysé prédictif modélisation menu.
JMP répond par affichage le Modèle Dépistage dialogue.
Le d'abord trois colonnes dans le données tableau
représenter maladie progression dans continu binaire et ordinal formes.
Je vais utiliser le continu colonne nommé Y comme le réponse variable.
Je vais utiliser le colonnes depuis âge à glucose dans le X facteur rôle.
Je vais taper 1234 dans le ensemble aléatoire graine saisir boîte pour reproductibilité,
Je vais sélectionner le vérifier boîte suivant à Pli en K croix validation et partir K ensemble à cinq.
Je vais type 3 dans le saisir boîte suivant à répété KF vieux.
Dans le méthode liste, Je vais désélectionner neural.
Maintenant Je vais cliquez D'accord.
JMP répond par entraînement et validation modèles pour chaque de le choisi méthodes
en utilisant leur défaut paramètre paramètres et croix validation.
Après terminer le entraînement et validation processus,
JMP affichages le résultats dans a nouveau fenêtre.
Pour chaque modélisation méthode.
Le Modèle Dépistage plate-forme fournit performance mesures
dans le formulaire de indiquer estimations pour le coefficient de détermination,
aussi connu comme R quadrillé, le racine moyenne quadrillé erreur,
et le standard déviation pour le racine moyenne quadrillé erreur.
Maintenant Je vais cliquez sélectionner dominant.
JMP répond par surbrillance le méthode
que exécute meilleur à travers le performance mesures.
Qu'est-ce que manquant ici est a graphique à montrer le taille de le différences
entre le dominant méthode et le autre méthodes,
le long de avec le visualisation de le incertitude
associé avec le différences.
Mais pourquoi pas juste montrer P- valeurs indiquant si le différences sont significatif?
Ne devrait pas a décision à propos si un modèle est supérieur à un autre
être basé sur importance?
D'abord, depuis le P- valeur fournit a probabilité
basé sur a standardisé différence,
a Valeur p par lui-même pertes information à propos le brut différence.
Un significatif différence n'a pas impliquer a significatif différence.
Est que vraiment a problème?
I signifier, n'est-ce pas il inutile
à être concerné avec le taille de le différence entre deux modèles
avant en utilisant importance essai
à déterminer si le différence est réel?
Le problème avec que doubler de pensée est que c'est pouvoir ou un moins bêta
que détermine notre capacité à correctement rejeter a nul hypothèse.
Auteurs tel comme Jacob Cohen et Franc Forgeron
avoir suggéré que typique études avoir le pouvoir à détecter différences
dans le gamme de .4 à .6 .
Donc allons-y supposer nous avoir a différence.
Où le pouvoir à détecter a vrai différence?
Zéro cinq à un alpha niveau zéro cinq.
Que suggère nous serait détecter le vrai différence, sur moyenne 50% de le temps.
Donc dans que cas, importance essai serait identifier réel différences
Non mieux que retourner un impartial pièce de monnaie.
Si tous autre des choses sont égal, type 1 et type 2 erreurs sont équivalent.
Mais importance tests que utiliser un alpha valeur de 0,05.
Souvent implicitement supposer type 2 erreurs sont préférable à type 1 erreurs,
particulièrement si le pouvoir est comme faible comme .5 .
A commun suggestion à adresse ces et autre problèmes avec importance essai
est à montrer le indiquer estimation le long de avec le confiance intervalles.
Un objection à faire donc est que
a indiquer estimation le long de avec a 95% confiance intervalle
est efficacement le même chose comme importance essai.
Même si nous supposer que est vrai, a indiquer estimation et confiance intervalle
toujours met le ampleur de le différence
et le gamme de le incertitude devant et centre,
alors que a prêt Valeur p dissimule eux les deux.
Donc divers auteurs, y compris Cohen et Forgeron,
avoir recommandé remplacer importance essai
avec indiquer estimations et confiance intervalles.
Même donc, le recommandation à utiliser confiance intervalles mendie le question,
lequel ceux faire nous montrer?
Affichage seulement le 95% confiance intervalle
serait probable encourager toi à interpréter il comme un autre formulaire de importance essai.
Le solution fourni par Courbes de confiance
est à littéralement montrer tous confiance intervalles
en haut à un arbitrairement haut confiance niveau.
Comment faire I montrer Courbes de confiance et JMP ?
À commodément créer Courbes de confiance et JMP,
installer le Courbes de confiance module complémentaire par visiter le JMP Communauté Page d'accueil.
Taper Courbes de confiance dans le recherche saisir champ.
Cliquez le Courbes de confiance résultat.
Maintenant cliquez le télécharger icône suivant à courbes de confiance. JMPa dd- dans.
Maintenant cliquez le téléchargé déposer.
JMP répond par demander si I vouloir à installer le ajouter- dans.
Toi serait cliquez Installer.
Cependant, Je vais cliquez Annuler comme J'ai déjà installé le module complémentaire.
Donc comment faire toi utiliser le module complémentaire ?
D'abord.
À générer Courbes de confiance pour ce rapport, sélectionner Sauvegarder Résultats tableau
depuis le haut rouge triangle menu situé sur le Modèle Dépistage Rapport fenêtre.
JMP répond par créer a nouveau tableau contenant parmi autres.
Le suivant colonnes procès.
Lequel contient le identifiants pour le trois ensembles
de croix validation résultats.
Pli.
Lequel contient le identifiants
pour le cinq distinct ensembles de sous-échantillons utilisé pour validation dans chaque procès.
Méthode.
Lequel contient le méthodes utilisé à créer modèles depuis le test données.
Et dans.
Lequel contient le nombre de données points utilisé dans le validation plis.
Note que le procès colonne volonté être manquant si le nombre de répétitions est exactement un,
dans lequel cas le procès colonne est ni l'un ni l'autre créé ni nécessaire.
Sauvegarder pour que exception, ces colonnes sont essentiel
pour le Courbes de confiance module complémentaire à fonction correctement.
Dans ajout à ces colonnes, toi besoin un colonne
que fournit le métrique à comparer entre méthodes.
Je vais être en utilisant R quadrillé comme le métrique de intérêt dans ce présentation.
Une fois toi avoir le modèle dépistage résultats tableau,
cliquez modules complémentaires depuis JMPs principal menu bar et alors sélectionner Courbes de confiance.
Le logique que suit serait être mieux mis dans a magicien,
et I espoir à ajouter que fonctionnalité dans a avenir libérer de ce module complémentaire.
Comme il est, le d'abord dialogue que semble
demandes toi à sélectionner le nom de le tableau
que était généré quand toi choisi 'sauvegarder résultats tableau',
depuis le Modèle Écran Rapports Rouge Triangle menu.
Le nom de le tableau dans ce cas est Modèle Écran Statistiques Validation Ensemble.
Suivant, a dialogue est affiché
que demandes le nom de le méthode que volonté servir comme le ligne de base
depuis lequel tous le autre performance métrique sont mesuré.
I suggérer départ avec le méthode que était choisi quand toi cliquez
le Sélectionner Dominant option
dans le Modèle Dépistage Rapport fenêtre, lequel dans ce cas est Ajuster Étape par étape.
Enfin, a dialogue est affiché
que demandes toi à sélectionner le métrique à être comparé entre le divers méthodes.
Comme mentionné plus tôt, Je vais utiliser R quadrillé comme le métrique pour comparaison.
JMP répond par créer a Confiance Courbe tableau que contient Valeurs p
et correspondant confiance niveaux pour le signifier différence
entre le choisi ligne de base méthode et chaque de le autre méthodes.
Plus spécifiquement, le généré tableau a colonnes pour le suivant.
Modèle.
Dans lequel chaque rangée contient le nom de le modélisation méthode
dont performance est évalué relatif à le ligne de base méthode.
P- valeur dans lequel chaque rangée contient le probabilité
associé avec le performance différence
à moins comme extrême comme le valeur montré dans le différence dans notre carré colonne.
Confiance intervalle dans lequel chaque rangée contient le confiance niveau.
Nous avoir que le vrai signifier est contenu dans le associé intervalle
et enfin, différence dans notre carré,
dans lequel chaque rangée est le maximum ou minimum
de le attendu différence dans R quadrillé
associé avec le confiance niveau montré dans le confiance intervalle colonne.
Depuis ce tableau, Courbes de confiance sont créé
et montré dans le Graphique Constructeur graphique.
Donc quoi sont Courbes de confiance ?
À clarifier le clé attributs de a Courbe de confiance,
Je vais cacher tous mais le Soutien Vecteur machine courbe de confiance
en utilisant le locale données filtre par cliquer sur Soutien Vecteur Machines.
Par défaut, a courbe de confiance seulement spectacles
le lignes que connecter le extrêmes de chaque confiance intervalle.
À voir le points, sélectionner Montrer Contrôle Panneau depuis le rouge triangle menu
situé suivant à le texte que lectures Graphique Constructeur dans le Titre bar.
Maintenant Je vais changement cliquez le points icône.
JMP répond par affichage le points d'extrémité de le confiance intervalles
que faire en haut le Courbe de confiance.
Maintenant I volonté zoom dans et examiner a indiquer.
Si toi flotter le souris aiguille sur n'importe lequel de ces points.
A flotter étiquette spectacles le P - valeur confiance intervalle,
différence dans le taille de le métrique
et le méthode utilisé à générer le modèle
être comparé à le référence modèle.
Maintenant Bien tourner désactivé le points par changement cliquer le points icône
et cliquer le Fait bouton.
Même cependant le individuel points sont Non plus long montré,
toi peut toujours voir le associé flotter étiquette
par placement le souris aiguille sur le Courbe de confiance.
Indiquer estimation pour le principal différence
dans performance entre le sport vecteur machines et Adoptez la bonne approche modèles
est montré à le 0% confiance niveau,
lequel est le signifier valeur de le différences calculé en utilisant croix validation.
A courbe de confiance intrigues le étendue
de chaque confiance intervalle depuis le généré tableau entre zéro
et le 99,99% confiance niveau le long de avec le gauche Y axe.
P valeurs associé avec le confiance intervalles sont montré
le long de le droite y axe.
Le confiance niveau associé avec chaque confiance intervalle montré.
Le Y axe utilise a enregistrer échelle
donc que plus résolution est montré à plus haut confiance niveaux.
Par défaut, deux référence lignes sont tracé à côté a Courbe de confiance.
Le verticale doubler représente
le traditionnel nul hypothèse de Non différence dans effet.
Note toi peut changement le verticale doubler position
et ainsi le implicite nul hypothèse.
Dans le Axe X paramètres.
Le horizontal doubler laissez-passer à travers le conventionnel 95% confiance intervalle.
Comme avec le verticale référence doubler,
toi peut changement le horizontal doubler position
et ainsi le implicite niveau de importance
par changement le Y axe paramètres.
Si a courbe de confiance croix le verticale doubler au-dessus de le horizontal doubler,
toi ne peut pas rejeter le nul hypothèse en utilisant importance essai.
Pour exemple, nous ne peut pas rejeter le nul hypothèse pour soutien vecteur machines.
Sur le autre main, si a courbe de confiance
croix le verticale doubler ci-dessous le horizontal doubler,
toi peut rejeter le nul hypothèse en utilisant importance essai.
Pour exemple, nous peut rejeter le nul hypothèse pour boosté arbre.
Comment sont Courbes de confiance calculé ?
Le actuel mise en œuvre de confiance courbes suppose
le différences sont calculé
en utilisant R fois répété Pli en K croix validation.
Le étendue de chaque confiance intervalle est calculé
en utilisant quoi est connu comme a variance corrigé rééchantillonné Test T.
Note que auteurs Claude Nadeau et Joshua Bengio,
note que a corrigé rééchantillonné Test T
est typiquement utilisé dans cas où entraînement ensembles
sont cinq ou dix fois plus grand que validation ensembles.
Pour plus détails, s'il te plaît voir le papier associé avec ce présentation.
Donc comment sont Courbes de confiance interprété ?
D'abord, le courbe de confiance graphiquement représente
le principal différence dans le métrique de intérêt entre a donné méthode
et a référence méthode à le 0% confiance niveau.
Donc nous peut évaluer si le signifier différence entre le méthodes
est significatif.
Si le principal différence n'est-ce pas significatif, il y a petit indiquer dans plus loin analyse
de a donné méthode contre le référence méthode avec respect à le choisi métrique.
Quoi constitue a significatif différence Cela dépend sur le métrique de intérêt
comme Bien comme le destiné scientifique ou ingénierie application.
Pour exemple,
toi peut voir le modèle développé avec a décision arbre méthode
est sur moyenne à propos 14% pire que Adoptez une démarche prudente,
lequel sans doute est a significatif différence.
Si le différence est significatif,
nous peut évaluer comment précisément le différence a a été mesuré
par évaluer comment beaucoup le Confiance C gronder largeur changements
à travers le confiance niveaux.
Pour n'importe lequel confiance intervalle pas passage le défaut verticale axe,
nous avoir à moins que niveau de confiance que le principal différence est non nul.
Pour exemple,
le décision arbre confiance courbe n'a pas croix le Y axe
jusqu'à à propos le 99,98% confiance niveau.
Nous sont presque 99,98% confiant le signifier différence n'est-ce pas égal à zéro.
Dans fait, avec ce données,
il tours dehors que nous peut être à propos 81% confiant
que Adoptez la bonne approche est à moins comme bien,
si pas mieux, que chaque méthode autre que généralisé régression Lasso.
Maintenant allons-y considérer le relation entre Courbes de confiance.
Si deux ou plus Courbes de confiance de manière significative chevaucher
et le signifier différence de chaque est pas de manière significative différent depuis le autre.
Le données suggérer chaque méthode exécute à propos le même comme le autre
avec respect à le référence modèle.
Donc pour exemple,
nous voir que sur moyenne, le Soutien vecteur Machines modèle
exécute moins que . 5% que Bootstrap Forêt,
lequel est sans doute pas a significatif différence.
Le confiance intervalles faire pas chevaucher jusqu'à à propos le 4% confiance niveau,
lequel suggère ces valeurs serait être attendu
si les deux méthodes vraiment faire avoir à propos le même différence dans performance
avec respect à le référence.
Si le moyenne différence dans performance
est à propos le même pour deux confiance courbes,
mais le confiance intervalles ne le faites pas chevaucher aussi beaucoup,
le données suggère
le modèles effectuer à propos le même comme chaque autre avec respect à le référence modèle.
Cependant, nous sont confiant de a non- significatif différence.
Ce particulier cas est rare que le autres
et I ne le faites pas avoir un exemple à montrer avec ce données ensemble.
Sur le autre main, si le moyenne différence dans performance
entre a paire de Courbes de confiance est de manière significative différent
et le confiance courbes avoir petit chevaucher,
le données suggère le modèles effectuer
différemment depuis un un autre avec respect à le référence.
Pour exemple, le généralisé régression Lasso modèle prédit à propos 13,8%
plus de le variation dans le réponse que fait le décision arbre modèle.
De plus, le Courbes de confiance ne le faites pas chevaucher
jusqu'à à propos le 99,9% confiance niveau,
lequel suggère ces résultats sont assez inhabituel
si le méthodes en fait effectuer à propos le même avec respect à le référence.
Enfin, si le moyenne différence dans performance entre a paire
de Courbes de confiance est de manière significative différent depuis un un autre
et le courbes avoir considérable chevaucher,
le données suggère que
alors que le méthodes effectuer différemment depuis un un autre avec respect à le référence,
il ne le ferait pas être surprenant si le différence est furieux.
Pour exemple, nous peut voir que sur moyenne
soutien vecteur machines prédit à propos 1,4% plus de le variance dans le réponse
que a fait [inaudible 00:19:18] le plus proche voisins.
Cependant, le confiance intervalles commencer à chevaucher à à propos le 17% confiance niveau,
lequel suggère il ne le ferait pas être surprenant
si le différence dans performance entre chaque méthode
et le référence est en fait plus petit que suggéré par le indiquer estimations.
Simultanément,
il ne le ferait pas être surprenant si le réel différence est plus grand que mesuré,
ou si le direction de le différence est en fait renversé.
Dans autre mots, le différence dans performance est incertain.
Note que il n'est-ce pas possible à évaluer le variabilité et performance
entre deux modèles relatif à un un autre
quand le différences sont relatif à a troisième modèle.
À comparer le variabilité et performance
entre deux méthodes relatif à un un autre,
un de le deux méthodes doit être le référence méthode
depuis lequel le différences sont mesuré.
Mais quoi à propos multiple comparaisons ?
Ne le faites pas nous besoin à ajuster le Valeurs p
à contrôle le famille sage type 1 erreur taux?
Dans ce papier à propos Courbes de confiance,
Daniel Burrough suggère que ajustements sont nécessaire dans confirmatoire études
où a but est prédéfini, mais pas dans exploratoire études.
Ce idée suggère en utilisant non corrigé Valeurs p pour multiple Courbes de confiance
dans un exploratoire mode
et seulement a célibataire courbe de confiance généré depuis différent données
à confirmer ton résultats de a significatif différence
entre deux méthodes quand en utilisant importance essai.
Que dit, s'il te plaît garder dans esprit le dangers de cerise cueillette, piratage p
quand conduite exploratoire études.
Dans résumé, le modèle dépistage plate-forme introduit dans JMP Pro 16
fournit a moyens à simultanément comparer le performance
de prédictif modèles créé en utilisant différent méthodologies.
JMP a a long debout but à fournir a graphique avec chaque statistique,
et Courbes de confiance aide à remplir que écart.
Pour le modèle dépistage plate-forme.
Toi pourrait naturellement attendre à utiliser importance essai à différencier
entre le performance de divers méthodes être comparé.
Cependant, Valeurs p avoir viens sous augmenté examen minutieux dans récent années
pour obscurcissant le taille de performance différences.
Dans ajout,
Valeurs p sont souvent mal interprété comme le probabilité le nul hypothèse est vrai.
Plutôt de Valeur p est le probabilité de observer a différence
comme ou plus extrême, supposant le nul hypothèse est vrai.
Le probabilité de correctement rejetant le nul hypothèse quand il est FAUX
est déterminé par a pouvoir ou un moins bêta.
I avoir argumenté que il est pas rare à seulement avoir a 50% chance
de correctement rejetant le nul hypothèse avec un alpha valeur de 0,05 .
Comme un alternative, a confiance intervalle pourrait être montré plutôt de a prêt P- valeur.
Cependant, le question serait être gauche ouvrir comme à lequel confiance niveau à montrer.
Courbes de confiance adresse ces préoccupations par montrer tous confiance intervalles
en haut à un arbitrairement haut- niveau de confiance.
Le signifier différence dans le performance
est clairement visible à le 0% confiance niveau, et que actes comme a indiquer estimation.
Tous de le des choses être égal, type 1 et taper 2 erreurs sont équivalent.
Courbes de confiance ne le faites pas intégrer a biais vers commerce type 1 erreurs pour type 2.
Même donc, par défaut,
a verticale doubler est montré dans le confiance courbe graphique
pour le standard nul hypothèse de Non différence.
Dans ajout,
a horizontal doubler est montré que délimite le 95% confiance intervalle,
lequel facilement permet a typique importance essai analyse si voulu.
Le valeurs par défaut pour ces lignes sont facilement modifié,
mais différent nul hypothèse et confiance niveaux voulu.
Même donc, donné le plutôt large et parfois catégorique suggestion
à remplacer importance essai avec indiquer estimations et confiance intervalles,
il peut être meilleur à voir a courbe de confiance comme a indiquer estimation
le long de avec a presque complet voir de c'est associé incertitude.
Si toi avoir retour à propos le confiance courbe complément,
s'il te plaît partir a commentaire sur le JMP communauté site.
Et ne le faites pas oublier à voter pour ce présentation
si toi trouvé il intéressant ou utile.
Remercier toi pour regarder ce présentation et I espoir toi avoir a super jour.
