Ciao. Mio nome È Bryan Fricke.
Io sono UN Prodotto manager A JMP focalizzata SU IL JMP utente esperienza.
In precedenza, IO era UN Software sviluppatore lavorando SU esportare rapporti
A indipendente, autonomo HTML fuoco File.
JMP Vivere E JMP Pubblico.
In Questo presentazione,
Io sono andando A parlare Di utilizzando Curve di fiducia
COME UN alternativa A nullo ipotesi significato test
In IL contesto Di predittivo modello selezione.
Ulteriori Materiale SU Questo soggetto Potere Essere trovato SU IL JMP Comunità sito web
In IL carta associato con Questo presentazione.
Dott. Russo Wolfinger È UN Distinto Ricerca Compagno A JMP
E UN co- autore, E IO volevo Piace A Grazie lui per il suo contributi.
IL Modello Selezione Piattaforma, introdotto In JMP Pro 16
consente Voi A valutare IL prestazione
Di multiplo predittivo Modelli utilizzando attraverso convalida.
A spettacolo Voi Come IL Modello Selezione piattaforma lavori,
Io sono andando A utilizzo IL Diabete Dati tavolo,
Quale È disponibile In IL JMP campione dati biblioteca.
Malato scegliere modello selezione da IL analizzato predittivo modellazione menù.
JMP risponde di visualizzazione IL Modello Selezione dialogo.
IL Primo tre colonne In IL dati tavolo
rappresentare malattia progressione In continuo binario E ordinale forme.
Malato utilizzo IL continuo colonna di nome Y COME IL risposta variabile.
Malato utilizzo IL colonne da età A glucosio In IL X fattore ruolo.
Malato tipo 1234 In IL impostato casuale seme ingresso scatola per riproducibilità,
Malato Selezionare IL controllo scatola Prossimo A Piega a K attraverso convalida E Partire K impostato A cinque.
Malato tipo 3 in IL ingresso scatola Prossimo A ripetuto KF vecchio.
In IL metodo elenco, Malato deseleziona neurale.
Ora Malato clic Va bene.
JMP risponde di formazione E validazione Modelli per ogni Di IL selezionato metodi
utilizzando loro predefinito parametro impostazioni E attraverso convalida.
Dopo completando IL formazione E validazione processi,
JMP visualizza IL risultati In UN nuovo finestra.
Per ogni modellazione metodo.
IL Modello Selezione piattaforma fornisce prestazione le misure
In IL modulo Di punto stime per IL coefficiente Di determinazione,
Anche conosciuto COME R quadrato, IL radice media quadrato errore,
E IL standard deviazione per IL radice media quadrato errore.
Ora Malato clic Selezionare dominante.
JMP risponde di evidenziando IL metodo
Quello esegue migliore attraverso IL prestazione le misure.
Cosa c'è mancante Qui È UN grafico A spettacolo IL misurare Di IL differenze
fra IL dominante metodo E IL altro metodi,
lungo con IL visualizzazione Di IL incertezza
associato con IL differenze.
Ma Perché non Appena spettacolo P- valori indicando se IL differenze Sono significativo?
Non dovrebbe UN decisione Di se uno modello È superiore A un altro
Essere basato SU significato?
Primo, Da IL P- valore fornisce UN probabilità
basato SU UN standardizzato differenza,
UN Valore P di si perde informazione Di IL crudo differenza.
Aa significativo differenza no implicare UN significativo differenza.
È Quello Veramente UN problema?
IO Significare, non lo è Esso inutile
A Essere interessato con IL misurare Di IL differenza fra due Modelli
Prima utilizzando significato test
A determinare se IL differenza È vero?
IL problema con Quello linea Di pensiero È Quello suo energia O uno meno beta
Quello determina Nostro capacità A correttamente rifiutare UN nullo ipotesi.
Autori come COME Giacobbe Cohen E Franco fabbro
Avere suggerito Quello tipico studi Avere IL energia A rilevare differenze
In IL allineare Di da .4 a .6 .
COSÌ andiamo supponiamo Noi Avere UN differenza.
Dove IL energia A rilevare UN VERO differenza?
Zero cinque A UN alfa livello zero cinque.
Quello suggerisce Noi volevo rilevare IL VERO differenza, SU media 50% Di IL tempo.
COSÌ In Quello caso, significato test volevo identificare vero differenze
NO Meglio di lanciando UN imparziale moneta.
Se Tutto altro cose Sono pari, tipo 1 E tipo 2 errori Sono equivalente.
Ma significato test Quello utilizzo UN alfa valore Di .05.
Spesso implicitamente assumere tipo 2 errori Sono preferibile A tipo 1 errori,
in particolar modo Se IL energia È COME Basso COME .5 .
UN comune suggerimento A indirizzo questi E altro problemi con significato test
È A spettacolo IL punto stima lungo con IL fiducia intervalli.
Uno obiezione A facendo COSÌ È Quello
UN punto stima lungo con UN 95% fiducia intervallo
È effettivamente IL Stesso cosa COME significato test.
Anche Se Noi assumere Quello È VERO, UN punto stima E fiducia intervallo
Ancora mette IL grandezza Di IL differenza
E IL allineare Di IL incertezza davanti E centro,
mentre UN prestito Valore P nasconde loro Entrambi.
COSÌ vari autori, Compreso Cohen E Fabbro,
Avere consigliato sostituendo significato test
con punto stime E fiducia intervalli.
Anche COSÌ, IL raccomandazione A utilizzo fiducia intervalli implora IL domanda,
Quale quelli Fare Noi spettacolo?
Mostrando soltanto IL 95% fiducia intervallo
volevo probabile incoraggiare Voi A interpretare Esso COME un altro modulo Di significato test.
IL soluzione fornito di Curve di fiducia
È A letteralmente spettacolo Tutto fiducia intervalli
su A UN arbitrariamente alto fiducia livello.
Come Fare IO spettacolo Curve di fiducia E JMP?
A convenientemente creare Curve di fiducia E JMP,
installare IL Curve di fiducia aggiungere di visitare IL JMP Comunità Home page.
Tipo Curve di fiducia in IL ricerca ingresso campo.
Clic IL Curve di fiducia risultato.
Ora clic IL scaricamento icona Prossimo A curve di fiducia. JMPa dd- In.
Ora clic IL scaricato file.
JMP risponde di chiedendo Se IO Volere A installare IL aggiungere- In.
Voi volevo clic Installare.
Tuttavia, Malato clic Annulla COME Io ho Già installato IL aggiungere.
COSÌ Come Fare Voi utilizzo IL aggiungere?
Primo.
A creare Curve di fiducia per Questo rapporto, Selezionare Salva Risultati tavolo
da IL superiore rosso triangolo menù situato SU IL Modello Selezione Rapporto finestra.
JMP risponde di creando UN nuovo tavolo contenente tra altri.
IL seguente colonne prova.
Quale contiene IL identificatori per IL tre imposta
Di attraverso convalida risultati.
Piega.
Quale contiene IL identificatori
per IL cinque distinto imposta Di sottocampioni usato per convalida In ogni prova.
Metodo.
Quale contiene IL metodi usato A creare Modelli da IL test dati.
E In.
Quale contiene IL numero Di dati punti usato In IL convalida pieghe.
Nota Quello IL prova colonna Volere Essere mancante Se IL numero Di ripete È esattamente uno,
In Quale caso IL prova colonna È nessuno dei due creato né necessario.
Salva per Quello eccezione, questi colonne Sono essenziale
per IL Curve di fiducia aggiungere A funzione correttamente.
In aggiunta A questi colonne, Voi Bisogno uno colonna
Quello fornisce IL metrico A confrontare fra metodi.
Malato Essere utilizzando R quadrato COME IL metrico Di interesse In Questo presentazione.
Una volta Voi Avere IL modello selezione risultati tavolo,
clic componenti aggiuntivi da JMP principale menù sbarra E Poi Selezionare Curve di fiducia.
IL logica Quello segue volevo Essere Meglio posizionato In UN procedura guidata,
E IO Speranza A aggiungere Quello funzionalità In UN futuro pubblicazione Di Questo aggiungere.
COME Esso È, IL Primo dialogo Quello appare
richieste Voi A Selezionare IL nome Di IL tavolo
Quello era generato Quando Voi scelto 'salva risultati tavolo',
da IL Modello Schermo Rapporti Rosso Triangolo menù.
IL nome Di IL tavolo In Questo caso È Modello Schermo Statistiche Validazione Impostato.
Prossimo, UN dialogo È visualizzato
Quello richieste IL nome Di IL metodo Quello Volere servire COME IL linea di base
da Quale Tutto IL altro prestazione metrica Sono misurato.
IO suggerire di partenza con IL metodo Quello era selezionato Quando Voi clic
IL Selezionare Dominante opzione
In IL Modello Selezione Rapporto finestra, Quale In Questo caso È Adatto Gradualmente.
Finalmente, UN dialogo È visualizzato
Quello richieste Voi A Selezionare IL metrico A Essere rispetto fra IL vari metodi.
COME menzionato prima, Malato utilizzo R quadrato COME IL metrico per confronto.
JMP risponde di creando UN Fiducia Curva tavolo Quello contiene Valori P
E corrispondente fiducia livelli per IL Significare differenza
fra IL scelto linea di base metodo E ogni Di IL altro metodi.
Di più in particolare, IL generato tavolo ha colonne per IL seguente.
Modello.
In Quale ogni riga contiene IL nome Di IL modellazione metodo
di chi prestazione È valutato parente A IL linea di base metodo.
P- valore In Quale ogni riga contiene IL probabilità
associato con IL prestazione differenza
A meno COME estremo COME IL valore mostrato In IL differenza In Nostro piazza colonna.
Fiducia intervallo In Quale ogni riga contiene IL fiducia livello.
Noi Avere Quello IL VERO Significare È contenuto In IL associato intervallo
E Finalmente, differenza In Nostro piazza,
In Quale ogni riga È IL massimo O minimo
Di IL previsto differenza In R quadrato
associato con IL fiducia livello mostrato In IL fiducia intervallo colonna.
Da Questo tavolo, Curve di fiducia Sono creato
E mostrato In IL Grafico Costruttore grafico.
COSÌ Che cosa Sono Curve di fiducia?
A chiarire IL chiave attributi Di UN Curva di fiducia,
Malato nascondere Tutto Ma IL Supporto Vettore macchina Curva di fiducia
utilizzando IL Locale dati filtro di cliccando SU Supporto Vettore Macchine.
Di predefinito, UN Curva di fiducia soltanto Spettacoli
IL linee Quello Collegare IL estremi Di ogni fiducia intervallo.
A Vedere IL punti, Selezionare Spettacolo Controllo Pannello da IL rosso triangolo menù
situato Prossimo A IL testo Quello legge Grafico Costruttore In IL Titolo sbarra.
Ora Malato spostare clic IL punti icona.
JMP risponde di visualizzazione IL endpoint Di IL fiducia intervalli
Quello Fare su IL Curva di fiducia.
Ora IO Volere Ingrandisci In E esaminare UN punto.
Se Voi passa il mouse IL topo puntatore Sopra Qualunque Di questi punti.
UN passa il mouse etichetta Spettacoli il p - valore fiducia intervallo,
differenza In IL misurare Di IL metrico
E IL metodo usato A creare IL modello
essendo rispetto A IL riferimento modello.
Ora BENE giro spento IL punti di spostare cliccando IL punti icona
E cliccando IL Fatto pulsante.
Anche Anche se IL individuale punti Sono NO più a lungo mostrato,
Voi Potere Ancora visualizzazione IL associato passa il mouse etichetta
di collocazione IL topo puntatore Sopra IL Curva di fiducia.
Punto stima per IL principale differenza
In prestazione fra IL sport vettore macchine E Adatta passo passo Modelli
È mostrato A IL 0% fiducia livello,
Quale È IL Significare valore Di IL differenze calcolato utilizzando attraverso convalida.
UN Curva di fiducia trame IL estensione
Di ogni fiducia intervallo da IL generato tavolo fra zero
E IL 99,99% fiducia livello lungo con IL Sinistra Y asse.
P valori associato con IL fiducia intervalli Sono mostrato
lungo IL Giusto sì asse.
IL fiducia livello associato con ogni fiducia intervallo mostrato.
IL Y asse usi UN tronco d'albero scala
COSÌ Quello Di più risoluzione È mostrato A più alto fiducia livelli.
Di predefinito, due riferimento linee Sono tracciato accanto UN Curva di fiducia.
IL verticale linea rappresenta
IL tradizionale nullo ipotesi Di NO differenza In effetto.
Nota Voi Potere modifica IL verticale linea posizione
E in tal modo IL implicito nullo ipotesi.
In IL Asse X impostazioni.
IL orizzontale linea passa Attraverso IL convenzionale 95% fiducia intervallo.
COME con IL verticale riferimento linea,
Voi Potere modifica IL orizzontale linea posizione
E in tal modo IL implicito livello Di significato
di mutevole IL Y asse impostazioni.
Se UN Curva di fiducia croci IL verticale linea Sopra IL orizzontale linea,
Voi non può rifiutare IL nullo ipotesi utilizzando significato test.
Per esempio, Noi non può rifiutare IL nullo ipotesi per supporto vettore macchine.
SU IL altro mano, Se UN Curva di fiducia
croci IL verticale linea sotto IL orizzontale linea,
Voi Potere rifiutare IL nullo ipotesi utilizzando significato test.
Per esempio, Noi Potere rifiutare IL nullo ipotesi per potenziato albero.
Come Sono Curve di fiducia calcolato?
IL attuale implementazione Di fiducia curve presuppone
IL differenze Sono calcolato
utilizzando R volte ripetuto Piega a K attraverso convalida.
IL estensione Di ogni fiducia intervallo È calcolato
utilizzando Che cosa È conosciuto COME UN varianza corretto ricampionato Prova T.
Nota Quello autori Claudio Nadéau E Yoshua Bengio,
Nota Quello UN corretto ricampionato Prova T
È tipicamente usato In casi Dove formazione imposta
Sono cinque O dieci volte più grandi di convalida imposta.
Per Di più dettagli, Per favore Vedere IL carta associato con Questo presentazione.
COSÌ Come Sono Curve di fiducia interpretato?
Primo, IL Curva di fiducia graficamente raffigura
IL principale differenza In IL metrico Di interesse fra UN dato metodo
E UN riferimento metodo A IL 0% fiducia livello.
COSÌ Noi Potere valutare se IL Significare differenza fra IL metodi
È significativo.
Se IL principale differenza non lo è significativo, c'è poco punto In ulteriore analisi
Di UN dato metodo contro IL riferimento metodo con rispetto A IL scelto metrico.
Che cosa costituisce UN significativo differenza dipende SU IL metrico Di interesse
COME BENE COME IL destinato scientifico O ingegneria applicazione.
Per esempio,
Voi Potere Vedere IL modello sviluppato con UN decisione albero metodo
È SU media Di 14% peggio di Adatta passo passo,
Quale probabilmente È UN significativo differenza.
Se IL differenza È significativo,
Noi Potere valutare Come precisamente IL differenza ha stato misurato
di valutare Come tanto IL Fiducia C urve larghezza i cambiamenti
attraverso IL fiducia livelli.
Per Qualunque fiducia intervallo non attraversamento IL predefinito verticale asse,
Noi Avere A meno Quello livello Di fiducia Quello IL principale differenza È diverso da zero.
Per esempio,
IL decisione albero fiducia curva no attraverso IL Y asse
Fino a Di IL 99,98% fiducia livello.
Noi Sono quasi 99,98% fiducioso IL Significare differenza non lo è pari A zero.
In fatto, con Questo dati,
Esso giri fuori Quello Noi Potere Essere Di 81% fiducioso
Quello Adatta passo passo È A meno COME Bene,
Se non Meglio, di ogni metodo altro di generalizzato regressione Lazo.
Ora andiamo prendere in considerazione IL relazione fra Curve di fiducia.
Se due O Di più Curve di fiducia in modo significativo sovrapposizione
E IL Significare differenza Di ogni È non significativamente diverso da IL altro.
IL dati suggerire ogni metodo esegue Di IL Stesso COME IL altro
con rispetto A IL riferimento modello.
COSÌ per esempio,
Noi Vedere Quello SU media, IL Supporto vettore Macchine modello
esegue meno di . 5% di Bootstrap Foresta,
Quale È probabilmente non UN significativo differenza.
IL fiducia intervalli Fare non sovrapposizione Fino a Di IL 4% fiducia livello,
Quale suggerisce questi valori volevo Essere previsto
Se Entrambi metodi Veramente Fare Avere Di IL Stesso differenza In prestazione
con rispetto A IL riferimento.
Se IL media differenza In prestazione
È Di IL Stesso per due fiducia curve,
Ma IL fiducia intervalli non sovrapposizione pure tanto,
IL dati suggerisce
IL Modelli eseguire Di IL Stesso COME ogni altro con rispetto A IL riferimento modello.
Tuttavia, Noi Sono fiducioso Di UN non- significativo differenza.
Questo particolare caso È raro di IL altri
E IO non Avere UN esempio A spettacolo con Questo dati impostato.
SU IL altro mano, Se IL media differenza In prestazione
fra UN paio Di Curve di fiducia È significativamente diverso
E IL fiducia curve Avere poco sovrapposizione,
IL dati suggerisce IL Modelli eseguire
diversamente da uno un altro con rispetto A IL riferimento.
Per esempio, IL generalizzato regressione Lazo modello predice Di 13,8%
Di più Di IL variazione In IL risposta di fa IL decisione albero modello.
Inoltre, IL Curve di fiducia non sovrapposizione
Fino a Di IL 99,9% fiducia livello,
Quale suggerisce questi risultati Sono abbastanza insolito
Se IL metodi In realtà eseguire Di IL Stesso con rispetto A IL riferimento.
Finalmente, Se IL media differenza In prestazione fra UN paio
Di Curve di fiducia È significativamente diverso da uno un altro
E IL curve Avere considerevole sovrapposizione,
IL dati suggerisce Quello
Mentre IL metodi eseguire diversamente da uno un altro con rispetto A IL riferimento,
Esso non lo farebbe Essere sorprendente Se IL differenza È furioso.
Per esempio, Noi Potere Vedere Quello SU media
supporto vettore macchine previsto Di 1,4% Di più Di IL varianza In IL risposta
di fatto [impercettibile 00:19:18] più vicino vicinato.
Tuttavia, IL fiducia intervalli inizio A sovrapposizione A Di IL 17% fiducia livello,
Quale suggerisce Esso non lo farebbe Essere sorprendente
Se IL differenza In prestazione fra ogni metodo
E IL riferimento È In realtà più piccola di suggerito di IL punto stime.
Contemporaneamente,
Esso non lo farebbe Essere sorprendente Se IL effettivo differenza È più grandi di misurato,
O Se IL direzione Di IL differenza È In realtà invertito.
In altro parole, IL differenza In prestazione È incerto.
Nota Quello Esso non lo è possibile A valutare IL variabilità E prestazione
fra due Modelli parente A uno un altro
Quando IL differenze Sono parente A UN terzo modello.
A confrontare IL variabilità E prestazione
fra due metodi parente A uno un altro,
uno Di IL due metodi dovere Essere IL riferimento metodo
da Quale IL differenze Sono misurato.
Ma Che cosa Di multiplo confronti?
Non Noi Bisogno A regolare IL Valori P
A controllo IL famiglia saggio tipo 1 errore valutare?
In Questo carta Di Curve di fiducia,
Daniele Burroughs suggerisce Quello aggiustamenti Sono necessario In confermativo studi
Dove UN obiettivo È prespecificato, Ma non In esplorativo studi.
Questo idea suggerisce utilizzando non regolato Valori P per multiplo Curve di fiducia
In UN esplorativo moda
E soltanto UN separare Curva di fiducia generato da diverso dati
A Confermare tuo risultati Di UN significativo differenza
fra due metodi Quando utilizzando significato test.
Quello disse, Per favore Mantenere In mente IL pericoli Di ciliegia raccolta, p-hacking
Quando conduzione esplorativo studi.
In riepilogo, IL modello selezione piattaforma introdotto In JMP Pro 16
fornisce UN significa A contemporaneamente confrontare IL prestazione
Di predittivo Modelli creato utilizzando diverso metodologie.
JMP ha UN lungo in piedi obiettivo A fornire UN grafico con ogni statistica,
E Curve di fiducia aiuto A riempire Quello spacco.
Per IL modello selezione piattaforma.
Voi Potrebbe naturalmente aspettarsi A utilizzo significato test A differenziare
fra IL prestazione Di vari metodi essendo rispetto.
Tuttavia, Valori P Avere Venire Sotto è aumentato scrutinio In recente anni
per oscurante IL misurare Di prestazione differenze.
In aggiunta,
Valori P Sono Spesso male interpretato COME IL probabilità IL nullo ipotesi È VERO.
Invece Di Valore P È IL probabilità Di osservando UN differenza
COME O Di più estremo, assumendo IL nullo ipotesi È VERO.
IL probabilità Di correttamente rifiutando IL nullo ipotesi Quando Esso È falso
È determinato di UN energia O uno meno beta.
IO Avere sostenuto Quello Esso È non raro A soltanto Avere UN 50% opportunità
Di correttamente rifiutando IL nullo ipotesi con UN alfa valore Di .05 .
COME UN alternativa, UN fiducia intervallo Potevo Essere mostrato Invece Di UN prestito P- valore.
Tuttavia, IL domanda volevo Essere Sinistra aprire COME A Quale fiducia livello A spettacolo.
Curve di fiducia indirizzo questi preoccupazioni di mostrando Tutto fiducia intervalli
su A UN arbitrariamente alto- livello Di fiducia.
IL Significare differenza In IL prestazione
È chiaramente visibile A IL 0% fiducia livello, E Quello atti COME UN punto stima.
Tutto Di IL cose essendo pari, tipo 1 E tipo 2 errori Sono equivalente.
Curve di fiducia non incorporare UN pregiudizio in direzione commercio tipo 1 errori per tipo 2.
Anche COSÌ, di predefinito,
UN verticale linea È mostrato In IL fiducia curva grafico
per IL standard nullo ipotesi Di NO differenza.
In aggiunta,
UN orizzontale linea È mostrato Quello delinea IL 95% fiducia intervallo,
Quale prontamente offre UN tipico significato test analisi Se desiderato.
IL valori predefiniti per questi linee Sono facilmente modificata,
Ma diverso nullo ipotesi E fiducia livelli desiderato.
Anche COSÌ, dato IL Piuttosto ampio E A volte enfatico suggerimento
A sostituire significato test con punto stime E fiducia intervalli,
Esso Maggio Essere migliore A visualizzazione UN Curva di fiducia COME UN punto stima
lungo con UN quasi completo visualizzazione Di suo associato incertezza.
Se Voi Avere feedback Di IL fiducia curva aggiungere,
Per favore Partire UN commento SU IL JMP Comunità luogo.
E non dimenticare A votazione per Questo presentazione
Se Voi trovato Esso interessante O utile.
Grazie Voi per Guardando Questo presentazione E IO Speranza Voi Avere UN Grande giorno.
