Ciao, Mio nome È Bryan Fricke.
Io sono UN recentemente coniato Prodotto Manager A JMP, messa a fuoco SU IL JMP utente esperienza.
In precedenza, IO era UN Software sviluppatore lavorando SU esportazione rapporti
A in piedi solo HTML file File, JMP Vivere, E JMP Pubblico.
In Questo presentazione,
Io sono andando A parlare Di utilizzando fiducia curve
COME UN alternativa A Nulla H ipotesi Significato Test
In IL contesto Di predittivo modello selezione.
Aggiuntivo Materiale SU Questo soggetto Potere Essere trovato SU IL JMP Comunità sito web
E IL carta associato con Questo presentazione.
Dott. Russo Wolfinger, Chi È UN distinto ricerca compagno A JMP, È UN co -autore,
E IO volevo Piace A Grazie lui per il suo contributi.
IL Modello Selezione piattaforma introdotto In Salto Pro 16,
consente Voi A valutare IL prestazione
Di multiplo predittivo Modelli utilizzando attraverso- convalida.
A spettacolo Voi Come IL Modello Selezione piattaforma lavori,
Io sono andando A utilizzo IL Diabete Dati tavolo,
Quale È disponibile In IL JMP Campione Dati Biblioteca.
Malato scegliere Modello Selezione da IL Analizzare Predittivo Modellazione menù.
JMP risponde di visualizzazione IL Modello Selezione dialogo.
IL Primo tre colonne In IL dati tavolo
rappresentare malattia progressione In continuo, binario, E ordinale forme.
Malato utilizzo IL continuo colonna di nome Y COME IL risposta variabile.
Malato utilizzo Tutto IL colonne da Età A Glucosio In IL X Fattore ruolo.
Malato tipo 1-2-3-4 In IL Impostato Casuale Seme ingresso scatola per riproducibilità.
Malato Selezionare IL controllo scatola Prossimo A Piega K Attraverso convalida
E Partire K impostato A cinque.
Malato tipo tre in IL ingresso scatola Prossimo A Ripetuto K Piega.
In IL Metodo elenco, Malato deselezionare Neurale,
E Ora Malato Selezionare OK.
JMP risponde di formazione E convalida Modelli per ogni Di IL selezionato Metodi
utilizzando loro predefinito parametro impostazioni E attraverso convalida.
Dopo completando IL formazione E convalida processi,
JMP visualizza IL risultati In UN nuovo finestra.
Per ogni modellazione metodo, IL Modello Selezione piattaforma fornisce
prestazione le misure In IL modulo Di punto stime
per IL coefficiente Di determinazione,
Quale È Anche conosciuto COME R quadrato, IL radice media quadrato errore,
E IL standard deviazione per IL radice media quadrato errore.
Ora Malato clic Selezionare Dominante.
JMP risponde di evidenziando IL metodo Quello esegue migliore
attraverso IL prestazione le misure.
Cosa c'è mancante Qui È UN grafico
A spettacolo tu il misurare Di IL differenza fra IL Dominante Metodo
E IL altro metodi, lungo con IL visualizzazione
Di IL incertezza associato con IL differenze.
Ma Perché non Appena spettacolo P valori indicando se IL differenze Sono significativo?
Non dovrebbe UN decisione Di se uno modello È superiore A un altro
Essere basato SU significato?
Primo,
Da UN Valore P fornisce UN probabilità basato SU UN standardizzato differenza,
UN P valore di si perde informazione Di IL crudo differenza,
COSÌ UN significativo differenza no implicare UN significativo differenza.
Ma È Quello Veramente UN problema?
IO Significare, non lo è Esso inutile A Essere interessato
con IL misurare Di UN differenza fra due Modelli Prima significato test È usato
A determinare se IL differenza È vero?
IL problema con Quello linea Di pensiero È Quello suo energia, O uno meno beta,
Quello determina Nostro capacità A correttamente rifiutare UN nullo ipotesi.
Autori come COME Giacobbe Coen E Franco Schmidt
Avere suggerito Quello tipico studi Avere UN energia A rilevare differenze
In IL allineare Di 0.4 A 0.6 .
Andiamo supponiamo Noi Avere UN differenza Dove IL energia A rilevare UN VERO differenza
È 0,5 A UN Alfa valore Di 0,05 .
Quello suggerisce Noi volevo rilevare IL VERO differenza
SU media 50 percento Di IL tempo.
In Quello caso, significato test volevo identificare vero differenze
NO Meglio di capovolgere UN imparziale moneta.
Se Tutto altro cose Sono pari, Tipo Uno E Tipo Due errori Sono equivalente.
Ma significato test Quello utilizzo UN Alfa valore Di .05
Spesso implicitamente assumere Tipo T guai errori Sono preferibile A Tipo Uno errori,
in particolar modo Se IL energia È COME Basso COME 0,5 .
UN comune suggerimento A indirizzo questi E altro problemi con significato test
È A spettacolo IL punto stima lungo con fiducia intervalli.
Uno obiezione A facendo COSÌ È Quello UN punto stima
lungo con un 95 per cento fiducia intervallo
È effettivamente IL Stesso cosa COME significato test.
Anche Se Noi assumere Quello È VERO, UN punto stima E fiducia intervallo
Ancora mette IL grandezza Di IL differenza In IL allineare Di IL incertezza
davanti E centro,
mentre UN solitario P valore nasconde loro Entrambi.
Vari autori, Compreso Coen E Schmidt,
Avere consigliato sostituzione significato test
con punto stime E fiducia intervalli.
Anche COSÌ, IL raccomandazione A utilizzo fiducia intervalli
implora IL domanda, "Quale quelli Fare Noi spettacolo?"
Mostrando soltanto IL 95 percento fiducia intervallo
volevo probabile incoraggiare Voi A interpretare Esso COME un altro modulo Di significato test.
IL soluzione fornito di fiducia curve
È A letteralmente spettacolo Tutto fiducia intervalli
su A UN arbitrariamente alto fiducia livello.
COSÌ Come Fare Voi spettacolo fiducia curve dentro JMP?
A convenientemente creare fiducia curve In JMP,
installare IL fiducia curve aggiungere- In di visitare IL JMP Comunità pagina iniziale.
Tipo "fiducia curve" in IL ricerca ingresso campo.
Clic SU IL Primo iscrizione Quello appare.
Ora clic IL scaricamento icona Prossimo A Curve di confidenza.jmp aggiungere In,
E Ora Voi Potere clic SU IL scaricato file.
JMP risponde di chiedendo Se IO Volere A installare IL aggiungere- In.
Voi volevo clic "Installare."
Tuttavia, Malato clic "Annulla," COME IO Già Avere IL aggiungere- In installato.
Come Fare Voi utilizzo IL aggiungere- In?
Primo, A creare fiducia curve per Questo rapporto,
Selezionare "Salva Risultati Tavolo"
da IL superiore rosso triangolo menù situato SU IL modello schermo rapporto finestra.
JMP risponde di creando UN nuovo tavolo contenente, tra altri,
IL seguente colonne:
Prova, Quale contiene IL identificatori per tre imposta Di attraverso convalida risultati;
Piega, Quale contiene IL Identificatori per IL cinque distinto imposta Di sottocampioni
usato per convalida In ogni prova;
Metodo, Quale contiene IL metodi usato A creare Modelli da IL test dati,
E N, Quale contiene IL numero Di dati punti usato In IL convalida pieghe.
Nota Quello IL prova colonna Volere Essere mancante Se IL numero Di ripete È esattamente uno,
In Quale caso IL Prova colonna È nessuno dei due creato né necessario.
Salva per Quello eccezione,
questi colonne Sono essenziale per IL fiducia curve aggiungere- In
A funzione correttamente.
In aggiunta A questi colonne,
Voi Bisogno uno colonna Quello fornisce IL metrico A confrontare metodi.
Malato Essere utilizzando R quadrato COME IL metrico Di interesse In Questo presentazione.
Una volta Voi Avere IL Modello Schermo E Risultati Tavolo,
clic "Aggiungere- Ins" da IL di JMP principale menù sbarra E poi s eletto "Fiducia curve."
IL logica Quello segue volevo Essere Meglio collocato In UN procedura guidata,
E IO Speranza A aggiungere Quello funzionalità In UN futuro pubblicazione Di IL aggiungere- In.
COME Esso È, IL Primo dialogo Quello appare
richieste Voi A Selezionare IL nome Di IL tavolo Quello era generato
Quando Voi scelto "Salva Risultati Tavolo"
da IL Modello Selezione Rapporti rosso triangolo menù.
IL nome Di IL tavolo In Questo caso È Modello Selezione Statistiche Convalida Impostato.
Prossimo, UN dialogo È visualizzato Quello richieste IL nome Di IL metodo
Quello Volere servire COME IL linea di base
da Quale Tutto IL altro prestazione metrica Sono misurato.
IO suggerire di partenza con IL metodo
Quello era selezionato Quando Voi cliccato IL Selezionare Dominante, O In Questo caso,
IO selezionato O cliccato Selezionare Dominante opzione
In IL Modello Schermo E Rapporto finestra,
Quale In Questo caso È adatto fare un passo saggio.
Finalmente, UN dialogo È visualizzato
Quello richieste Voi A Selezionare IL metrico A Essere rispetto fra IL vari metodi.
COME menzionato prima, Malato utilizzo R quadrato COME IL metrico per confronto.
Salto risponde di creando UN fiducia curva tavolo Quello contiene P valori
E corrispondente fiducia livelli
per IL Significare metrico differenza fra IL scelto linea di base metodo
E ogni Di IL altro metodi.
Di più in particolare, IL generato tavolo ha colonne per IL seguente:
Modello, In Quale ogni riga contiene IL nome Di IL modellazione metodo
di chi prestazione È valutato parente A IL linea di base metodo;
Valore P,
In Quale ogni riga contiene IL probabilità associati con IL prestazione differenza
A meno COME estremo COME IL valori mostrato In IL Differenza In R Piazza colonna;
Fiducia Intervallo, In Quale ogni riga contiene IL fiducia livello Noi Avere
Quello IL VERO Significare È contenuto In IL associati intervallo.
E Finalmente, Differenza In R Piazza, In Quale ogni riga È IL massimo O minimo
Di IL previsto differenza In R quadrato associato con IL fiducia livello
mostrato In IL Fiducia Intervallo colonna.
Da Questo tavolo, fiducia curve Sono creato
E mostrato In IL Grafico Costruttore grafico.
Che cosa Sono fiducia curve?
A chiarire IL chiave attributi Di UN fiducia curva,
Malato nascondere Tutto Ma IL Supporto Vettore Macchine fiducia curva
utilizzando IL Locale dati filtro di cliccando SU Supporto Vettore Macchine.
Di predefinito, UN fiducia curva soltanto Spettacoli IL linee
Quello Collegare IL estremi Di ogni fiducia intervallo.
A Vedere IL punti, Selezionare Spettacolo Controllo Pannello da IL rosso triangolo menù
situato Prossimo A IL testo Quello legge Grafico builde R In IL titolo sbarra.
Ora Malato Spostare clic IL Punti icona.
JMP risponde di visualizzazione IL FINE punti Di IL fiducia intervalli
Quello Fare su IL fiducia curva.
Ora IO Volere Ingrandisci In E esaminare UN punto.
Se Voi librarsi IL topo puntatore Sopra Qualunque Di questi punti,
UN librarsi etichetta Spettacoli IL P valore, fiducia intervallo,
differenza In IL misurare Di IL metrico,
E IL metodo usato A creare IL modello essendo rispetto A IL riferimento.
Ora IO Volere giro spento IL punti di Spostare cliccando IL Punti icona
E cliccando IL Fatto pulsante.
Anche Anche se IL individuale punti Sono NO più a lungo mostrato,
Voi Potere Ancora visualizzazione IL associato librarsi etichette
di collocazione IL topo puntatore Sopra IL fiducia curva.
IL punto stima per IL Significare differenza In prestazione
fra Supporto Vettore m dolori E Adatto fare un passo saggio
È mostrato A IL 0 percento fiducia livello,
Quale È IL Significare valore Di IL differenze calcolato utilizzando attraverso convalida.
Fiducia curva trame IL estensione Di ogni fiducia intervallo
da IL generato tavolo fra IL zero E 99. 99 percento fiducia livello,
Quale È UN arbitrariamente alto valore.
Lungo IL Sinistra Y asse,
Valori P associati con la confidenza intervalli Sono mostrato.
Lungo IL Giusto Y asse,
IL fiducia livello associati con ogni fiducia intervallo è mostrato.
IL Y asse utilizza UN tronco d'albero scala,
COSÌ Quello Di più risoluzione È mostrato A più alto fiducia livelli.
Di predefinito, due riferimento linee Sono tracciato a fianco UN fiducia curva.
IL verticale linea rappresenta IL tradizionale nullo ipotesi
Di NO differenza In effetto.
Nota te Potere modifica IL verticale linea posizione
E in tal modo IL implicito nullo ipotesi
In IL X asse impostazioni.
IL orizzontale linea
passa Attraverso IL convenzionale 95 percento fiducia intervallo.
COME con IL verticale riferimento linea,
Voi Potere modifica IL orizzontale linea posizione
E in tal modo IL implicito livello Di significato,
di mutevole IL Y asse impostazioni.
Se UN fiducia curva croci IL verticale linea Sopra IL orizzontale linea,
Voi non può rifiutare IL nullo ipotesi utilizzando significato test.
Per esempio, Noi non può rifiutare IL nullo ipotesi per supporto vettore macchine.
SU IL altro mano,
Se UN fiducia curva croci IL verticale linea sotto IL orizzontale linea,
Voi Potere rifiutare IL nullo ipotesi.
Ad esempio, possiamo rifiutare l'ipotesi nulla per Potenziato Albero.
Come Sono fiducia curve calcolato?
IL attuale implementazione Di fiducia curve
assume IL differenze Sono calcolato utilizzando R volte ripetuto
Piega K attraverso convalida.
IL estensione Di ogni fiducia intervallo È calcolato
utilizzando Che cosa È conosciuto COME UN Varianza Corretto Ricampionato T-Test.
Nota Quello autori Claudio Nadeau E Giosuè Bengio
notato Quello UN corretto ricampionato T- test
È tipicamente usato In casi Dove formazione imposta
Sono cinque O dieci volte più grandi di convalida imposta.
Per Di più dettagli, Per favore Vedere IL carta associati con Questo presentazione.
COSÌ Come Sono fiducia curve interpretato?
Primo, UN fiducia curva graficamente raffigura
IL principale differenza In IL metrico Di interesse fra UN dato metodo
E UN riferimento metodo A IL 0 percento fiducia livello.
Noi Potere valutare se IL Significare differenza fra metodi È significativo.
Se IL Significare differenza non lo è significativo, c'è poco punto In ulteriore analisi
Di IL dato metodo contro IL riferimento metodo con rispetto A IL scelto metrico.
Che cosa costituisce UN significativo differenza dipende SU IL metrico Di interesse
COME BENE COME IL inteso scientifico O ingegneria applicazione.
Per esempio, Voi Potere Vedere IL modello sviluppato con UN decisione albero metodo
È SU media Di 14 percento peggio di Adatto fare un passo saggio,
Quale discutibilmente È UN significativo differenza.
Se IL differenza È significativo,
Noi Potere valutare Come precisamente IL differenza ha stato misurato
di valutare IL larghezza Di IL associati fiducia intervalli.
Per Qualunque fiducia intervallo non attraversamento IL predefinito verticale asse,
Noi Avere A meno Quello livello Di fiducia Quello IL Significare differenza È diverso da zero.
Per esempio, IL decisione albero fiducia curva no attraverso IL Y asse
Fino a Di IL 99. 98 percento fiducia livello,
COSÌ Noi Sono quasi 99. 98 percento fiducioso IL Significare differenza non lo è pari A zero.
In fatto, con Questo dati impostato,
Esso giri fuori Quello Noi Potere Essere Di 81 percento fiducioso
Quello Adatto fare un passo saggio È A meno COME Bene, Se non Meglio,
di ogni metodo altro di generalizzato lazo di regressione.
Ora andiamo prendere in considerazione IL relazione fra fiducia curve.
Se due O Di più fiducia curve in modo significativo sovrapposizione
E IL Significare differenza Di ogni È non significativamente diverso da IL altro,
IL dati suggerire ogni metodo esegue
Di IL Stesso COME IL altro con rispetto A IL riferimento modello.
Per esempio, Noi Potere Vedere Quello SU media,
l'S supporto Vettore Macchine modello esegue
meno di 0,5% in più di Bootstrap Foresta,
Quale È discutibile non UN significativo differenza.
E il fiducia intervalli
Fare non sovrapposizione Fino a Di il quattro per cento fiducia livello,
Quale suggerisce questi valori volevo Essere previsto
Se Entrambi metodi Veramente Fare Avere Di IL Stesso differenza In prestazione
con rispetto A IL riferimento.
Se IL media differenza In prestazione
È Di IL Stesso per due fiducia curve
Ma IL fiducia intervalli non sovrapposizione pure tanto,
IL dati suggerisce IL Modelli eseguire Di IL Stesso COME ogni altro
con rispetto A IL riferimento modello.
Tuttavia, Noi Sono fiducioso Di UN non- significativo differenza.
Questo particolare caso È più raro di IL altri, E
IO non Avere UN esempio A spettacolo con Questo dati impostato.
SU IL altro mano,
Se IL media differenza In prestazione fra UN paio Di fiducia curve
È significativamente diverso E IL fiducia curve Avere poco sovrapposizione,
IL dati suggerisce IL Modelli eseguire diversamente da uno un altro
con rispetto A IL riferimento.
Per esempio, IL generalizzato regressione lazo modello
prevede Di 13. 8 percento Di più Di IL variazione In IL risposta
di fa IL decisione albero modello.
Inoltre, IL fiducia curve non sovrapposizione
Fino a Di IL 99. 9 percento fiducia livello,
Quale suggerisce questi risultati Sono abbastanza insolito
Se IL metodi In realtà eseguire Di IL Stesso con rispetto A IL riferimento.
Finalmente, Se IL media differenza In prestazione
fra UN paio Di fiducia curve
È significativamente diverso da uno un altro E IL curve Avere considerevole sovrapposizione,
IL dati suggerisce Quello Mentre IL metodi eseguire diversamente da uno un altro
con rispetto A IL riferimento,
Esso non lo farei Essere sorprendente Se IL differenze Sono IL differenze spurio.
Per esempio, Noi Potere Vedere Quello SU media,
Supporto Vettore Macchine predetto circa l'1,4%. Di più Di IL varianza
In IL risposta di fatto K Più vicino Vicinato.
Tuttavia, IL fiducia intervalli inizio A sovrapposizione
A Di IL 17 per cento fiducia livello,
Quale suggerisce Esso non lo farei Essere sorprendente Se IL differenza In prestazione
fra ogni metodo In IL riferimento
È In realtà più piccola di suggerito di IL punto stime.
Contemporaneamente,
Esso non lo farei Essere sorprendente Se IL effettivo differenza È più grandi di misurato,
O Se IL direzione Di IL differenza È In realtà invertito.
In altro parole, IL differenza In prestazione È incerto.
Nota Quello Esso non lo è possibile A valutare IL variabilità In prestazione
fra due Modelli parente A uno un altro
Quando IL differenze Sono parente A UN terzo modello.
A confrontare IL variabilità In prestazione fra due metodi
parente A uno un altro,
uno Di IL due metodi dovere Essere IL riferimento metodo
da Quale IL differenze Sono misurato.
Ma Che cosa Di multiplo confronti?
Non Noi Bisogno A regolare IL Valori P
A controllo IL famiglia saggio Tipo Uno errore valutare?
In il suo carta Di fiducia curve, Daniele Barr suggerisce
Quello aggiustamenti Sono necessario In confermativo studi
Dove UN obiettivo È prespecificato, Ma non In esplorativo studi.
Questo suggerisce utilizzando non regolato Valori P per multiplo fiducia curve
In UN esplorativo moda
E soltanto UN separare fiducia curva generato da diverso dati
A Confermare tuo trovare Di UN significativo differenza fra due metodi
Quando utilizzando significato test.
Quello disse, Per favore Mantenere In mente IL pericoli Di ciliegia raccolta
E P hacking Quando conduzione esplorativo studi.
In riepilogo, IL Modello Selezione piattaforma introdotto In JMP Pro 16
fornisce UN significa A contemporaneamente confrontare IL prestazione
Di predittivo Modelli creato utilizzando diverso metodologie.
JMP ha UN lungo- in piedi obiettivo A fornire UN grafico con ogni statistica,
E fiducia curve aiuto A riempire Quello spacco
per IL Modello Selezione piattaforma.
Voi Potrebbe naturalmente aspettarsi A utilizzo significato test A differenziare
fra IL prestazione Di IL varie metodi essendo rispetto.
Tuttavia, Valori P Avere Venire Sotto è aumentato scrutinio In recente anni
per oscurante IL misurare Di prestazione differenze.
In aggiunta,
Valori P Sono Spesso frainteso COME IL probabilità IL nullo ipotesi È falso.
Invece, UN Valore P È IL probabilità Di osservando UN differenza COME O Di più estremo,
supponendo IL nullo ipotesi È VERO.
IL probabilità Di correttamente rifiutando IL nullo ipotesi
Quando Esso È falso È determinato di energia, O uno meno beta.
Io ho discusso Quello Esso È non raro A soltanto Avere UN 50 percento opportunità
Di correttamente rifiutando IL nullo ipotesi con UN Alfa valore Di 0,05 .
COME UN alternativa, UN fiducia intervallo Potevo Essere mostrato Invece Di UN solitario Valore P.
Tuttavia, IL domanda volevo Essere Sinistra aprire COME A Quale fiducia livello A spettacolo.
Fiducia curve indirizzo questi preoccupazioni
di mostrando Tutto fiducia intervalli su A UN arbitrariamente alto livello Di fiducia.
IL Significare differenza In prestazione
È chiaramente visibile A lo zero per cento fiducia livello,
E Quello atti COME UN punto stima.
Tutto altro cose essendo pari,
Tipo Uno E Tipo Due errori Sono equivalente,
COSÌ fiducia curve non incorporare UN pregiudizio in direzione commercio t sì Uno errori
per Tipo Due.
Anche COSÌ, di predefinito, UN verticale linea È mostrato In IL fiducia curva grafico
per IL standard nullo ipotesi Di NO differenza.
In aggiunta, UN orizzontale linea È mostrato Quello delinea
IL 95 percento fiducia intervallo,
Quale prontamente offre UN tipico significato test analisi Se desiderato.
IL default per questi linee Sono facilmente modificata
Se UN diverso nullo ipotesi E fiducia livello È desiderato.
Anche COSÌ, dato IL Piuttosto ampio E A volte enfatico suggerimento
A sostituire significato test con punto stime E fiducia intervalli,
Esso Maggio Essere migliore A visualizzazione UN fiducia curva COME UN punto stima
lungo con UN quasi comprensivo visualizzazione Di suo associato incertezza.
Se Voi Avere feedback Di IL fiducia curve aggiungere- In,
Per favore Partire UN commento SU IL JMP C comunità luogo
E non dimenticare A votazione per Questo presentazione
Se Voi trovato Esso interessante E O utile.
Grazie Voi per Guardando Questo presentazione, e io Speranza Voi Avere UN Grande giorno.
