Ciao. Mio nome È Bryan Fricke.
Io sono a prodotto manager A JMP focalizzato SU IL JMP utente esperienza.
Precedentemente, I era a software sviluppatore lavorando SU esportare rapporti
A autonomo HTML fuoco file.
JMP Vivere E JMP Pubblico.
In Questo presentazione,
Io sono andando A parlare Di utilizzando Curve di confidenza
COME UN alternativa A nulla ipotesi significato test
In IL contesto Di predittivo modello screening.
Ulteriori materiale SU Questo soggetto Potere Essere trovato SU IL JMP Comunità sito web
In IL carta associato con Questo presentazione.
Dott. Russ Wolfinger È a Distinto Ricerca Compagno A JMP
E a co- autore, E I volevo Piace A Grazie lui per il suo contributi.
IL Modello Screening Piattaforma, introdotto In JMP Pro 16
consente Voi A valutare IL prestazione
Di multiplo predittivo modelli utilizzando attraverso convalida.
A spettacolo Voi Come IL Modello Screening piattaforma opere,
Io sono andando A utilizzo IL Diabete Dati tavolo,
Quale È disponibile In IL JMP campione dati biblioteca.
Malato scegliere modello screening da IL analizzato predittivo modellazione menu.
JMP valutati di visualizzazione IL Modello Screening dialogo.
IL Primo tre colonne In IL dati tavolo
rappresentare malattia progressione In continuo binario E ordinale forme.
Malato utilizzo IL continuo colonna denominato Y COME IL risposta variabile.
Malato utilizzo IL colonne da età A glucosio In IL X fattore ruolo.
Malato tipo 1234 In IL impostato casuale seme ingresso scatola per riproducibilità,
Malato selezionare IL controllo scatola Prossimo A Piegatura a K attraverso convalida E Partire K impostato A cinque.
Malato tipo 3 in IL ingresso scatola Prossimo A ripetuto KF vecchio.
In IL metodo lista, Malato deselezionare neurale.
Ora Malato clic Va bene.
JMP valutati di formazione E convalida modelli per ogni Di IL selezionato metodi
utilizzando loro predefinito parametro impostazioni E attraverso convalida.
Dopo completo IL formazione E convalida processo,
JMP esposizioni IL risultati In a nuovo finestra.
Per ogni modellazione metodo.
IL Modello Screening piattaforma fornisce prestazione misure
In IL modulo Di punto stime per IL coefficiente Di determinazione,
Anche conosciuto COME R al quadrato, IL radice media al quadrato errore,
E IL standard deviazione per IL radice media al quadrato errore.
Ora Malato clic selezionare dominante.
JMP valutati di evidenziando IL metodo
Quello esegue migliore attraverso IL prestazione misure.
Che cosa è mancante Qui È a grafico A spettacolo IL misurare Di IL differenze
fra IL dominante metodo E IL altro metodi,
lungo con IL visualizzazione Di IL incertezza
associato con IL differenze.
Ma Perché non Appena spettacolo P- valori indicare se IL differenze Sono significativo?
Non dovrebbe a decisione Di se uno modello È superiore A un altro
Essere basato SU significato?
Primo, Da IL P- valore fornisce a probabilità
basato SU a standardizzato differenza,
a valore p di si perdite informazioni Di IL crudo differenza.
Aa significativo differenza non lo fa implicare a significativo differenza.
È Quello Veramente a problema?
I Significare, non lo è Esso inutile
A Essere interessato con IL misurare Di IL differenza fra due modelli
Prima utilizzando significato test
A determinare se IL differenza È vero?
IL problema con Quello linea Di pensiero È Quello suo energia O uno meno beta
Quello determina Nostro capacità A correttamente rifiutare a nulla ipotesi.
Autori come COME Giacobbe Cohen E Franco Fabbro
Avere suggerito Quello tipico Studi Avere IL energia A Rilevare differenze
In IL allineare Di Da 0,4 a 0,6 .
COSÌ andiamo supponiamo Noi Avere a differenza.
Dove IL energia A Rilevare a VERO differenza?
Zero cinque A UN alfa livello zero cinque.
Quello suggerisce Noi volevo Rilevare IL VERO differenza, SU media 50% Di IL tempo.
COSÌ In Quello caso, significato test volevo identificare vero differenze
NO Meglio di capovolgere UN imparziale coniare.
Se Tutto altro cose Sono pari, tipo 1 E tipo 2 errori Sono equivalente.
Ma significato test Quello utilizzo UN alfa valore Di .05.
Spesso implicitamente assumere tipo 2 errori Sono preferibile A tipo 1 errori,
particolarmente Se IL energia È COME Basso COME .5 .
A comune suggerimento A indirizzo questi E altro problemi con significato test
È A spettacolo IL punto stima lungo con IL fiducia intervalli.
Uno obiezione A facendo COSÌ È Quello
a punto stima lungo con a 95% fiducia intervallo
È efficacemente IL Stesso cosa COME significato test.
Anche Se Noi assumere Quello È VERO, a punto stima E fiducia intervallo
Ancora mette IL magnitudine Di IL differenza
E IL allineare Di IL incertezza fronte E centro,
mentre a prestito valore p nasconde loro Entrambi.
COSÌ vari autori, Tra cui Cohen E Fabbro,
Avere raccomandato cambio significato test
con punto stime E fiducia intervalli.
Anche COSÌ, IL raccomandazione A utilizzo fiducia intervalli mendica IL domanda,
Quale quelli Fare Noi spettacolo?
Mostrando soltanto IL 95% fiducia intervallo
volevo probabile incoraggiare Voi A interpretare Esso COME un altro modulo Di significato test.
IL soluzione fornito di Curve di confidenza
È A letteralmente spettacolo Tutto fiducia intervalli
su A UN arbitrariamente alto fiducia livello.
Come Fare I spettacolo Curve di confidenza E JMP?
A comodamente creare Curve di confidenza E JMP,
installare IL Curve di confidenza componente aggiuntivo di visitando IL JMP Comunità Pagina iniziale
Tipo Curve di confidenza in IL ricerca ingresso campo.
Clic IL Curve di confidenza risultato.
Ora clic IL scaricamento icona Prossimo A curve di confidenza. JMPa dd- In.
Ora clic IL scaricato file.
JMP valutati di chiedendo Se I Volere A installare IL aggiungere- In.
Voi volevo clic Installare.
Tuttavia, Malato clic cancellare COME Io ho Già installato IL componente aggiuntivo.
COSÌ Come Fare Voi utilizzo IL componente aggiuntivo?
Primo.
A generare Curve di confidenza per Questo rapporto, selezionare Salva Risultati tavolo
da IL superiore rosso triangolo menu autorizzato SU IL Modello Screening Rapporto finestra.
JMP valutati di scrivere a nuovo tavolo Ripetibile tra altri.
IL seguente colonne prova.
Quale contengono IL effettrici per IL tre set
Di attraverso convalida risultati.
Piega.
Quale contengono IL effettrici
per IL cinque distinti set Di sottocampioni usato per convalida In ogni prova.
Metodo.
Quale contengono IL metodi usato A creare modelli da IL test dati.
E In.
Quale contengono IL numero Di dati punti usato In IL convalida pieghe.
Nota Quello IL prova colonna Volere Essere mancante Se IL numero Di ripetizioni È esattamente uno,
In Quale caso IL prova colonna È nessuno dei due creato né necessario.
Salva per Quello eccezione, questi colonne Sono essenziale
per IL Curve di confidenza componente aggiuntivo A funzione correttamente.
In aggiunta A questi colonne, Voi Bisogno uno colonna
Quello fornisce IL metrica A confrontare fra metodi.
Malato Essere utilizzando R al quadrato COME IL metrica Di interesse In Questo presentazione.
Una volta Voi Avere IL modello screening risultati tavolo,
clic componenti aggiuntivi da JMP principale menu sbarra E Poi selezionare Curve di confidenza.
IL logica Quello segue volevo Essere Meglio posto In a procedura guidata,
E I Speranza A aggiungere Quello funzionalità In a futuro pubblicazione Di Questo componente aggiuntivo.
COME Esso È, IL Primo dialogo Quello appare
richieste Voi A selezionare IL nome Di IL tavolo
Quello era generato Quando Voi scelto 'salva risultati tavolo',
da IL Modello Schermo Rapporti Rosso Triangolo menu.
IL nome Di IL tavolo In Questo caso È Modello Schermo Statistiche Validazione Impostato.
Prossimo, a dialogo È visualizzato
Quello richieste IL nome Di IL metodo Quello Volere servire COME IL linea di base
da Quale Tutto IL altro prestazione metrica Sono misurato.
I suggerire di partenza con IL metodo Quello era selezionato Quando Voi clic
IL Selezionare Dominante opzione
In IL Modello Screening Rapporto finestra, Quale In Questo caso È Adatto Passo dopo passo.
Finalmente, a dialogo È visualizzato
Quello richieste Voi A selezionare IL metrica A Essere confrontato fra IL vari metodi.
COME menzionato prima, Malato utilizzo R al quadrato COME IL metrica per confronto.
JMP valutati di scrivere a Fiducia Curva tavolo Quello contengono valori p
E corrispondente fiducia file per IL Significare differenza
fra IL scelto linea di base metodo E ogni Di IL altro metodi.
Di più nello specifico, IL generato tavolo ha colonne per IL seguente.
Modello.
In Quale ogni riga contengono IL nome Di IL modellazione metodo
di chi prestazione È Valutato relativo A IL linea di base metodo.
P- valore In Quale ogni riga contengono IL probabilità
associato con IL prestazione differenza
A meno COME estremo COME IL valore mostrato In IL differenza In Nostro piazza colonna.
Fiducia intervallo In Quale ogni riga contengono IL fiducia livello.
Noi Avere Quello IL VERO Significare È contenuto In IL associato intervallo
E Finalmente, differenza In Nostro piazza,
In Quale ogni riga È IL massimo O minimo
Di IL previsto differenza In R al quadrato
associato con IL fiducia livello mostrato In IL fiducia intervallo colonna.
Da Questo tavolo, Curve di confidenza Sono creato
E mostrato In IL Grafico Costruttore grafico.
COSÌ Che cosa Sono Curve di confidenza?
A chiarire IL chiave attributi Di a Curva di fiducia,
Malato nascondere Tutto Ma IL Supporto Vettore della macchina Curva di fiducia
utilizzando IL locale dati filtro di cliccare SU Supporto Vettore Macchine.
Di predefinito, a Curva di fiducia soltanto spettacoli
IL linee Quello collegare IL estremi Di ogni fiducia intervallo.
A Vedere IL punti, selezionare Spettacolo Controllare Pannello da IL rosso triangolo menu
autorizzato Prossimo A IL testo Quello legge Grafico Costruttore In IL Titolo sbarra.
Ora Malato spostare clic IL punti icona.
JMP valutati di visualizzazione IL endpoint Di IL fiducia intervalli
Quello Fare su IL Curva di confidenza.
Ora I Volere zoom In E esaminare a punto.
Se Voi passare il mouse IL topo puntatore Sopra Qualunque Di questi punti.
A passare il mouse etichetta spettacoli la P - valore fiducia intervallo,
differenza In IL misurare Di IL metrica
E IL metodo usato A generare IL modello
essendo confrontato A IL riferimento modello.
Ora BENE giro spento IL punti di spostare cliccare IL punti icona
E cliccare IL Fatto pulsante.
Anche Anche se IL individuale punti Sono NO più lungo mostrato,
Voi Potere Ancora visualizzazione IL associato passare il mouse etichetta
di posizionamento IL topo puntatore Sopra IL Curva di confidenza.
Punto stima per IL principale differenza
In prestazione fra IL sport vettore computer E Fit Step Wise modelli
È mostrato A IL 0% fiducia livello,
Quale È IL Significare valore Di IL differenze calcolato utilizzando attraverso convalida.
A Curva di fiducia trame IL estensione
Di ogni fiducia intervallo da IL generato tavolo fra zero
E IL 99,99% fiducia livello lungo con IL Sinistra Y asse.
P valori associato con IL fiducia intervalli Sono mostrato
lungo IL Giusto y asse.
IL fiducia livello associato con ogni fiducia intervallo mostrato.
IL Y asse usi a tronco d'albero scala
COSÌ Quello Di più risoluzione È mostrato A più alto fiducia livelli.
Di predefinito, due riferimento linee Sono tracciato insieme a Curva di confidenza.
IL verticale linea rappresenta
IL tradizionale nulla ipotesi Di NO differenza In effetto.
Nota Voi Potere modifica IL verticale linea posizione
E in tal modo IL implicito nulla ipotesi.
In IL asse X impostazioni.
IL orizzontale linea pass Attraverso IL convenzionale 95% fiducia intervallo.
COME con IL verticale riferimento linea,
Voi Potere modifica IL orizzontale linea posizione
E in tal modo IL implicito livello Di significato
di cambiare IL Y asse impostazioni.
Se a Curva di fiducia croci IL verticale linea Sopra IL orizzontale linea,
Voi non può rifiutare IL nulla ipotesi utilizzando significato test.
Per esempio, Noi non può rifiutare IL nulla ipotesi per supporto vettore macchine.
SU IL altro mano, Se a Curva di fiducia
croci IL verticale linea sotto IL orizzontale linea,
Voi Potere rifiutare IL nulla ipotesi utilizzando significato test.
Per esempio, Noi Potere rifiutare IL nulla ipotesi per potenziato albero.
Come Sono Curve di confidenza calcolato?
IL attuale Implementazione Di fiducia curve presuppone
IL differenze Sono calcolato
utilizzando R volte ripetuto piega K attraverso convalida.
IL estensione Di ogni fiducia intervallo È calcolato
utilizzando Che cosa È conosciuto COME a varianza corretto ricampionato Test t.
Nota Quello autori Claude Nadeau E Joshua Bengio,
nota Quello a corretto ricampionato Test t
È tipicamente usato In casi Dove formazione set
Sono cinque O dieci volte più grande di convalida insiemi.
Per Di più dettagli, Per favore Vedere IL carta associato con Questo presentazione.
COSÌ Come Sono Curve di confidenza interpretato?
Primo, IL Curva di fiducia graficamente raffigura
IL principale differenza In IL metrica Di interesse fra a dato metodo
E a riferimento metodo A IL 0% fiducia livello.
COSÌ Noi Potere valutare se IL Significare differenza fra IL metodi
È significativo.
Se IL principale differenza non lo è significativo, c'è poco punto In ulteriore analisi
Di a dato metodo rapporto IL riferimento metodo con rispetto A IL scelto metrica.
Che cosa costituisce a significativo differenza dipende SU IL metrica Di interesse
COME BENE COME IL destinato scientifico O ingegneria applicazione.
Per esempio,
Voi Potere Vedere IL modello sviluppato con a decisione albero metodo
È SU media Di 14% peggio di Adattati passo dopo passo,
Quale probabilmente È a significativo differenza.
Se IL differenza È significativo,
Noi Potere valutare Come precisamente IL differenza ha stato misurato
di valutare Come tanto IL Livello di fiducia C rimproverare larghezza cambiamenti
attraverso IL fiducia livelli.
Per Qualunque fiducia intervallo non attraversamento IL predefinito verticale asse,
Noi Avere A meno Quello livello Di fiducia Quello IL principale differenza È diverso da zero.
Per esempio,
IL decisione albero fiducia curva non lo fa attraverso IL Y asse
Fino a Di IL 99,98% fiducia livello.
Noi Sono quasi 99,98% fiducioso IL Significare differenza non lo è pari A zero.
In fatto, con Questo dati,
Esso svolte fuori Quello Noi Potere Essere Di 81% fiducioso
Quello Fit Step Wise È A meno COME Bene,
Se non Meglio, di ogni metodo altro di generalizzato regressione Lazo.
Ora andiamo considerare IL relazione fra Curve di confidenza.
Se due O Di più Curve di confidenza significativamente sovrapposizione
E IL Significare differenza Di ogni È non in modo significativo diverso da IL altro.
IL dati suggerire ogni metodo esegue Di IL Stesso COME IL altro
con rispetto A IL riferimento modello.
COSÌ per esempio,
Noi Vedere Quello SU media, IL Supporto vettore Macchine modello
esegue meno di . 5% di Bootstrap Foresta,
Quale È probabilmente non a significativo differenza.
IL fiducia intervalli Fare non sovrapposizione Fino a Di IL 4% fiducia livello,
Quale suggerisce questi valori volevo Essere previsto
Se Entrambi metodi Veramente Fare Avere Di IL Stesso differenza In prestazione
con rispetto A IL riferimento.
Se IL media differenza In prestazione
È Di IL Stesso per due fiducia curve,
Ma IL fiducia intervalli non sovrapposizione pure tanto,
IL dati suggerisce
IL modelli eseguire Di IL Stesso COME ogni altro con rispetto A IL riferimento modello.
Tuttavia, Noi Sono fiducioso Di a non- significativo differenza.
Questo particolare caso È raro di IL altri
E I non Avere UN esempio A spettacolo con Questo dati impostato.
SU IL altro mano, Se IL media differenza In prestazione
fra a paio Di Curve di confidenza È in modo significativo diverso
E IL fiducia curve Avere poco sovrapposizione,
IL dati suggerisce IL modelli eseguire
diversamente da uno un altro con rispetto A IL riferimento.
Per esempio, IL generalizzato regressione Lazo modello prevede Di 13,8%
Di più Di IL variazione In IL risposta di fa IL decisione albero modello.
Inoltre, IL Curve di confidenza non sovrapposizione
Fino a Di IL 99,9% fiducia livello,
Quale suggerisce questi risultati Sono abbastanza insolito
Se IL metodi In realtà eseguire Di IL Stesso con rispetto A IL riferimento.
Finalmente, Se IL media differenza In prestazione fra a paio
Di Curve di confidenza È in modo significativo diverso da uno un altro
E IL curve Avere considerevole sovrapposizione,
IL dati suggerisce Quello
Mentre IL metodi eseguire diversamente da uno un altro con rispetto A IL riferimento,
Esso non lo farebbe Essere sorprendente Se IL differenza È furioso.
Per esempio, Noi Potere Vedere Quello SU media
supporto vettore computer previsto Di 1,4% Di più Di IL varianza In IL risposta
di fatto [incomprensibile 00:19:18] più vicino vicinato.
Tuttavia, IL fiducia intervalli inizio A sovrapposizione A Di IL 17% fiducia livello,
Quale suggerisce Esso non lo farebbe Essere sorprendente
Se IL differenza In prestazione fra ogni metodo
E IL riferimento È In realtà più piccolo di suggerito di IL punto stime.
Contemporaneamente,
Esso non lo farebbe Essere sorprendente Se IL orso differenza È più grande di misurato,
O Se IL direzione Di IL differenza È In realtà invertito.
In altro parole, IL differenza In prestazione È Incerto.
Nota Quello Esso non lo è possibile A valutare IL variabilità E prestazione
fra due modelli relativo A uno un altro
Quando IL differenze Sono relativo A a terzo modello.
A confrontare IL variabilità E prestazione
fra due metodi relativo A uno un altro,
uno Di IL due metodi dovere Essere IL riferimento metodo
da Quale IL differenze Sono misurato.
Ma Che cosa Di multiplo confronti?
Non Noi Bisogno A regolare IL valori p
A controllare IL famiglia saggio tipo 1 errore valutare?
In Questo carta Di Curve di confidenza,
Daniel Burrough suggerisce Quello regolazioni Sono necessario In confermativo Studi
Dove a obiettivo È prestabilito, Ma non In esplorativo studi.
Questo idea suggerisce utilizzando non corretto valori p per multiplo Curve di confidenza
In UN esplorativo moda
E soltanto a separare Curva di fiducia generato da diverso dati
A confermare tuo risultati Di a significativo differenza
fra due metodi Quando utilizzando significato test.
Quello disse, Per favore Mantenere In mente IL pericoli Di ciliegia raccogliendo, p-hacking
Quando condurre esplorativo studi.
In riepilogo, IL modello screening piattaforma introdotto In JMP Pro 16
fornisce a significa A simultaneamente confrontare IL prestazione
Di predittivo modelli creato utilizzando diverso metodologie.
JMP ha a lungo in piedi obiettivo A fornire a grafico con ogni statistica,
E Curve di confidenza aiuto A riempire Quello spacco.
Per IL modello screening piattaforma.
Voi Potrebbe naturalmente aspettarsi A utilizzo significato test A differenziare
fra IL prestazione Di vari metodi essendo confrontati.
Tuttavia, valori p Avere Venire Sotto aumentato esame In recente anni
per oscurare IL misurare Di prestazione differenze.
In inoltre,
valori p Sono Spesso interpretato male COME IL probabilità IL nulla ipotesi È VERO.
Invece Di valore p È IL probabilità Di osservazione a differenza
COME O Di più estremo, supponendo IL nulla ipotesi È VERO.
IL probabilità Di correttamente rifiutando IL nulla ipotesi Quando Esso È falso
È determinato di a energia O uno meno beta.
I Avere sostenuto Quello Esso È non non comune A soltanto Avere a 50% opportunità
Di correttamente rifiutando IL nulla ipotesi con UN alfa valore Di 0,05 .
COME UN alternativa, a fiducia intervallo Potevo Essere mostrato Invece Di a prestito P- valore.
Tuttavia, IL domanda volevo Essere Sinistra aprire COME A Quale fiducia livello A spettacolo.
Curve di confidenza indirizzo questi preoccupazioni di parlare Tutto fiducia intervalli
su A UN arbitrariamente alto- livello Di fiducia.
IL Significare differenza In IL prestazione
È chiaramente visibile A IL 0% fiducia livello, E Quello atti COME a punto stima.
Tutto Di IL cose essendo pari, tipo 1 E tipo 2 errori Sono equivalente.
Curve di confidenza non incorporare a pregiudizio in direzione commercio tipo 1 errori per tipo 2.
Anche COSÌ, di predefinito,
a verticale linea È mostrato In IL fiducia curva grafico
per IL standard nulla ipotesi Di NO differenza.
In inoltre,
a orizzontale linea È mostrato Quello descrive IL 95% fiducia intervallo,
Quale prontamente offre a tipico significato test analisi Se desiderato.
IL impostazioni predefinite per questi linee Sono facilmente modificato,
Ma diverso nulla ipotesi E fiducia file desiderato.
Anche COSÌ, dato IL Piuttosto ampio E A volte enfatico suggerimento
A sostituire significato test con punto stime E fiducia intervalli,
Esso Maggio Essere migliore A visualizzazione a Curva di fiducia COME a punto stima
lungo con a quasi ripetere visualizzazione Di suo associato incertezza.
Se Voi Avere feedback Di IL fiducia curva componente aggiuntivo,
Per favore Partire a commento SU IL JMP comunità sito.
E non dimenticare A votare per Questo presentazione
Se Voi trovato Esso interessante O utile.
Grazie Voi per guardare Questo presentazione E I Speranza Voi Avere a Grande giorno.
