Ciao, mio nome è Bryan Frick.
sono un di recente coniato Prodotto Manager a JMP, messa a fuoco su il JMP utente Esperienza.
In precedenza, io era un Software sviluppatore Lavorando su esportare rapporti
a In piedi da solo HTML file File, JMP Abitare, e JMP Pubblico.
Nel questo presentazione,
sono andando a parlare di usando fiducia curve
come un alternativa a Nullo H ipotesi Significato Test
in il contesto di predittivo modello selezione.
Aggiuntivo Materiale su questo argomento potere essere fondare su il JMP Comunità sito web
e il carta associato insieme a questo presentazione.
Dott. Russ Wolfinger, chi è un distinto ricerca compagno a JMP, è un co -autore,
e io volevo piace a grazie lui per la sua contributi.
Il Modello Selezione piattaforma introdotto in Salto Pro 16,
consente tu a valutare il prestazione
di multiplo predittivo Modelli usando attraverso- convalida.
a mostrare tu come il Modello Selezione piattaforma lavori,
sono andando a utilizzo il Diabete Dati tavolo,
quale è a disposizione in il JMP Campione Dati Biblioteca.
Malato scegliere Modello Selezione da il Analizzare Predittivo Modellazione menù.
JMP risponde di visualizzazione il Modello Selezione dialogo.
Il primo tre colonne in il dati tavolo
rappresentare patologia progressione in continuo, binario, e ordinale le forme.
Malato utilizzo il continuo colonna di nome Y come il risposta variabile.
Malato utilizzo tutti il colonne da Età a Glucosio in il X Fattore ruolo.
Malato genere 1-2-3-4 in il Impostare Casuale Seme ingresso scatola per riproducibilità.
Malato Selezionare il dai un'occhiata scatola prossimo a Piega a K Attraverso convalida
e partire K impostare a cinque.
Malato genere tre in il ingresso scatola prossimo a Ripetuto K Piega.
Nel il Metodo elenco, Malato deseleziona Neurale,
e adesso Malato Selezionare OK.
JMP risponde di formazione e convalidare Modelli per ogni di il selezionato Metodi
usando loro predefinito parametro impostazioni e attraverso convalida.
Dopo completare il formazione e convalidare processi,
JMP visualizza il risultati in un nuovo finestra.
Per ogni modellazione metodo, il Modello Selezione piattaforma mette a disposizione
prestazione le misure in il modulo di punto stime
per il coefficiente di determinazione,
quale è anche conosciuto come R al quadrato, il radice media quadrato errore,
e il standard deviazione per il radice media quadrato errore.
Adesso Malato clic Selezionare Dominante.
JMP risponde di evidenziando il metodo Quello esegue migliore
attraverso il prestazione le misure.
Cosa c'è mancante qui è un grafico
a mostrare tu il taglia di il differenza tra il Dominante Metodo
e il Altro metodi, lungo insieme a il visualizzazione
di il incertezza associato insieme a il differenze.
Ma perché non appena mostrare P i valori indicando se il differenze sono significativo?
Non dovrebbe un decisione di se uno modello è superiore a altro
essere basato su significato?
Primo,
da un Valore P mette a disposizione un probabilità basato su un standardizzato differenza,
un P valore di si perde informazione di il crudo differenza,
così un significativo differenza non lo fa implicare un significativo differenza.
Ma è Quello veramente un problema?
io significare, non lo è esso inutile a essere interessato
insieme a il taglia di un differenza tra Due Modelli prima significato test è Usato
a determinare se il differenza è vero?
Il problema insieme a Quello linea di pensiero è Quello è energia, o uno meno beta,
Quello determina nostro capacità a correttamente rifiutare un nullo ipotesi.
Autori come come Giacobbe Cohen e Franco Schmidt
avere suggerito Quello tipico studi avere un energia a rilevare differenze
in il allineare di 0.4 a 0.6 .
Andiamo supponiamo noi avere un differenza dove il energia a rilevare un vero differenza
è 0,5 a un Alfa valore di 0,05 .
Quella suggerisce noi volevo rilevare il vero differenza
su media 50 percento di il volta.
Nel Quello Astuccio, significato test volevo identificare vero differenze
no meglio di capovolgere un imparziale moneta.
Se tutti Altro cose sono pari, Tipo Uno e Tipo Due errori sono equivalente.
Ma significato prove Quello utilizzo un Alfa valore di .05
Spesso implicitamente assumere Digitare T wo errori sono preferibile a Tipo Uno errori,
particolarmente Se il energia è come basso come 0,5 .
UN Comune suggerimento a indirizzo questi e Altro questioni insieme a significato test
è a mostrare il punto stima lungo insieme a fiducia intervalli.
Uno obiezione a facendo così è Quello un punto stima
lungo insieme a un 95 per cento fiducia intervallo
è effettivamente il stesso cosa come significato test.
Persino Se noi assumere Quello è vero, un punto stima e fiducia intervallo
ancora mette il grandezza di il differenza in il allineare di il incertezza
davanti e centro,
invece un solitario P valore nasconde loro entrambi.
Vari autori, Compreso Cohen e Schmidt,
avere consigliato sostituzione significato test
insieme a punto stime e fiducia intervalli.
Persino così, il raccomandazione a utilizzo fiducia intervalli
implora il domanda, "Quale quelli fare noi mostrare?"
Mostrando solo il 95 per cento fiducia intervallo
volevo probabile incoraggiare tu a interpretare esso come altro modulo di significato test.
Il soluzione fornito di fiducia curve
è a letteralmente mostrare tutti fiducia intervalli
su a un arbitrariamente alto fiducia livello.
Così come fare tu mostrare fiducia curve dentro JMP?
a convenientemente creare fiducia curve in JMP,
installare il fiducia curve Inserisci- in di visitando il JMP Comunità homepage.
Tipo "fiducia curve" in il ricerca ingresso campo.
Clic su il primo iscrizione Quello appare.
Adesso clic il Scarica icona prossimo a Curve di fiducia.jmp Inserisci in,
e adesso tu potere clic su il scaricato file.
JMP risponde di chiedendo Se io volere a installare il Inserisci- in.
Voi volevo clic "Installare."
Tuttavia, Malato clic "Annulla," come io già avere il Inserisci- in installato.
Come fare tu utilizzo il Inserisci- in?
Primo, a creare fiducia curve per questo rapporto,
Selezionare "Salva Risultati Tavolo"
da il superiore rosso triangolo menù situato su il modello schermo rapporto finestra.
JMP risponde di creando un nuovo tavolo contenente, tra altri,
il a seguire colonne:
Prova, quale contiene il identificatori per tre imposta di attraverso convalida risultati;
Piega, quale contiene il Identificatori per il cinque distinto imposta di sottocampioni
Usato per convalida in ogni prova;
Metodo, quale contiene il metodi Usato a creare Modelli da il test dati,
e N, quale contiene il numero di dati punti Usato in il convalida pieghe.
Nota Quello il prova colonna volere essere mancante Se il numero di si ripete è Esattamente uno,
in quale Astuccio il Prova colonna è nessuno dei due creato né necessario.
Salva per Quello eccezione,
questi colonne sono essenziale per il fiducia curve Inserisci- in
a funzione correttamente.
Nel aggiunta a questi colonne,
tu bisogno uno colonna Quello mette a disposizione il metrico a confrontare metodi.
Malato essere usando R quadrato come il metrico di interesse in questo presentazione.
Una volta tu avere il Modello Schermo e Risultati Tavolo,
clic "Aggiungere- Ins" da il di JMP principale menù sbarra e poi s eleggere "Fiducia Curve."
Il logica Quello segue volevo essere meglio posizionato in un procedura guidata,
e io speranza a Inserisci Quello funzionalità in un futuro pubblicazione di il Inserisci- in.
Come esso è, il primo dialogo Quello appare
richieste tu a Selezionare il nome di il tavolo Quello era generato
quando tu scelto "Salva Risultati Tavolo"
da il Modello Selezione Rapporti rosso triangolo menù.
Il nome di il tavolo in questo Astuccio è Modello Selezione Statistiche Convalida Impostare.
Prossimo, un dialogo è visualizzato Quello richieste il nome di il metodo
Quello volere servire come il linea di base
da quale tutti il Altro prestazione metrica sono misurato.
io suggerire di partenza insieme a il metodo
Quello era selezionato quando tu cliccato il Selezionare Dominante, o in questo Astuccio,
io selezionato o cliccato Selezionare Dominante opzione
in il Modello Schermo e Rapporto finestra,
quale in questo Astuccio è adatto fare un passo saggio.
Finalmente, un dialogo è visualizzato
Quello richieste tu a Selezionare il metrico a essere rispetto tra il vari metodi.
Come menzionato prima, Malato utilizzo R quadrato come il metrico per confronto.
Salto risponde di creando un fiducia curva tavolo Quello contiene P i valori
e corrispondente fiducia livelli
per il significare metrico differenza tra il scelto linea di base metodo
e ogni di il Altro metodi.
Di più in particolare, il generato tavolo ha colonne per il a seguire:
Modello, in quale ogni riga contiene il nome di il modellazione metodo
il cui, di chi prestazione è valutato parente a il linea di base metodo;
valore P,
in quale ogni riga contiene il probabilità associato insieme a il prestazione differenza
a meno come estremo come il i valori mostrato in il Differenza in R Quadrato colonna;
Fiducia Intervallo, in quale ogni riga contiene il fiducia livello noi avere
Quello il vero significare è contenuto in il associato intervallo.
e finalmente, Differenza in R Quadrato, in quale ogni riga è il massimo o minimo
di il previsto differenza in R quadrato associato insieme a il fiducia livello
mostrato in il Fiducia Intervallo colonna.
Da questo tavolo, fiducia curve sono creato
e mostrato in il Grafico Costruttore grafico.
Che cosa sono fiducia curve?
a chiarire il chiave attributi di un fiducia curva,
Malato nascondere tutti ma il Supporto Vettore Macchine fiducia curva
usando il Locale dati filtro di cliccando su Supporto Vettore Macchine.
Di predefinito, un fiducia curva solo Spettacoli il Linee
Quello Collegare il estremi di ogni fiducia intervallo.
a vedere il punti, Selezionare Spettacolo Controllo Pannello da il rosso triangolo menù
situato prossimo a il testo Quello legge Creazione del grafico R in il titolo sbarra.
Adesso Malato Spostare clic il Punti icona.
JMP risponde di visualizzazione il fine punti di il fiducia intervalli
Quello Fare su il fiducia curva.
Adesso io volere Ingrandisci in e esaminare un punto.
Se tu librarsi il topo puntatore terminato qualunque di questi punti,
un librarsi etichetta Spettacoli il P valore, fiducia intervallo,
differenza in il taglia di il metrico,
e il metodo Usato a creare il modello essendo rispetto a il riferimento.
Adesso io volere giro spento il punti di Spostare cliccando il Punti icona
e cliccando il Fatto pulsante.
Persino benchè il individuale punti sono no più a lungo mostrato,
tu potere ancora Visualizza il associato librarsi etichette
di collocazione il topo puntatore terminato il fiducia curva.
Il punto stima per il significare differenza in prestazione
tra Supporto vettore m acciacchi e Adatto fare un passo saggio
è mostrato a il 0 percento fiducia livello,
quale è il significare valore di il differenze calcolato usando attraverso convalida.
Fiducia curva trame il estensione di ogni fiducia intervallo
da il generato tavolo tra il zero e 99. 99 per cento fiducia livello,
quale è un arbitrariamente alto valore.
Lungo il sinistra Y asse,
valori P associato insieme a la confidenza intervalli sono mostrato.
Lungo il Giusto Y asse,
il fiducia livello associato insieme a ogni fiducia intervallo è mostrato.
Il Y asse usi un tronco d'albero scala,
così Quello di più risoluzione è mostrato a più alto fiducia livelli.
Di predefinito, Due riferimento Linee sono tracciato a fianco un fiducia curva.
Il verticale linea rappresenta il tradizionale nullo ipotesi
di no differenza in effetto.
Nota te potere Cambia il verticale linea posizione
e in tal modo il implicito nullo ipotesi
in il X asse impostazioni.
Il orizzontale linea
passa attraverso il convenzionale 95 per cento fiducia intervallo.
Come insieme a il verticale riferimento linea,
tu potere Cambia il orizzontale linea posizione
e in tal modo il implicito livello di significato,
di mutevole il Y asse impostazioni.
Se un fiducia curva croci il verticale linea sopra il orizzontale linea,
tu non può rifiutare il nullo ipotesi usando significato test.
Per esempio, noi non può rifiutare il nullo ipotesi per sostegno vettore macchine.
Su il Altro mano,
Se un fiducia curva croci il verticale linea qui di seguito il orizzontale linea,
tu potere rifiutare il nullo ipotesi.
Ad esempio, possiamo rifiutare l'ipotesi nulla per Potenziato Albero.
Come sono fiducia curve calcolato?
Il attuale implementazione di fiducia curve
presuppone il differenze sono calcolato usando R volte ripetuto
Piega a K attraverso convalida.
Il estensione di ogni fiducia intervallo è calcolato
usando che cosa è conosciuto come un Varianza Corretto Ricampionato T-Test.
Nota Quello autori Claude Nadeau e Yoshua Bengio
notato Quello un corretto ricampionato T- test
è tipicamente Usato in casi dove formazione imposta
sono cinque o dieci volte più grandi di convalida imposta.
Per di più dettagli, Per favore vedere il carta associato insieme a questo presentazione.
Così come sono fiducia curve interpretato?
Primo, un fiducia curva graficamente raffigura
il principale differenza in il metrico di interesse tra un dato metodo
e un riferimento metodo a il 0 percento fiducia livello.
Noi potere valutare se il significare differenza tra metodi è significativo.
Se il significare differenza non lo è significativo, c'è poco punto in ulteriore analisi
di il dato metodo contro il riferimento metodo insieme a rispetto a il scelto metrico.
Che cosa costituisce un significativo differenza dipende su il metrico di interesse
come bene come il previsto scientifico o ingegneria applicazione.
Per esempio, tu potere vedere il modello sviluppato insieme a un decisione albero metodo
è su media di 14 per cento peggio di Adatto fare un passo saggio,
quale probabilmente è un significativo differenza.
Se il differenza è significativo,
noi potere valutare come precisamente il differenza ha stato misurato
di valutare il larghezza di il associato fiducia intervalli.
Per qualunque fiducia intervallo non traversata il predefinito verticale asse,
noi avere a meno Quello livello di fiducia Quello il significare differenza è diverso da zero.
Per esempio, il decisione albero fiducia curva non lo fa attraverso il Y asse
fino a quando di il 99. 98 per cento fiducia livello,
così noi sono quasi 99. 98 per cento sicuro di se il significare differenza non lo è pari a zero.
Nel fatto, insieme a questo dati impostare,
esso giri fuori Quello noi potere essere di 81 per cento sicuro di se
Quello Adatto fare un passo saggio è a meno come Buona, Se non meglio,
di ogni metodo Altro di generalizzato lazo di regressione.
Adesso andiamo ritenere il relazione tra fiducia curve.
Se Due o di più fiducia curve in modo significativo sovrapposizione
e il significare differenza di ogni è non significativamente diverso da il Altro,
il dati suggerire ogni metodo esegue
di il stesso come il Altro insieme a rispetto a il riferimento modello.
Per esempio, noi potere vedere Quello su media,
la s sostegno Vettore Macchine modello esegue
meno di 0,5 per cento meglio di Bootstrap Foresta,
quale è discutibile non un significativo differenza.
E il fiducia intervalli
fare non sovrapposizione fino a quando di il quattro per cento fiducia livello,
quale suggerisce questi i valori volevo essere previsto
Se entrambi metodi veramente fare avere di il stesso differenza in prestazione
insieme a rispetto a il riferimento.
Se il media differenza in prestazione
è di il stesso per Due fiducia curve
ma il fiducia intervalli non sovrapposizione anche molto,
il dati suggerisce il Modelli eseguire di il stesso come ogni Altro
insieme a rispetto a il riferimento modello.
Tuttavia, noi sono sicuro di se di un non- significativo differenza.
Questo particolare Astuccio è più raro di il altri, e
io non avere un esempio a mostrare insieme a questo dati impostare.
Su il Altro mano,
Se il media differenza in prestazione tra un coppia di fiducia curve
è significativamente diverso e il fiducia curve avere poco sovrapposizione,
il dati suggerisce il Modelli eseguire diversamente da uno altro
insieme a rispetto a il riferimento.
Per esempio, il generalizzato regressione laccio modello
prevede di 13. 8 per cento di più di il variazione in il risposta
di fa il decisione albero modello.
Inoltre, il fiducia curve non sovrapposizione
fino a quando di il 99. 9 per cento fiducia livello,
quale suggerisce questi risultati sono piuttosto fuori dal comune
Se il metodi in realtà eseguire di il stesso insieme a rispetto a il riferimento.
Finalmente, Se il media differenza in prestazione
tra un coppia di fiducia curve
è significativamente diverso da uno altro e il curve avere considerevole sovrapposizione,
il dati suggerisce Quello mentre il metodi eseguire diversamente da uno altro
insieme a rispetto a il riferimento,
esso non lo farebbe essere sorprendente Se il differenze sono il differenze spurio.
Per esempio, noi potere vedere Quello su media,
Supporto Vettore Macchine previsto circa 1,4 per cento di più di il varianza
in il risposta di fatto K Più vicino Vicinato.
Tuttavia, il fiducia intervalli inizio a sovrapposizione
a di il 17 per cento fiducia livello,
quale suggerisce esso non lo farebbe essere sorprendente Se il differenza in prestazione
tra ogni metodo in il riferimento
è in realtà più piccoli di suggerito di il punto stime.
Contemporaneamente,
esso non lo farebbe essere sorprendente Se il effettivo differenza è più grandi di misurato,
o Se il direzione di il differenza è in realtà invertito.
Nel Altro parole, il differenza in prestazione è incerto.
Nota Quello esso non lo è possibile a valutare il variabilità in prestazione
tra Due Modelli parente a uno altro
quando il differenze sono parente a un Terzo modello.
a confrontare il variabilità in prestazione tra Due metodi
parente a uno altro,
uno di il Due metodi dovere essere il riferimento metodo
da quale il differenze sono misurato.
Ma che cosa di multiplo confronti?
Non noi bisogno a regolare il valori P
a controllo il famiglia saggio Tipo Uno errore Vota?
Nel la sua carta di fiducia curve, Daniele Barra suggerisce
Quello aggiustamenti sono necessario in confermativo studi
dove un obbiettivo è prespecificato, ma non in esplorativo studi.
Questo suggerisce usando non regolato valori P per multiplo fiducia curve
in un esplorativo moda
e solo un separare fiducia curva generato da diverso dati
a Confermare il tuo trovare di un significativo differenza tra Due metodi
quando usando significato test.
Quella disse, Per favore mantenere in mente il pericoli di ciliegia raccolta
e P hacking quando condurre esplorativo studi.
Nel sommario, il Modello Selezione piattaforma introdotto in JMP Pro 16
mette a disposizione un significa a contemporaneamente confrontare il prestazione
di predittivo Modelli creato usando diverso metodologie.
JMP ha un lungo- in piedi obbiettivo a fornire un grafico insieme a ogni statistica,
e fiducia curve aiuto a riempire Quello spacco
per il Modello Selezione piattaforma.
Voi potrebbe naturalmente aspettare a utilizzo significato test a differenziare
tra il prestazione di il vari metodi essendo rispetto.
Tuttavia, valori P avere venire sotto è aumentato scrutinio in recente anni
per oscurando il taglia di prestazione differenze.
Nel aggiunta,
valori P sono Spesso male interpretato come il probabilità il nullo ipotesi è falso.
Invece, un Valore P è il probabilità di osservando un differenza come o di più estremo,
supponendo il nullo ipotesi è vero.
Il probabilità di correttamente rifiutando il nullo ipotesi
quando esso è falso è determinato di energia, o uno meno beta.
Io ho discusso Quello esso è non raro a solo avere un 50 percento opportunità
di correttamente rifiutando il nullo ipotesi insieme a un Alfa valore di 0,05 .
Come un alternativa, un fiducia intervallo potevo essere mostrato invece di un solitario Valore P.
Tuttavia, il domanda volevo essere sinistra aprire come a quale fiducia livello a mostrare.
Fiducia curve indirizzo questi preoccupazioni
di mostrando tutti fiducia intervalli su a un arbitrariamente alto livello di fiducia.
Il significare differenza in prestazione
è chiaramente visibile a lo zero per cento fiducia livello,
e Quello atti come un punto stima.
Tutti Altro cose essendo pari,
Tipo Uno e Tipo Due errori sono equivalente,
così fiducia curve non incorporare un pregiudizio in direzione commercio t sì Uno errori
per Tipo Due.
Persino così, di predefinito, un verticale linea è mostrato in il fiducia curva grafico
per il standard nullo ipotesi di no differenza.
Nel aggiunta, un orizzontale linea è mostrato Quello delinea
il 95 per cento fiducia intervallo,
quale prontamente offre un tipico significato test analisi Se desiderato.
Il impostazioni predefinite per questi Linee sono facilmente modificato
Se un diverso nullo ipotesi e fiducia livello è desiderato.
Persino così, dato il piuttosto ampio e a volte enfatico suggerimento
a sostituire significato test insieme a punto stime e fiducia intervalli,
esso Maggio essere migliore a Visualizza un fiducia curva come un punto stima
lungo insieme a un quasi completo Visualizza di suo associato incertezza.
Se tu avere risposta di il fiducia curve Inserisci- in,
Per favore partire un commento su il JMP C immunità posto
e non dimenticare a votazione per questo presentazione
Se tu fondare esso interessante e o utile.
Grazie tu per Guardando questo presentazione, e io speranza tu avere un grande giorno.
