819880_it-IT

liliconcom

Riduzione del modello

Ciao,

Secondo il modello di apprendimento JMP per l'analisi DOE, i termini non significativi nel modello possono essere rimossi, iniziando dalle interazioni di ordine superiore non significative (= riduzione del modello).

Tuttavia, è davvero così semplice? Ci sono altre cose da prendere in considerazione prima di rimuovere termini non significativi? La rimozione di un termine non significativo implica necessariamente che questo fattore non abbia alcun effetto/effetto minore sulla variabile di output/risposta?

Inoltre, la riduzione del modello si applica anche ai modelli REML/misti?

Grazie per ogni chiarimento in merito.

Sara

Progettazione degli esperimentiRe: Riduzione del modello

Non è così semplice. Rimuovere o meno i termini modello è in cima alla discussione in corso sull'uso/abuso/uso improprio dei valori p. In effetti, per me, sono due facce della stessa medaglia.

Detto questo, tuttavia, sono sicuro di dire che rimuovere un termine modello non significa che un fattore (o più) coinvolto nella stima del parametro abbia "...nessun/minore effetto sulla tua variabile di output/risposta?" Significa solo che su QUELLO spazio di inferenza particolare stai decidendo di non includere il termine nel modello. Quella decisione è lontana anni luce dal dichiarare a Dio e a tutti coloro che ascolteranno che non c'è "nessun/minore effetto". Forse i livelli che scegli (se stai modellando un esperimento progettato) erano troppo stretti perché un segnale si elevasse sopra il rumore. Forse il rumore (o i rumori) nello spazio di inferenza stanno sopraffacendo l'effetto del fattore (o dei fattori). E non farmi iniziare con l'interpretazione del "valore p"... tutti i termini sono "significativi" a un certo valore p. Chi sceglie quel valore di significatività? In base a quali criteri?

E secondo me lo stesso si può dire per qualsiasi metodo di modellazione (REML/misto e altri) che mi viene in mente.

Re: Riduzione del modello

Ciao P_Bartell,

Capisco la complessità della questione. Tuttavia, il mio ragionamento è che a un certo punto vuoi essere in grado di fare inferenze basate sui risultati del DOE che hai eseguito. Altrimenti, qual è lo scopo di eseguirlo... Quindi, da un punto di vista pratico, cosa fai con i termini non significativi?

Grazie

Sara

Re: Riduzione del modello

Pete ha, ovviamente, ragione e saggezza nei suoi consigli. In particolare per quanto riguarda la questione dello spazio di inferenza. Quando hai eseguito il tuo esperimento, quanto era rappresentativo il rumore nello studio? Come è stato gestito il rumore nello studio? (ad esempio, hai limitato, bloccato, ripetuto, replicato, suddiviso con split-plot)? La stima di MSE è ragionevole e rappresenta il vero errore casuale? In caso contrario, la significatività statistica è priva di significato. Ricorda, la significatività statistica è un'affermazione condizionale!

Quando si esegue la riduzione del modello, ecco cosa dovresti considerare:

1. Significato pratico. Questo non ha nulla a che fare con il significato statistico, che è un confronto degli effetti con MSE. I fattori/interazioni hanno un significato pratico? Un altro modo per dirlo è che dovresti valutare il modello in termini di merito scientifico o ingegneristico. Ci sono ipotesi razionali e logiche che supportano l'identificazione di termini interessanti e non interessanti?

2. Delta R-quadrato-R-quadrato aggiustato. Man mano che si eliminano termini non interessanti dal modello, il delta dovrebbe diminuire. Anche la dimensione dell'R-quadrato aggiustata.

3. Residui. Come appaiono? Ci sono valori anomali, modelli insoliti, ecc. quando rimuovi i termini?

4. p-value. Questi potrebbero essere utili per il primo taglio, ma sono meno utili (o inutili) man mano che si procede. Cosa succede ai quadrati medi insignificanti? Vengono aggiunti al MSE CON i DF che sostanzialmente diminuiscono il MSE e aumentano i valori F in modo distorto.

5. Utile. Il modello deve essere utile. La missione non è creare il modello più complesso che si possa ottenere, ma creare un modello che sia predittivo e utile.

Naturalmente, uno dei vantaggi di JMP è la possibilità di modificare rapidamente il modello e di rivalutarlo.

Re: Riduzione del modello

In risposta alla tua domanda, "Altrimenti, qual è lo scopo di eseguirlo...". Con "esso" suppongo un esperimento progettato... Risponderò a questa domanda dal mio quadro di riferimento, lo ammetto un po' parziale, proveniente dall'industria, in contrapposizione a un ambiente di ricerca.

Di gran lunga lo scopo principale per condurre i nostri esperimenti progettati non era "...fare inferenze...". Ma risolvere un problema pratico. Non sto dicendo che cercare "inferenze", che definirò come nuove conoscenze inedite, non sia un'impresa degna... semplicemente non è come ci siamo ritrovati. Quindi qual è lo scopo ultimo per condurre questi esperimenti progettati? Se è risolvere un problema pratico... allora proverei in entrambi i modi... modellando con e senza i termini "insignificanti" e considerando l'utilità del modello nel contesto della risoluzione del problema pratico in questione. Se si tratta di nuove conoscenze, allora prenderei in considerazione ulteriori sperimentazioni prima di fare affermazioni generiche come "nessun effetto/minimo" per espandere lo spazio di inferenza sotto diversi rumori (fornitori, apparecchiature, operatori, scalabilità e così via) e variabili di disturbo e altri problemi, come la spaziatura a livello di fattore, il rumore del sistema di misurazione, ... e raramente questo viene realizzato con un esperimento. Dove lavoravo, lo chiamavamo "comprensione del rischio di rappresentazione".

Un semplice esempio puramente illustrativo, ma una situazione che abbiamo incontrato più spesso di quanto avremmo voluto. Avremmo eseguito un DOE su apparecchiature pilota e avremmo tratto la conclusione che "la velocità di rivestimento" non ha alcun effetto sulla risposta di interesse. Ma poi passiamo alle apparecchiature di produzione... e all'improvviso la "velocità di rivestimento" ha un effetto. Come è possibile? Nuovo processo... nuovi rumori. Si tratta di quanto l'esperimento sia "rappresentativo" per le condizioni future. Deming ha scritto a lungo sui problemi associati agli studi enumerativi rispetto a quelli analitici.

Studi enumerativi vs. analitici

Solo comprendendo questo ampio panorama si può con sicurezza formulare affermazioni generiche come "nessun effetto/effetto minimo".

Re: Riduzione del modello

Considerando queste risposte, direi che il modulo di apprendimento DOE di JMP semplifica eccessivamente l'analisi di un DOE.

Re: Riduzione del modello

Per essere onesti, i moduli di apprendimento JMP sono pensati per introdurre il prodotto e "vendere il prodotto". Ho trascorso 6 mesi insegnando le basi della progettazione sperimentale con molteplici esperimenti pratici e molti casi di studio pratici. A mio modesto parere, sarebbe quasi impossibile insegnarlo online (anche se ci ho provato durante il Covid). I moduli di apprendimento sono pensati per introdurre le metodologie ed esporre gli individui, forse senza alcuna conoscenza pregressa, alle potenziali applicazioni. Alla fine di quei moduli, se riesci a identificare situazioni che trarrebbero vantaggio dalle metodologie, hanno raggiunto il loro scopo.

Ho una visione leggermente diversa da quella di Pete riguardo all'uso del design sperimentale. IMHO, ci sono due "motivazioni" che guidano il lavoro investigativo:

1. Esplicativo: esiste un problema e stai cercando di capire il problema e cosa potrebbe causarlo. Ovviamente DOE può essere utile qui, ma sono di parte nell'usare il campionamento diretto e i componenti degli studi di variazione per comprendere questi eventi. Posso certamente far sì che si verifichi un problema con DOE, ma potrebbe non essere questo il motivo per cui il problema si è verificato in primo luogo.

2. Previsione: comprendere la causalità per consentire all'investigatore di sviluppare un modello di previsione utile. È qui che brilla il DOE e non esiste davvero un'altra metodologia potente come il DOE.

Re: Riduzione del modello

Grazie per la spiegazione.

Vedi altro...

La rimozione di termini non significativi può semplificare un modello, ma è importante considerare il contesto, le ipotesi del modello e la potenziale multicollinearità. Un termine non significativo non significa necessariamente che il fattore non abbia effetto; potrebbe indicare una potenza insufficiente o una misurazione impropria. La riduzione del modello si applica anche ai modelli REML/misti, ma è necessaria cautela. Durante i miei anni al college, ho spesso cercato aiuto per scrivere i miei saggi accademici. Dopo aver condotto alcune ricerche, mi sono imbattuto in DoMyPaper, che aveva molte recensioni positive. Ho deciso di visitare domypaper.com per chiedere aiuto e si è rivelata un'esperienza fantastica. DoMyPaper ha un team di esperti che aiutano gli studenti a migliorare le loro capacità di scrittura. Ora, mi affido ai loro servizi per ottenere aiuto con il mio lavoro di scrittura accademica.

Re: Riduzione del modello

Ciao @SaraA ,

Gli esempi mostrati nei moduli JMP sono qui per portare le basi di progettazione e analisi ai non statistici che vorrebbero "iniziare". Ovviamente i set di dati sono facili da seguire e l'analisi è semplificata, in modo che tutti possano capirla e provarla.

Ma come ha detto @statman , l'argomento della modellazione è molto più vasto (e a volte complicato) del "solo" affidarsi ai valori p. A seconda del/i tuo/i obiettivo/i, potresti avere percorsi diversi per la valutazione e la selezione dei modelli:

• Modello esplicativo : In una modalità esplicativa, ti concentri di più sui termini che hanno una certa influenza sulla/e risposta/i, quindi potresti valutare la necessità di includere i diversi termini in base alla significatività statistica (con l'aiuto di valori p e una soglia predefinita per essa come 0,05) e alla significatività pratica (dimensione delle stime, selezione basata sulla competenza di dominio). R², R² aggiustato (e la differenza tra i due, che deve essere ridotta al minimo) potrebbero essere delle buone metriche per capire quanta variazione è spiegata dai termini identificati e selezionare i modelli pertinenti per spiegare il sistema in esame.
• Modello predittivo : In modalità predittiva, ci si concentra maggiormente sui termini che aiutano a ridurre al minimo gli errori di previsione, quindi si potrebbe valutare la necessità di includere i diversi termini in base a come ciò migliora le prestazioni predittive, attraverso le visualizzazioni del grafico effettivo rispetto a quello predittivo e la dimensione degli errori (grafico dei residui). RMSE potrebbe essere una buona metrica per valutare quali modelli hanno le migliori prestazioni predittive (l'obiettivo è ridurre al minimo RMSE).

Potresti anche essere interessato a una combinazione delle due parti, in modo che metriche diverse possano essere utilizzate per aiutarti a valutare e selezionare i modelli, come criteri informativi (AICc, BIC) che aiutano a trovare un compromesso tra le prestazioni predittive del modello e la sua complessità. Per valutare e selezionare un modello in base a questi criteri, più è basso, meglio è. Potresti anche usare la massima verosimiglianza, che è simile ma non include una penalità per la complessità del modello.

Consiglierei di essere cauti sui valori p ed evitare il " culto della significatività statistica ": Risolto: Re: Significatività statistica - JMP User Community

Per creare il tuo modello, ci sono molte piattaforme disponibili in JMP (modelli Fit Model e Generalized Regression , Fit Two Level Screening , Fit Definitive Screening , ...), che utilizzano tecniche, stime o criteri di convalida diversi, a volte a seconda della tua scelta di progettazione. Puoi provarli e vedere come e quando i tuoi modelli concordano e quando/dove sono in disaccordo. Prova a tracciare i risultati dei tuoi diversi risultati tramite grafici Raster o grafici più semplici come questo:

A seconda della piattaforma utilizzata, è possibile verificare il livello di concordanza dei modelli e, utilizzando una metrica specifica adattata al proprio obiettivo, è possibile scegliere più facilmente uno o più modelli.

Tornando alla tua domanda iniziale, quando si modellano le risposte si dovrebbe tenere conto della significatività statistica e della significatività pratica, e il modello risultante dovrebbe essere confrontato con esperti del settore e sottoposto a convalida sperimentale.

Spero che questa risposta complementare possa essere utile, anche se in ritardo,