Video 1: Sfida - Oltre un unico modello migliore: cosa può davvero rivelarti un DSD
La sessione del secondo trimestre dell'Experimenter's Club ha visto un'animata discussione sul celebre monito di George Box secondo cui "tutti i modelli sono sbagliati, ma alcuni sono utili".
Tutto è iniziato con un utente se fosse lecito fidarsi di interazioni e effetti quadratici inaspettatamente forti in un disegno di screening definitivo a 6 fattori (DSD). Ne è seguito un proficuo scambio di opinioni che ha dimostrato come il vero problema ", ma piuttosto come interpretare uno spazio di progettazione in cui coesistono molti modelli plausibili.
Domanda della community:https://community.jmp.com/t5/Discussions/quot-Surprising-quot-results-in-an-DSD-Design/td-p/941518
Post di Victor su LinkedIn:https://www.linkedin.com/posts/victorguiller_experimentersclub-designofexperiments-share-7453440558682894336-j7Ki?utm_source=share&utm_medium=member_desktop&rcm=ACoAAAg2XG8BduAUlMeluDXcuMFV-P_Hxv1KA0k
Video 2: Discussion
La conversazione ha evidenziato che in un DSD con un numero limitato di esecuzioni, è impossibile stimare simultaneamente tutti gli effetti principali, di interazione e quadratici senza compromessi strutturali. Di conseguenza, l'aliasing parziale, la multicollinearità e la molteplicità dei modelli sono caratteristiche naturali del problema, piuttosto che segni di fallimento.
La discussione ha sottolineato come diversi metodi di stima e criteri di selezione, quali R², R² aggiustato, AICc, BIC e RMSE, possano portare a modelli diversi ma comunque difendibili.
Un punto fondamentale da sottolineare è che gli sperimentatori non dovrebbero concentrarsi solo sulla ricerca del singolo modello più adatto. Al contrario, dovrebbero confrontare più candidati validi, cercare effetti che si manifestino in modo coerente nei modelli validi, applicare la gerarchia degli effetti e la conoscenza del dominio, e prendere in considerazione l'aumento dei dati quando è necessaria una conferma.
In tal senso, il processo di progettazione diventa meno incentrato sulla reazione a risultati sorprendenti e più su un giudizio rigoroso sui modelli, applicato in un lavoro sperimentale nel mondo reale.
Grazie @maria_astals per la registrazione!
Ecco la procedura dettagliata per creare un grafico raster da un DoE:
- Accedere alla piattaforma Modelli adatti (oppure fare clic sullo script Modello nella tabella DoE), specificare le risposte e i termini nel modello presupposto (se questi pannelli non sono già precompilati) e scegliere Personality Passo dopo passo . Fare clic su Run.
-
Vai al triangolo rosso accanto a Stepwise Fit, seleziona Tutti i modelli possibili e definisci il numero massimo di termini possibili nei modelli, nonché il numero di modelli migliori da visualizzare. Seleziona l'opzione Limita ai modelli in cui le interazioni implicano effetti di ordine inferiore (Restrizione ereditaria) . Fai clic su OK.
-
Una volta completati i calcoli, nel report compare una nuova tabella "Tutti i modelli possibili" . Fai clic con il pulsante destro del mouse su questa tabella e seleziona l'opzione "Crea tabella dati combinati ". Si aprirà così una nuova tabella con i risultati della piattaforma Stepwise.
- Per identificare ciascun modello individualmente e monitorarne le prestazioni, creiamo una nuova colonna ID modello nella nuova tabella. Per fare ciò, fare clic con il pulsante destro del mouse sulla prima colonna della tabella e selezionare Nuova colonna formula > Riga > Riga . Ogni modello avrà quindi un ID univoco nella nuova colonna "Riga". Modificare il tipo di modellazione in Nominale.
- Seleziona la colonna "Modello" e fai clic sul triangolo rosso in alto a destra a sinistra della tabella dati (oppure fai clic nel menu Colonne), scegli Utilità > Testo in colonne . Definisci il delimitatore come || e seleziona l'opzione Crea colonne indicatore .
- Fai clic sul menu Tabella > Impila . Seleziona tutte le nuove colonne indicatore e fai clic su Impila colonne. Puoi rinominare la colonna Etichetta in "Termini" e la colonna Dati in "Presenza". Fai clic su OK.
- You can then add some formula column (or using the Recode option) to identify which terms are main effects, interaction effect or quadratic effects to prepare the plot. With the example Bounce Data, I used a formula column when recoding:
Map Value(
:Terms,
{"Silane", "Main effect", "Silane*Silane", "Quadratic effect", "Silica",
"Main effect", "Silica*Silane", "Interaction effect", "Silica*Silica",
"Quadratic effect", "Silica*Sulfur", "Interaction effect", "Sulfur",
"Main effect", "Sulfur*Silane", "Interaction effect", "Sulfur*Sulfur",
"Quadratic effect"},
Unmatched( :Terms )
)
- Aggiungi la proprietà " Ordine dei valori " alla colonna "Tipo di termini", in modo che i termini del modello vengano visualizzati prima con gli effetti principali, poi con gli effetti di interazione e infine con gli effetti quadratici:
- A questo punto puoi utilizzare Graph Builder e creare il grafico raster!
- Utilizzare la colonna "Riga" (o ID modello) come variabile Y.
- Utilizzare "Termini" come variabile X.
- Aggiungi "Tipo di termini" come variabile X nidificata (nella posizione sotto X).
- Modifica lo stile del grafico in "Mappa di calore".
- Utilizza una delle metriche di prestazione del modello (ad esempio RMSE) come variabile Colore e scegli un tema di colori appropriato (come dal verde al rosso).
- Fai clic con il pulsante destro del mouse sulla variabile Y, scegli "Ordina per" e seleziona la metrica di prestazione desiderata (crescente per AICc, BIC e RMSE, decrescente per R quadro).
- Aggiungi un filtro dati locale alla colonna "Presenza" e seleziona solo i valori diversi da 0 (1: il termine è presente nel modello).
- È inoltre possibile aggiungere un filtro al numero di modelli visualizzati filtrando/riducendo l'intervallo di valori per la metrica delle prestazioni.
- Una volta impostato tutto, clicca su Fine. Il grafico raster è pronto!
Come potete vedere, la creazione del grafico raster comporta numerose operazioni. Ho intenzione di creare un componente aggiuntivo per automatizzare il processo, riducendo così il lavoro manuale (e faticoso!) necessario per ottenere questa fantastica visualizzazione. Se qualcuno fosse disposto ad aiutare e contribuire a questo componente aggiuntivo, si unisca al gruppo!
