Segnalazione dei risultati del DOE per la pubblicazioneCIAO,
Sto scrivendo un manoscritto che include la progettazione degli esperimenti (Plackett-Burman DOE e Full Factorial DOE).
Tuttavia, non sono sicuro di cosa sia importante riportare nelle pubblicazioni per essere il più trasparenti possibile.
Finora ho incluso le metriche del modello (R2, R2 corretto, PRESS, p-value del modello, p-value per mancanza di adattamento), nonché i termini e le interazioni significativi e il loro p-value. Ritengo che riportare le stime dei parametri per i fattori/interazioni non abbia senso quando si dispone di un modello di regressione che include termini di interazione significativi (poiché queste stime dei parametri cambiano a causa delle interazioni). In tal caso, è meglio utilizzare il profiler di predizione. Tuttavia, il profiler di predizione è molto difficile da includere per la pubblicazione. Quindi, come posso riportare i risultati dei fattori e delle loro interazioni in modo significativo?
Gradirei qualsiasi consiglio.
Grazie
Sara
Progettazione degli esperimentiOggetto: Segnalazione dei risultati del DOE per la pubblicazioneCiao @SaraA ,
Sfortunatamente può essere molto difficile sapere come produrre pubblicazioni del Dipartimento dell'Energia, perché c'è molta varietà e qualità in ciò che viene prodotto nelle pubblicazioni accademiche. Ho qualche riflessione in merito, basata sulla mia esperienza personale nella pubblicazione di lavori del Dipartimento dell'Energia, e sono sicuro che altri aggiungeranno qualcosa.
La regola più importante: dai per scontato che i tuoi lettori non sappiano nulla del Dipartimento dell'Energia o delle statistiche!
Sebbene sia uno strumento popolare per la sperimentazione, molti lettori potrebbero non averlo mai scoperto, il che significa che è necessario utilizzare strumenti come la visualizzazione per trasmettere l'attività di un DoE e per aiutare i lettori a comprenderla. È qui che molti autori falliscono, e la mia più grande ostilità è l'inclusione dell'intera formula nell'articolo: trasmette davvero i risultati del DoE? Allo stesso modo, elementi come le stime dei parametri (come hai detto) non hanno molto significato quando si hanno a disposizione altri strumenti come i grafici di Pareto.
Farò alcuni esempi di come ho mostrato i miei risultati per trasmettere alcuni dei modi per mostrare il tuo DoE (pubblicità spudorata, puoi anche trovare l'articolo qui)
Impostazione della scena : utilizzare semplici visualizzazioni per mostrare la struttura del DoE e come vengono esplorati i punti. È possibile farlo con Graph Builder o Scatterplot Matrix quando si hanno molti fattori. Questo aiuta i lettori a comprendere che il DoE è un approccio strutturato alla sperimentazione. Allo stesso modo, avere una tabella in cui mostrare la codifica dei fattori (se si utilizzano -, 0, + e assiali (a, A)) sarà di grande aiuto.
Mostrare i risultati ottenuti : prima di addentrarti nel modello di regressione e nelle maggiori complessità dell'approccio DoE, dovresti evidenziare i valori reali ottenuti. Un semplice grafico in Fit Y by X, che utilizza un metodo simile al test di Tukey, è un modo davvero chiaro per mostrare "Guarda quanta roba in più ho ottenuto" usando l'approccio DoE. Uno dei grandi punti di forza di DoE è che si tratta di un modo strutturato di esplorare un'area sperimentale; l'approccio di modellazione successivo è un ulteriore vantaggio! Nell'esempio sopra, puoi vedere che il mio "00a" è molto più produttivo degli altri punti: in realtà potrei fermarmi qui perché ho ottenuto quello che volevo!
Introduzione al modello : come hai detto, stai mostrando le informazioni di base necessarie per dimostrare che il tuo modello è sufficiente. A seconda della rivista di riferimento, questo dovrebbe essere più che sufficiente per dimostrare di aver costruito un buon modello e potresti non aver bisogno di approfondire ulteriormente (a meno che tu non stia prendendo di mira una rivista molto specializzata in statistica). Se hai materiale come i residui studentizzati e il grafico effettivo/previsto, assicurati di includerli, magari tra le informazioni supplementari.
Introduzione al concetto di modellazione : il diagramma di Pareto è un ottimo modo per il lettore di osservare e comprendere rapidamente il significato dei termini, nonché un ottimo modo per introdurre concetti più complessi come la curvatura quadratica (X1*X1) e le interazioni (X1*X2). Il lettore può vedere rapidamente che "la linea blu è buona" e capire dove i termini hanno meno importanza. Questo è un ottimo punto da collegare alla comprensione del sistema. Ad esempio, l'azoto è molto importante per la produzione a causa della dipendenza dell'organismo utilizzato in questo articolo da esso per la crescita. Questo aiuta a dimostrare che non si sta semplicemente eseguendo un metodo di sperimentazione statistica, ma che lo si sta utilizzando per comprendere meglio il sistema.
Combina i diversi modi per mostrare la tua superficie : personalmente, adoro il profiler di previsione e può essere un ottimo modo per mostrare il tuo sistema e il suo funzionamento, ma come hai detto può essere poco efficace quando devi presentarlo staticamente: se hai un sistema semplice, puoi mostrare diverse inquadrature del profiler di previsione con impostazioni diverse. Nel mio caso, ho mostrato il profiler di previsione al suo livello ottimale (che mostrava la forma dei miei fattori) e l'ho combinato con i Contour Plot per rendere più comprensibile il mio sistema. Un consiglio: se imposti il Contour Plot con le stesse impostazioni dei fattori del tuo profiler di previsione, l'area in cui la griglia alta "interseca" la superficie (a cui ho aggiunto un'evidenziazione bianca) riflette la superficie sul profiler di previsione!
Prendi in considerazione la possibilità di condividere i tuoi risultati in JMP Public: sempre più pubblicazioni forniscono l'accesso ai dati che hanno formato le sezioni dei risultati (il che è fantastico!). Personalmente, mi è piaciuto molto pubblicare i miei risultati su JMP Public e includerli nei miei articoli: questo dà ai lettori la possibilità di sperimentare con i Prediction Profiler e scaricare i dati disponibili (ecco un esempio di come ho condiviso i miei risultati ).
Spero che questo ti sia utile e buona fortuna con la fase di revisione!
Grazie,
Ben
Oggetto: Segnalazione dei risultati del DOE per la pubblicazioneCiao @SaraA ,
È difficile aiutarti senza sapere a quale rivista o pubblico è dedicata la tua pubblicazione. Inoltre, qual è il tuo obiettivo con questa pubblicazione e quanto può essere riservata/open source?
A seconda delle risposte, la soluzione migliore che puoi offrire ai lettori è fornire loro (in allegato) l'intero set di dati, con tutti gli input e le risposte, nonché le risposte previste, e qualsiasi elaborazione o decisione tu abbia preso sui tuoi dati (trasformazioni, gestione o esclusione di valori anomali, ecc.). In questo modo, fornisci tutte le informazioni necessarie affinché i tuoi risultati e il tuo lavoro siano riproducibili.
Riguardo al tuo commento:
@SaraA ha scritto:
Ritengo che riportare le stime dei parametri per i fattori/interazioni non abbia senso quando si ha un modello di regressione che include termini di interazione significativi (poiché queste stime dei parametri cambiano a causa delle interazioni).
Sono fortemente in disaccordo. Le stime dei parametri aiutano a determinare l'importanza pratica (dimensione dell'effetto) dei fattori sulle risposte. La significatività statistica non è sufficiente per capire se un modello è adeguato, affidabile e praticamente utile. Sono necessarie entrambe le cose per interpretare il modello e i risultati.
Per ulteriori spiegazioni sulla differenza tra significatività pratica e statistica, vedere la discussione Quale definire la dimensione dell'effetto: Logworth o stime scalate?
Tra l'altro, è anche una buona pratica garantire la riproducibilità dei risultati della modellazione.
Per quanto riguarda il Prediction Profiler, potresti fornire un file HTML interattivo o incorporare il Profiler in una pagina web (sito web o JMP Live) se desideri condividerlo.
Continuerei a prendere in considerazione l'idea di fornire utili visualizzazioni "statiche" dei tuoi modelli, come il grafico della dimensione dell'effetto (in un grafico a barre), la mappa di calore (se vuoi vedere l'influenza dei tuoi fattori su più risposte), le mappe di correlazione (per le tue risposte), il grafico di superficie, i grafici a dispersione... Ci sono molte cose che puoi fare con JMP per visualizzare i risultati del tuo modello.
Spero che questa risposta possa aiutarti,
Oggetto: Segnalazione dei risultati del DOE per la pubblicazione@Victor_G
Supponiamo che nel modello ci sia un'interazione tra i termini X1 e X2 e che si riportino le stime dei parametri per X1 e X2, ma che a causa dell'interazione queste stime (ovvero i coefficienti di pendenza) possano cambiare, ad esempio da una pendenza positiva a una pendenza negativa, a seconda dei livelli dell'altro fattore con cui interagisce. Perché allora si dovrebbero riportare le stime dei parametri?
Oggetto: Segnalazione dei risultati del DOE per la pubblicazioneNon capisco il tuo punto.
L'effetto dell'interazione mantiene lo stesso valore del coefficiente indipendentemente dai livelli di X1 e X2 (se questi due fattori sono continui).
Se uno (o più) dei tuoi fattori è categoriale/ordinale, puoi fornire il valore dell'effetto di interazione per ciascun livello categoriale visualizzando le stime espanse del tuo modello:
Spero che questo chiarisca il mio punto,
Oggetto: Segnalazione dei risultati del DOE per la pubblicazione@Victor_G
Certo, il termine di interazione ha lo stesso valore del coefficiente indipendentemente dai livelli di X1 e X2, ma i valori dei coefficienti dei termini principali (X1 e X2) avranno valori diversi, a seconda dei livelli dell'altro fattore, giusto?
Oggetto: Segnalazione dei risultati del DOE per la pubblicazioneNo, credo che ci sia un equivoco tra la pendenza in un punto specifico, che dipende dai livelli di un fattore, e l'effetto principale di quel fattore. La pendenza può variare a seconda di dove ci si trova sulla superficie di risposta, ma la stima dell'effetto principale non cambia.
Oggetto: Segnalazione dei risultati del DOE per la pubblicazione@SaraA puoi sempre inserire le stime dei parametri nelle informazioni supplementari per chi potrebbe essere interessato: se pubblichi su una rivista specializzata in sviluppo biotecnologico (come ho fatto io), il pubblico di riferimento non trarrebbe grande beneficio dalla loro inclusione nel testo principale (a mio parere). In termini di cosa siano, i coefficienti rappresentano l'entità della variazione nella risposta per ogni variazione unitaria del predittore (se gli altri sono mantenuti costanti), vedrai esattamente questi stessi valori apparire nella formula di predizione.
Grazie,
Ben
Oggetto: Segnalazione dei risultati del DOE per la pubblicazioneL'altra cosa da tenere a mente riguardo alle interazioni in generale è se vi sia qualche effetto confondente sugli effetti causato dalla progettazione intrinseca stessa... in altre parole, un frazionamento nella progettazione e gli effetti dell'interazione sono davvero stimabili? Un altro modo di errore è, ad esempio, se si perdono alcune combinazioni di trattamento, alcuni effetti potrebbero essere inestimabili. Ma se gli Dei dell'Esecuzione Sperimentale hanno sorriso all'esecuzione dell'esperimento e tutto è andato come previsto, allora un altro modo per mostrare gli effetti dell'interazione è includere il Rapporto sul Modello di Adattamento, il rapporto sul Grafico di Interazione. Descritto qui: Grafici di Interazione . Non è impressionante quanto il Profilo Predittivo... ma fa il suo lavoro.
Oggetto: Segnalazione dei risultati del DOE per la pubblicazione@Ben_BarrIngh
In termini concreti, i coefficienti rappresentano la quantità di variazione nella risposta per ogni variazione di un'unità nel predittore (se gli altri vengono mantenuti costanti).
Questo è esattamente il punto: quando c'è un'interazione, non si può modificare un termine di un'unità mantenendo costanti gli altri termini a causa dell'interazione. Se si modifica il termine X di un'unità, anche il termine Y cambierà (se c'è un'interazione tra X e Y). Per questo motivo, mi è stato insegnato che non è utile riportare stime parametriche degli effetti principali quando ci sono termini di interazione significativi.
Oggetto: Segnalazione dei risultati del DOE per la pubblicazioneIl problema non è riportare i coefficienti, ma interpretare i risultati. Se un'interazione è significativa, è necessario prestare attenzione nell'interpretare i principali effetti coinvolti nell'interazione.
Oggetto: Segnalazione dei risultati del DOE per la pubblicazione@Ben_BarrIngh
Dove posso trovare maggiori informazioni su come realizzare i primi due grafici che mostri qui?
Oggetto: Segnalazione dei risultati del DOE per la pubblicazioneCiao @SaraA ,
Per il primo ho utilizzato uno strumento di creazione di grafici per tracciare i punti, poi ho utilizzato PowerPoint per disegnare la forma dei quadrati e dei cerchi nello stesso colore.
Per il secondo, puoi usare Fit Y by X dove X è il tuo "modello" e Y è la tua risposta, quindi ho eseguito un confronto delle medie con un test di Tukeys per visualizzare i cerchi di confronto.
Spero che sia d'aiuto!
BenOggetto: Segnalazione dei risultati del DOE per la pubblicazioneCiao Ben,
Grazie mille. Un'ultima domanda: come posso generare un grafico delle stime in scala dopo l'analisi REML? JMP non genera questo grafico per l'analisi di modelli misti (anche se fornisce le stime dei parametri, ma credo che le stime in scala o il grafico di Pareto siano più intuitivi).
Grazie
Sara
Oggetto: Segnalazione dei risultati del DOE per la pubblicazioneCiao @SaraA ,
Sì, l' entità del cambiamento che X1 può causare alla tua risposta può essere modificata in presenza di termini di interazione con X2 (ad esempio, mantenere X2 a un valore elevato può ridurre completamente X1), ma le stime dei parametri possono essere utilizzate per mostrare relazioni generali. Se nella tua discussione hai una descrizione sufficientemente dettagliata del tuo sistema e di come funzionano queste interazioni, le stime dei parametri potrebbero servire a fornire maggiori dettagli.
Grazie,
Ben
Oggetto: Segnalazione dei risultati del DOE per la pubblicazioneCiao @SaraA ,
Data la natura del metodo, REML si concentra sui componenti della varianza e (a differenza di metodi come i minimi quadrati) non esegue la standardizzazione (che è una fase di pre-elaborazione nel flusso di lavoro per la modellazione); c'è molta complessità aggiuntiva con modelli misti e nel tentativo di standardizzarli (si standardizza a livello globale o all'interno dei gruppi? Come si standardizza una variabile che è diversa tra due gruppi?).
Grazie,
Ben
