Ri: Alto RMSE nell'analisi DSDPerché dovresti aspettarti che la risposta sia distribuita normalmente se ci sono effetti attivi?
Ri: Alto RMSE nell'analisi DSDIntendo la distribuzione della risposta.
Ri: Alto RMSE nell'analisi DSDIntendi una distribuzione normale dei residui, giusto?
Felice che tu abbia trovato una soluzione!
Ri: Alto RMSE nell'analisi DSDSolo per dirti come abbiamo risolto il problema alla fine. Abbiamo provato diverse trasformazioni dei dati, in modo da ottenere una distribuzione più normale, con una varianza più costante nell'intero intervallo di risposta. Quando abbiamo analizzato la risposta trasformata, abbiamo potuto rilevare molti più effetti (effetti principali e di secondo ordine).
Ri: Alto RMSE nell'analisi DSDUna correzione dal mio post precedente: volevo dire che ripeteremo due volte la manche centrale, non la seconda (mi scuso per un po' di confusione).
Ad ogni modo, la corsa centrale dovrebbe coprire anche tutti i punti (avvertenze) che hai citato.
Dal momento che ripeteremo le esecuzioni centrali, speriamo che la variabilità delle esecuzioni centrali sia la migliore (la migliore delle 17 esecuzioni che possiamo ripetere) approssimazione della variabilità dell'intero progetto. Inoltre, speriamo che anche l'RMSE del nostro progetto diminuisca, poiché ci saranno più esecuzioni nel modello. Se il calo dell'RMSE sarà abbastanza grande da rilevare alcuni nuovi effetti, non dovremo stimare una varianza basata solo su 3 punti dati.
Ri: Alto RMSE nell'analisi DSDQuesto è un inizio. Un paio di precauzioni su queste esecuzioni ripetute: si presume che la variabilità sia costante nello spazio di progettazione (in altre parole, l'esecuzione n. 2 è rappresentativa di tutte le altre condizioni sperimentali). La variabilità delle esecuzioni ripetute cattura tutte le fonti di variabilità incontrate durante l'esecuzione del progetto iniziale (gli operatori sono cambiati? La strumentazione è cambiata? Le impostazioni sono cambiate?). Quanto sei a tuo agio nello stimare una varianza basata solo su 2 o 3 punti dati? Questo è essenzialmente quello che stai facendo.
Ri: Alto RMSE nell'analisi DSDSì, siamo consapevoli che anche le misurazioni potrebbero essere il problema. Ogni volta abbiamo eseguito almeno 3 ripetizioni di misurazione (che hanno mostrato un coefficiente di varianza relativamente basso) per ciascun campione. Abbiamo avuto alcuni problemi con l'analisi di diffrazione laser, che probabilmente ha aumentato l'RMSE in alcune risposte, ma anche l'RMSE nelle risposte che non includono l'analisi di diffrazione laser è un po' alto, ma non così tanto.
Ri: Alto RMSE nell'analisi DSDGrazie per le ottime idee. Abbiamo deciso di ripetere la seconda esecuzione due volte, quindi vedremo se la variazione è elevata anche in una esecuzione o solo nell'intero modello. Quindi aggiungeremo le nuove esecuzioni al modello e vedremo se RMSE è inferiore.
Ha senso per te?
Ri: Alto RMSE nell'analisi DSDUn commento finale che è un approccio diverso. Poiché hai un RMSE elevato, potresti voler condurre uno studio del sistema di misurazione. Forse l'alto RMSE è dovuto a un sistema di misurazione che potrebbe essere necessario migliorare prima. Potrebbe essere qualcosa da considerare prima di aggiungere ulteriori esecuzioni sperimentali.
Ri: Alto RMSE nell'analisi DSDVoglio anche ricordarti che puoi utilizzare il design personalizzato per aumentare il tuo esperimento iniziale se è possibile eseguire più esecuzioni. Prima hai detto che non hai le risorse per fare di più, ma voglio solo menzionarlo comunque nel caso in cui diventi possibile in seguito. Le nuove esecuzioni vengono aggiunte al DSD che hai già.
Ri: Alto RMSE nell'analisi DSDIl tuo modello è buono come può essere dato questo campione di dati e il processo oggettivo di selezione del modello (Fit Definitive Screening).
Potresti provare a ripetere alcune di queste condizioni per vedere se l'RMSE è davvero così alto. Forse invece hai alcuni dati storici per lo stesso processo che potrebbero essere rianalizzati per determinare l'RMSE. Potrebbe essere davvero alto e non necessariamente un artefatto del modello distorto.
Un'altra opzione, che rinuncia all'analisi Fit Definitive Screening, è Analizza > Fit modello > Varianza loglineare. Questa analisi adatta iterativamente due modelli convergenti: uno per la media e l'altro per la varianza. È possibile utilizzare questa analisi per vedere se uno dei fattori di progettazione è responsabile. Sfortunatamente, l'economia del DSD può precludere una buona analisi, ma vale la pena provarci.
Vedere Aiuto > Libri > Adattamento di modelli lineari. C'è un capitolo dedicato a questa analisi.
Ri: Alto RMSE nell'analisi DSDSì, hai formulato alcune ottime domande, che sostanzialmente rispondono alla mia domanda. Capisco cosa intendi.
Quindi sembra che il mio modello non sia stato costruito nel modo migliore possibile, quindi un grande RMSE. Riesco ancora a rilevare i fattori principali con la massima influenza sul modello, ma sfortunatamente non riesco a rilevare alcuna interazione del secondo fattore. Naturalmente, un'opzione è che non siano presenti, ma l'altra, più probabile, è che siano troppo piccole per essere rilevate con un RMSE così elevato.
Grazie ancora per il tuo aiuto.
Danijel
Ri: Alto RMSE nell'analisi DSDOvviamente, se sei stato in grado di aggiungere fattori falsi alla tua analisi, sei "autorizzato". I "risultati che (tu) ottieni sono ancora corretti e affidabili" ma cosa significano? Cosa rappresenta il fattore falso trasformato in fattore reale? Hai utilizzato questa colonna di progettazione per impostare i livelli dei fattori? (No.) Quali sono questi livelli di fattore? Perché dovresti includerlo nell'analisi?
È possibile aggiungere qualsiasi colonna alla matrice del modello e stimare il relativo parametro lineare purché questa colonna non venga confusa con la colonna utilizzata per stimare un altro termine nel modello. Se sono confuse, queste due colonne sono solo alias per la stessa colonna. Tale combinazione produce una singolarità nella matrice di proiezione per la regressione. Tale combinazione non è consentita. JMP tenta di stimare tutti i parametri che non sono confusi (fino al rango della matrice del modello) e azzera il resto.
Il motivo per cui il risultato è diverso è perché se includi esplicitamente un fattore falso nel modello, allora non è più un fattore falso nell'analisi e non viene più utilizzato per stimare l'RMSE come prima.
Ri: Alto RMSE nell'analisi DSDGrazie per la tua risposta e per il tuo impegno.
Ho una sola risposta, poiché ora mi sono chiari altri punti.
7. Sì, ha senso, matematicamente parlando. Semplicemente non so se sono autorizzato a farlo in Fit Definitive Screening (quindi, i risultati che ottengo sono ancora corretti e affidabili). Trovo strano che il risultato sia diverso, quindi quando non includo fattori falsi nella mia selezione, poiché Fit Definitive Screening calcola l'RMSE iniziale da fattori falsi in entrambi i casi.
Hai forse qualche spiegazione per questo?
Ri: Alto RMSE nell'analisi DSDHo appena perso la risposta quando ho fatto clic su Pubblica e ora devo partire per un viaggio, ma cercherò di recuperare rapidamente la mia risposta.
- Comprendi che la potenza è una funzione del significato, della varianza, della dimensione dell'effetto e della dimensione del campione. È improbabile che l'utilizzo dei valori predefiniti per RMSE e coefficienti fornisca un'analisi della potenza per una situazione specifica.
- Il tuo DSD dovrebbe essere in grado di trovare fino a sei effetti principali ad alta potenza se la loro dimensione dell'effetto è grande e ci sono pochi effetti di secondo ordine. Il mio commento precedente era una generalità. Potrebbe non essere molto valore in quanto dipende da così tanti attributi.
- Potresti anche includere i due solventi non acquosi e l'acqua come tre fattori di miscela (componenti) e modellarli direttamente. Non ho idea se l'uso della pompa peristaltica sia la causa del grande RMSE.
- Esecuzioni completamente randomizzate: controlla!
- Nessun problema con fattori esterni incontrollati - controlla!
- Il grande RMSE rimane inspiegabile - controlla!
- In generale, l'aggiunta di ulteriori termini al modello di regressione lineare riduce l'RMSE anche se questi termini non sono significativi. La somma dei quadrati attribuita a ciascun nuovo termine andrebbe altrimenti alla somma dei quadrati degli errori.
Ri: Alto RMSE nell'analisi DSDGrazie per la risposta esauriente e le spiegazioni. Mi sono stati molto utili. Cercherò di chiarire eventuali incertezze e rispondere alle domande che mi hai posto. Per evitare confusione, segnerò numericamente le risposte.
1. Nella sezione Evaluate Design ho inserito 0,05 per la significatività statistica, 1 per i coefficienti previsti e 1 per RMSE. Ho inserito questi valori prima degli esperimenti, poiché non ho ricevuto informazioni su quale RMSE o coefficienti previsti posso aspettarmi. Ho ottenuto la potenza 0,92 (vedi foto Valuta disegno sotto). Sono consapevole che tale potenza sarebbe il caso solo se RMSE fosse davvero intorno a 1, volevo solo dimostrare che il design sembrava buono prima degli esperimenti. Ovviamente, se inserisco i valori che ho ottenuto per RMSE e i coefficienti previsti, la potenza è molto inferiore (vedi foto Valuta il progetto 2 sotto).
2. Non lo so per certo, ma mi aspetto che siano attivi circa quattro effetti principali. Tuttavia, il signor Jones e il signor Nachtsheim hanno affermato in un articolo del 2016 (Bradley Jones e Christopher J. Nachtsheim (2016):
Design-Based Model Selection for Definitive Screening Designs, Technometrics), che nell'analisi del DSD con 6 fattori e 4 corse aggiuntive (utilizzando il nuovo approccio per l'analisi DSD) tutti e 6 i fattori principali potrebbero essere rilevati con la potenza di 0,99. Se guardo quel numero, non vedo il problema in molti effetti principali attivi. O mi sta sfuggendo qualcosa?
3. Sì, questo esperimento contiene componenti della miscela. Uno dei fattori è il rapporto tra volume non solvente e volume finale (nel volume finale abbiamo non solvente e acqua). Con la pompa peristaltica ho aggiunto la soluzione nel non solvente. Pensi che sarebbe meglio lasciare questo rapporto costante? Penso che questo potrebbe essere il motivo del grande RMSE. Tuttavia, non posso permettermi di fare molti altri esperimenti, quindi ho bisogno di attenuare questo problema (se è così), se è possibile.
4. Sì, questo esperimento è stato completamente randomizzato. Non ho difficoltà a cambiare i fattori, ho anche avuto un controllo relativamente buono dei fattori durante l'esperimento.
5. Sono consapevole che ci sono anche altri fattori che potrebbero influenzare la risposta. Tuttavia, ho cercato di controllare ogni fattore che potevo, quindi non vedo un grosso problema nel mio esperimento qui.
6. Hai ragione, che la corsa con il rendimento più alto è il valore anomalo. Questo è molto chiaro anche dai Residui Studentizzati (vedi foto Residui sotto). Tuttavia, quando guardo l'analisi residua delle altre risposte, il valore anomalo non è presente, ma l'RMSE è ancora grande. Quindi penso che ci debba essere un motivo in più per il grande RMSE.
7. Ho anche una nuova domanda. Mentre stavo giocando con l'analisi con Fit Definitive Screening, ho notato che l'RMSE è inferiore se includo fattori falsi nell'analisi. (vedi la foto Analisi con fattori falsi sotto. Sul lato sinistro ci sono le stime che ho ricevuto e sul lato destro c'è la selezione della risposta e dei fattori).Sono autorizzato a farlo?
Grazie.
Danijel
Ri: Alto RMSE nell'analisi DSDGrazie per l'attenta spiegazione della tua situazione e della tua domanda. Cercheremo di aiutarti in base alla tua spiegazione.
Sì, la più grande differenza tra l'esempio del tutorial e il tuo esperimento è l'RMSE. Questa differenza significa potenza inferiore. Significa che il T i rapporti per testare le stime dei parametri rispetto a zero saranno inferiori di un fattore 9,6 per stime equivalenti, e di conseguenza avranno valori molto più elevati P -valori. (Questa diminuzione di T rapporto o aumento di P -value è equivalente a una potenza inferiore.)
Quali valori sono stati immessi per significatività statistica (0,05), RMSE (1) e coefficienti previsti (1) per determinare la potenza? Vale a chiedere, per quale risultato è buono il potere? Qual è il potere che hai ottenuto per il tuo design?
L'RMSE è una stima della deviazione standard della risposta. È dipendente dal modello . Lo presuppone
- il modello di regressione lineare è corretto (imparziale)
- include solo l'errore casuale della risposta
- la varianza della risposta è costante sull'intero intervallo della risposta.
Se il tuo modello non include termini per effetti attivi (non casuali), questo contributo alla risposta verrà raggruppato con la stima di RMSE e gonfiata.
Tieni presente che la media e la deviazione standard delle risposte normalmente distribuite sono generalmente attributi indipendenti della risposta. Cioè, la deviazione standard (RMSE) non dipende dalla media. Le stime dei parametri sono per il modello della risposta media, quindi non puoi aspettarti nulla dall'RMSE in base all'entità delle stime dei parametri.
Rivediamo il principi fondamentali dello screening :
- Scarsità di effetti : ci sono molti potenziali fattori (ei loro effetti) ma, di fatto, la maggior parte sono inattivi (il parametro è zero).
- Gerarchia degli effetti : la maggior parte del cambiamento nella risposta è di primo ordine, il secondo effetto più è di secondo ordine e così via.
- Ereditarietà degli effetti : eventuali effetti di ordine superiore sono esibiti dagli stessi fattori che mostrano effetti di ordine inferiore.
- Proiezione del Design : il disegno limita la stima di tutti i parametri potenziali per correlazione ma la correlazione viene ridotta o eliminata man mano che i fattori inattivi ei loro effetti inattivi vengono rimossi dal modello.
Quanti dei sei fattori ti aspetti che siano attivi? Non dovrebbe essere più di due o forse tre, altrimenti qualsiasi progetto di screening fallirà.
I progetti di screening sono principalmente destinati a supportare modelli di primo ordine. (Lo screening non riguarda l'ottimizzazione dei fattori, ma solo lo screening per il vitali pochi fattori. Il DSD è speciale perché riduce la probabilità che potresti dover aumentare per supportare il modello più complesso necessario per l'ottimizzazione.) È probabile che le risposte di un processo chimico come la cristallizzazione mostrino effetti di secondo ordine come interazioni e non linearità. Questi effetti possono influenzare le stime dei parametri nel modello del primo ordine, sebbene un DSD, un tipo di progettazione alias ottimale, riduca al minimo tale correlazione.
Un paio di considerazioni conclusive:
- Questo studio include i componenti della miscela? Mi chiedo quali siano i solventi usati insieme. Tale condizione potrebbe richiedere un design diverso (design personalizzato).
- Questo esperimento è stato completamente randomizzato? Ciò significa che reimposti ogni fattore prima di ogni corsa. Un altro modo per chiedere è: hai difficoltà a cambiare i fattori? Tale condizione richiederebbe un design diverso (design a trama divisa).Se hai difficoltà a modificare i fattori e non randomizzi completamente l'esperimento, influenzerai l'RMSE. A sua volta, aumenterà anche il tasso di errore di tipo I dei test per i fattori difficili da modificare e aumenterà il tasso di errore di tipo II dei test per i fattori facili da modificare. Ciò potrebbe spiegare la mancanza di effetti significativi.
- Che dire degli altri fattori oltre ai sei che sono stati variati nell'esperimento? Hai identificato tutti i fattori di ogni risposta prima di selezionare i sei fattori per lo studio? Come sono stati controllati questi fattori esterni durante le corse? Gli effetti incontrollati e non spiegati contribuirebbero alla variazione casuale o, se fossero correlati con i livelli dei fattori nello studio, o contribuirebbe alla distorsione delle stime.
- Hai eseguito analisi residue? C'è un'indicazione di eventuali problemi di dati o violazioni delle ipotesi del modello di regressione lineare? L'analisi residua è più difficile con progetti economici che con set di dati più grandi ma comunque preziosi. Sembra che la corsa con il rendimento più elevato possa essere un valore anomalo. Questa corsa potrebbe mostrare un'influenza insolitamente elevata sulle stime. Potrebbe aumentare l'RMSE.
Questo è tutto quello che mi viene in mente al momento. Speriamo che altri esperti rispondano con più idee.
Perché l'RMSE è così alto in questa analisi DSD?CIAO,
Sono nuovo al DOE e al Definitive Screening Design, ecco perché ho alcune domande sull'analisi del DSD. Sto usando JMP 13.
Voglio trovare fattori significativi nel processo di cristallizzazione sferica. Ho fatto il Definitive Screening Design con 6 fattori su tre livelli, con quattro corse aggiuntive (2 fattori falsi). Sto misurando diverse risposte. La valutazione del progetto mi mostra che ho un buon potere statistico. Tuttavia, quando provo ad analizzare i risultati utilizzando Fit Definitive Screening, non ottengo nessuno o al massimo uno degli effetti principali significativi. Di conseguenza, non ottengo nemmeno effetti di secondo ordine significativi (vedi la foto aggiunta sotto, a destra). Penso che la ragione di ciò sia un RMSE molto alto. Stavo imparando come eseguire Fit Defintive Screening sull'esempio mostrato nel tutorial JMP (file Extraction 3, vedi foto aggiunta sotto, a sinistra). Quando ho analizzato l'esempio ho ottenuto gli stessi risultati mostrati nel tutorial. Ho anche notato che nell'analisi dell'estrazione 3 RMSE era molto più basso, sebbene le risposte in Estrazione 3 e nel mio esperimento fossero approssimativamente della stessa dimensione, poiché entrambe le risposte sono Resa.
Non capisco come sia possibile che la differenza nell'RMSE sia così grande. Se guardi la distribuzione nella trama dell'effetto principale, puoi vedere che la distribuzione nel mio esperimento è simile, se non un po' più ristretta, alla distribuzione in Extraction 3. Ho anche calcolato l'RMSE utilizzando lo strumento Fit Y by X, dove ho ottenuto un RMSE più grande in Extraction 3 (circa 20) rispetto al mio esperimento (circa 18). Ecco perché sembra che l'analisi con Fit Definitive Screening faccia la differenza.
Mi sto perdendo qualcosa?
Devo eseguire alcuni processi di preanalisi con i miei dati prima di Fit Definitive Screening?
O ho davvero un esperimento con un grande RMSE. Se si, è possibile rimediare?
Grazie.
Danijel
Progettazione di esperimenti
