Perché la potenza del mio design della miscela è così bassa, anche con una dimensione dell'effetto di 20 deviazioni standard?Ciao a tutti,
Gradirei qualsiasi consiglio.Sto aiutando uno scienziato della mia azienda a progettare un esperimento di miscela con 5 ingredienti.Desideriamo misurare gli effetti principali e le interazioni del 1° ordine.
Ho chiesto allo scienziato di fornire i minimi e i massimi per le concentrazioni degli ingredienti, la deviazione standard della precisione del test e di stimare la dimensione dell'effetto dell'ingrediente dominante.Mi affido a Power per decidere quante esecuzioni sono necessarie.La dimensione dell'effetto dell'ingrediente dominante è di circa 20 deviazioni standard.Trovo che per 30 corse, la potenza per questo ingrediente sia solo 0,168.Per 60 esecuzioni, è 0,33.
Una dimensione dell'effetto di 20 deviazioni standard è ovviamente molto grande, quindi non capisco perché la Potenza sia così bassa per questo caso.
Ho studiato ulteriormente simulando i risultati per 5 istanze della variabile di risposta con il coefficiente e la deviazione standard appropriati e l'ingrediente con la dimensione dell'effetto grande è statisticamente significativo (p <0,001) in tutti e 5 i casi.
Cosa posso fare?Non sono sicuro di fidarmi del calcolo della potenza per questo caso.Mi sto scontrando con una limitazione del calcolo della potenza?Come posso fornire indicazioni sul numero di corse richieste?
Gli obiettivi dello scienziato per la progettazione sono perfettamente ragionevoli e mi sento frustrato di non potergli dare la guida di cui ha bisogno.
Grazie molto!Ho allegato uno screenshot della potenza, del design .jmp e dell'output di testo dei modelli con le risposte simulate, se sei propenso a dare un'occhiata.
DOERe: Perché la potenza del mio design della miscela è così bassa, anche con una dimensione dell'effetto di 20 deviazioni standard?Quando si ridimensionano i design delle miscele, potresti voler fare come consiglia Brad e considerarli allo stesso modo in cui faresti un progetto di superficie di risposta per ottimizzare le tue risposte. In tal caso, considera l'utilizzo di frazione dello spazio progettuale (FDS) per verificare che il tuo esperimento sia stato dimensionato sufficientemente per consentirti di prevedere con precisione le tue risposte medie, come faresti per un progetto RSM.
Le interazioni tra i componenti delle formulazioni o gli ingredienti nei modelli di miscela sono in effetti miscele: due componenti, una miscela in due parti degli ingredienti, tre componenti, una miscela in tre parti e così via. Queste interazioni o miscele tra i tuoi componenti causano una curvatura nella risposta, motivo per cui non vedi termini quadratici puri in un Scheffe modello. Quando includi la fusione, stai spesso tentando di costruire un modello per cercare la formulazione ottimale nello stesso modo in cui potresti cercare un ottimo risultante da un esperimento di superficie di risposta che coinvolge fattori di processo. Pertanto, utilizzare il grafico FDS per valutare la capacità del progetto della miscela come si farebbe se si impostasse una superficie di risposta. Per tutte le buone ragioni che tutte le brave persone hanno menzionato in questo thread (ad esempio, multicollinearità e VIF in aumento), il calcolo della potenza non è solo inappropriato per gli obiettivi della superficie di risposta, ma anche per i progetti di miscele.
Re: Perché la potenza del mio design della miscela è così bassa, anche con una dimensione dell'effetto di 20 deviazioni standard?Dovresti pensare a un esperimento di miscela come a un esperimento di superficie di risposta piuttosto che a un esperimento di screening. A causa delle correlazioni intrinseche tra gli effetti principali e gli effetti principali con le interazioni a due fattori dovute al vincolo della miscela, le stime dei coefficienti sono praticamente prive di significato. Pertanto è molto difficile fare la selezione del modello con esperimenti di miscela. Una possibilità è prendere in considerazione la rimozione di tutte le interazioni a due fattori come gruppo. Se la somma dei quadrati di regressione non diminuisce in modo significativo, puoi rimuovere tutti questi effetti. In generale, la rimozione degli effetti individuali è di dubbia utilità.
Tuttavia, le varianze di previsione per le nuove risposte all'interno della regione di sperimentazione sono generalmente piuttosto basse, specialmente quando la varianza dell'errore non è grande. Quindi, puoi fare affidamento sulle previsioni e scegliere una nuova impostazione operativa basata sulla corrispondenza della risposta desiderata.
Re: Perché la potenza del mio design della miscela è così bassa, anche con una dimensione dell'effetto di 20 deviazioni standard?Davvero ottimi consigli sia da Mark che da Dan! Il punto chiave dei design delle miscele (o di qualsiasi strategia di progettazione di ottimizzazione) è, in teoria, che hai già escluso variabili non importanti (forse attraverso più iterazioni, a partire da impostazioni di livello in grassetto) e ora stai cercando di ottimizzare una (o probabilmente più) risposta variabili. La significatività statistica (e le relative statistiche) non sono più così importanti. Tipicamente, i coefficienti vengono confrontati tra loro per determinare l'importanza relativa, tuttavia negli esperimenti di miscela, l'ordine del termine influisce sull'importanza relativa.Anche X 1 X 2 non è interpretato come un'interazione, ma come una relazione di fusione non lineare (la penso come un allontanamento dal lineare).
Re: Perché la potenza del mio design della miscela è così bassa, anche con una dimensione dell'effetto di 20 deviazioni standard?La codifica pseudocomponente renderà gli intervalli il più ampi possibile, ma potrebbe comunque non essere molto ampio. Puoi fare così tanto solo per intervalli ristretti. È molto probabile che la modellazione non sia in grado di distinguere tra un modello lineare puro (per due componenti: Y=B1*X1 + B2*X2) e un modello quadratico puro (Y=B11*X1*X2). Non è possibile determinare quali effetti nel modello sono reali perché sono correlati e sembrano estremamente simili, specialmente nell'intervallo scelto. Quindi, bassa potenza.
Re: Perché la potenza del mio design della miscela è così bassa, anche con una dimensione dell'effetto di 20 deviazioni standard?Grazie per tutta l'attenzione alla mia domanda!
JMP codifica le variabili come pseudo-componenti sottraendo il minimo. Ho pensato che avrebbe risolto i problemi relativi alla gamma ristretta.Re: Perché la potenza del mio design della miscela è così bassa, anche con una dimensione dell'effetto di 20 deviazioni standard?Alcuni punti in più da aggiungere a tutti i grandi consigli di Mark. La bassa potenza in una formulazione è in genere causata da un intervallo di fattori ristretto, il che è vero in questo caso. Inoltre, il concetto di potere in un esperimento misto è difficile da riflettere. La potenza è la probabilità di rilevare un effetto reale. Se X3 ha un effetto, non ha senso che gli altri fattori (almeno in combinazione) abbiano un effetto visto che devono cambiare rispetto a X3? Le persone spesso pensano al potere come se i fattori fossero indipendenti quando non lo sono.
Infine, ricorda che i termini a due vie sono termini quadratici nel modello di miscela di Scheffe e descrivono la curvatura lungo il bordo della finestra di sperimentazione. Lungo quel bordo, in un caso non vincolato, potresti avere una forma simile a questa:
Questo è davvero un grande effetto. Tuttavia, poiché stai limitando l'intervallo a (approssimativamente) da 0 a 0,1, stai davvero stimando questa forma:
che non sembra molto meglio, anche se ingrandito:
Quello che sembra un grande effetto, potrebbe non essere così grande come pensi a causa dell'interazione con altri fattori e della portata limitata. In altre parole, il modello avrebbe difficoltà a distinguere tra un modello lineare puro e un modello quadratico puro: sono indistinguibili in questo intervallo ristretto. La replica da sola non risolverà adeguatamente questo tipo di problema.
Quindi, la potenza è una buona cosa, ma in molti esperimenti di mistura l'attenzione è più concentrata sulla previsione della risposta. Come ha detto Mark, puoi ottenere ottimi modelli predittivi anche con bassa potenza.
Re: Perché la potenza del mio design della miscela è così bassa, anche con una dimensione dell'effetto di 20 deviazioni standard?In genere, ma non sempre, eseguiamo esperimenti di miscela per ottimizzare una formulazione di qualche tipo rispetto ai componenti dello schermo. Non ci interessa molto il potere. Invece, siamo interessati alle prestazioni di previsione del modello che è possibile con un progetto candidato. Anche così, questa performance non sarà buona come siamo abituati con fattori non vincolati o indipendenti.
Non c'è niente di nuovo nel tuo caso. Prima non eri a conoscenza del problema o della sua origine. Abbiamo utilizzato con successo tali design per decenni, nonostante la correlazione per trovare le migliori miscele.
Raccomando " Strategie per lo sviluppo di formulazioni: una guida passo passo utilizzando JMP " di Ronald Snee e Roger Hoerl come riferimento, nel caso ne avessi bisogno. Questa raccomandazione non è un'approvazione poiché ci sono altri eccellenti libri di testo sugli esperimenti di miscela, ma questo è rigoroso e pratico.
Re: Perché la potenza del mio design della miscela è così bassa, anche con una dimensione dell'effetto di 20 deviazioni standard?Grazie mille Marco per la risposta dettagliata. È un sollievo avere una guida.
Ho usato un coefficiente di "200" per Ingredient3 sia per il calcolo della potenza che per le simulazioni (e un RMSE di 1). Poiché Ingredient3 varia da circa 0 a circa 0,1 nel progetto, ho ritenuto che ciò produca una dimensione dell'effetto di circa 20 deviazioni standard (200 * 0,1).
Dal mio punto di vista ingenuo, ho impostato il calcolo della potenza e le simulazioni in modo coerente. Quando inserisco i dati simulati, l'RMSE dei modelli è di circa 1 e l'intervallo della risposta è di circa 0 - 20, quindi sembra ancora oscillare. C'è un errore in questo modo di pensare?
Tornando al problema principale... Ti viene mostrato che c'è molta correlazione tra le variabili e questo gonfia la varianza nelle stime. Questo significa che questo disegno della miscela con 5 ingredienti, effetti principali e interazioni del primo ordine è impossibile da stimare anche con 60 prove?
Ho un piano di riserva per utilizzare solo un modello con effetti principali per stimare la potenza e, una volta raccolti i dati, considerare qualsiasi stima delle interazioni un "bonus". Cosa ne pensi di questo? È troppo disfattista?
Grazie molto. Apprezzo molto l'intuizione.Re: Perché la potenza del mio design della miscela è così bassa, anche con una dimensione dell'effetto di 20 deviazioni standard?Ecco la mappa dei colori sulle correlazioni che risultano dall'utilizzo del disegno con 30 prove.
Questa correlazione gonfia la varianza delle stime come mostrato nello schema di Estimation Efficiency:
Le tue simulazioni utilizzano un effetto relativo di 400 deviazioni standard, non 20. Ho usato un coefficiente di 10 per corrispondere a un effetto di dimensione 20. JMP Pro fornisce una funzione incorporata per simulare i dati in modo molto semplice e produrre rapidamente risultati per ogni ricampionamento, come la colonna Stime dallo schema Stime dei parametri in Adatta ai minimi quadrati. Ecco il risultato per la stima dell'Ingrediente 5 da 2500 simulazioni.
Ho allegato la tabella della simulazione in modo che tu possa esplorarla da solo.
Un altro aspetto della progettazione e della modellazione delle miscele da tenere a mente è che JMP verifica l'ipotesi nulla che il parametro sia 0. Tale test ha senso nel consueto contesto del modello lineare senza vincoli tra i predittori. Non è semplicemente un modello senza termine di intercettazione. L'intercetta fa parte delle stime per gli effetti lineari. Quindi il test per i parametri lineari dovrebbe essere contro l'ipotesi nulla che il parametro sia la risposta media.
Re: Perché la potenza del mio design della miscela è così bassa, anche con una dimensione dell'effetto di 20 deviazioni standard?Grazie per la risposta! Capisco come la multicollinearità possa ridurre la potenza di progetto, ma questo non dovrebbe influenzare anche il coefficiente di regressione nei modelli dei miei dati simulati? Perché la multicollinearità è stata così dannosa per il Potere, ma non per i coefficienti di regressione?
Re: Perché la potenza del mio design della miscela è così bassa, anche con una dimensione dell'effetto di 20 deviazioni standard?Il vincolo sulle componenti della miscela di sommare a 1 introduce correlazioni tra le stime dei parametri. Questa correlazione gonfia gli errori standard delle stime dei parametri, il che a sua volta riduce la potenza. Se tu...
- usa una somma < 1,
- limitare l'intervallo dei componenti con un limite inferiore > 0 o un limite superiore < 1,
- includere vincoli lineari ai componenti,
- includere termini di ordine superiore nel modello,
la correlazione è maggiore e gli effetti più pronunciati.
Esaminare la mappa dei colori sulle correlazioni nello schema di valutazione del progetto.
