Strumento Power Simulator (determinazione della potenza per un test con i CV dello studio di precisione esistente)Ciao a tutti,
La nostra pratica interna per l'esecuzione di studi di precisione su un test produrrà più CV per diversi componenti della varianza (ad esempio, giorno per giorno, pesata per pesata, ecc.). Per questo motivo, la domanda “possiamo utilizzare questi CV per determinare il potere statistico nei futuri progetti sperimentali?” spesso si presenta.
La risposta:
Tuttavia, non è facile. Marianne (MTOF) ha sviluppato un flusso di lavoro per accogliere un progetto sperimentale, integrare il progetto con i CV del test e simulare l'esecuzione dell'esperimento 1.000 volte. Da ciò, determiniamo quante volte ciascun effetto fisso è stato ritenuto statisticamente significativo al fine di calcolare la potenza per quell'effetto.
Sfortunatamente, eseguire questo processo manualmente richiede molto tempo (ed è molto facile commettere errori). Pertanto, ho lavorato per automatizzarlo.
Il componente aggiuntivo che ho allegato è ancora un prototipo, ma MTOF e io ci abbiamo giocato e crediamo che dovrebbe essere pronto per il test.
Quindi, come funziona?
Diciamo che eseguo uno studio di precisione su un nuovo test. In questo test, determiniamo che esiste un CV giornaliero del 4%, un CV da campionamento a campionamento del 3% e un CV da misurazione a misurazione del 2%.
Dopo un po' viene acquistata una seconda macchina. Vogliamo progettare uno studio rapido e di piccole dimensioni per vedere se la macchina originale e la nuova macchina producono risultati simili.
Creiamo il seguente semplice progetto sperimentale e vogliamo sapere se è "abbastanza buono":
("In un giorno, testare due campionamenti con 2 misurazioni per campionamento su ciascuna macchina")
Ora iniziamo:
- Avviare il componente aggiuntivo
- Apparirà una finestra che mostra tutte le tabelle dati attualmente aperte:
- Se il disegno sperimentale di interesse è attualmente aperto, selezionarlo dal menu e fare clic su OK.
- Se il file non è aperto, seleziona "Importa nuovo file" e quindi premi OK. Utilizzare Explorer per selezionare il file di interesse.
- Verrà avviata l'interfaccia principale, che consentirà di definire il modello da utilizzare:
-
- Per la tabella demo mostrata sopra, l'unico effetto fisso è "Macchina", quindi lo aggiungerò al modello
-
- I miei effetti casuali sono Giorno, Campionamento e Misurazione. Per prima cosa aggiungo l'effetto Day e Sampling:
-
- A causa del modo in cui è stata impostata la mia tabella, Giorno e Campionamento devono entrambi avere la loro nidificazione impostata correttamente:
-
- Ora usa il pulsante “Attiva/disattiva selezione casuale” per impostare Giorno e Campionamento su effetti casuali:
-
- Nella barra laterale "Definisci CV effetti casuali" appariranno due caselle per consentirti di impostare i CV per questi effetti casuali. Inserisco il 4% per il giorno e il 3% per il campionamento:
- Ora dobbiamo preoccuparci anche del CV “da misura a misura” e questa colonna non è stata aggiunta alla tabella dei dati di input. Poiché la misurazione è l'effetto casuale di livello più basso, verrebbe confuso con il residuo. Quindi, possiamo utilizzare "Crea nuova colonna residua" per creare una colonna per l'errore di misurazione e impostare il suo CV al 2%:
-
- Successivamente, seleziona quale colonna è la colonna di risposta (“Risultato”) e quindi fai clic su OK
-
- Verrà creata una nuova tabella dati in base alla tabella dati di input e "_PowerSim#" verrà modificato alla fine del nome file. Pertanto, non verrà apportato alcun danno al file originale.
- Uno script "Esegui simulazione" verrà incorporato nel nuovo file. Fare clic sull'icona per avviare una valutazione.
-
- Innanzitutto, seleziona l'effetto fisso in cui desideri rilevare una differenza. Per questo progetto, abbiamo solo una scelta (Macchina):
-
- Verrà visualizzata una casella nella barra laterale "Differenza da rilevare". Per impostazione predefinita, tutto sarà impostato su 100, che corrisponde alla media.
- Diciamo che voglio sapere se il mio progetto sperimentale avrà il potere di rilevare una differenza del 5% nel livello tra il tipo e la macchina. Per ottenere questo, cambio il valore per la Nuova Macchina su 105:
-
- Per impostazione predefinita, il valore alfa critico è impostato su 5%. Se lo si desidera, questo può essere modificato nella casella “Valore critico”. Sono soddisfatto del 5%, quindi premo OK.
- Ora aspettiamo che i modelli funzionino tutti. In futuro cercheremo di accelerare questo passaggio, ma per ora ci vuole circa un minuto per eseguirlo.
- Al termine, verrà visualizzato un popup con i risultati:
-
- Di conseguenza, la capacità di rilevare una differenza del 5% nella risposta con un alfa di 0,05 dovuta all'effetto “Macchina” è del 23,6%. Quindi, non un grande design. Puoi tornare indietro e regolare la differenza da rilevare e/o il valore alfa utilizzato, ma probabilmente è meglio realizzare un design più robusto.
- Questo era un esempio piuttosto semplice. Naturalmente possono essere utilizzati modelli ed esami più complicati:
-
Ci sono alcune funzionalità che non sono implementate (effetti fissi nidificati, interazioni diverse da Nominale*Continua) e lavoro che può essere fatto per aumentare eventualmente la velocità (ad esempio, passare a un sistema iterativo invece di stampare tutti i dati all'interno della tabella dati in anticipo ).
Per favore, informa me e Marianne se hai qualche domanda.
EDIT: è possibile trovare note sulla versione 3 Qui
Oggetto: Strumento Power Simulator (determinazione della potenza per un test con i CV dello studio di precisione esistente)Ho allegato la versione 3 di questo componente aggiuntivo al primo post.
Oltre alle tipiche correzioni di bug, ci sono due notevoli cambiamenti nella funzionalità.
In primo luogo, lo strumento non duplica più il progetto sperimentale mille volte (con il risultato che il foglio dati è grande 1000×[righe del disegno] righe). Farlo è stato utile per il test dei bug, ma siamo passati a un metodo iterativo in cui invece di eseguire 1000 modelli contemporaneamente, ora esegue un modello, registra il risultato, riconfigura le colonne di contributo casuale e quindi esegue il modello successivo.
Ciò non offre molto in termini di accelerazione del processo, ma ciò che fa è prevenire i blocchi/blocchi riscontrati quando sono stati utilizzati progetti sperimentali molto grandi.
In secondo luogo, lo strumento ora dispone di un'opzione per definire il "Trattamento degli errori":
Il trattamento "Errore normale" utilizza lo stesso errore distribuito normalmente delle versioni precedenti. Selezionando "Errore piastra microbica" le cose funzionano in modo leggermente diverso: (1) le colonne del contributo dell'errore avranno una distribuzione lognormale invece che normale, (2) la risposta sarà trasformata Log10 (quindi non è necessario selezionare "Risposta trasformazione log" nel menu casella di riepilogo "Seleziona colonna di risposta"), (3) la varianza dovrà essere definita in termini di deviazione standard anziché CV e (4) all'utente sarà richiesto di specificare il livello di risposta quando si esegue una nuova simulazione:
Questa funzionalità è stata introdotta per tenere meglio conto dei dati microbici delle piastre. La metodologia alla base di questa metodologia è ancora in fase di sviluppo attivo e l'implementazione dello strumento è stata controllata ma non completamente convalidata, quindi prendi qualsiasi risultato derivante dall'utilizzo di questo trattamento degli errori con le pinze. In caso di dubbi, consiglio di continuare a utilizzare "Errore normale" insieme a una risposta trasformata in registro per i dati della piastra come prima.
Oggetto: Strumento Power Simulator (determinazione della potenza per un test con i CV dello studio di precisione esistente)>Un istruttore ci aveva persino detto che il disegno a blocchi randomizzati per gli esperimenti era stato originariamente concepito appositamente per la scienza delle piante per aiutare a gestire i numerosi problemi con diversi livelli di qualità del suolo, disponibilità di acqua, ecc., nelle prove sul campo (i "blocchi" erano letteralmente miniappezzamenti quadrati fisici di colture nei campi). Non sono sicuro di quanto ci sia di vero in questo, però
Da dove pensi che provengano termini come trama divisa? 
Fisher ha progettato esperimenti per prove agronomiche sul campo e ha ideato ANOVA. E incoraggiamo decisamente i nostri collaboratori a organizzare i progetti di blocchi randomizzati lungo porzioni di campo "simili".Quindi crederei al tuo saggio istruttore.
Oggetto: Strumento Power Simulator (determinazione della potenza per un test con i CV dello studio di precisione esistente)Ma queste sono solo considerazioni generali: se vuoi sapere quale configurazione sarà più economica e fornirà la migliore potenza, utilizza la descrizione dettagliata del calcolo o il componente aggiuntivo di Adams
Oggetto: Strumento Power Simulator (determinazione della potenza per un test con i CV dello studio di precisione esistente)@jsdejmp
L'aggiunta di più repliche al livello più alto è in realtà anche più efficace se non si mantiene lo stesso numero di repliche al livello inferiore ma, come nel tuo esempio, si mantiene lo stesso totale (a condizione che l'impostazione sia nidificata come menzionato in precedenza) .
Posso dire con certezza che 10x5 è migliore di 5x10 indipendentemente dai CV! Se è annidato, quando si conta il totale 10x5 dà 10 prove e 50 trame, mentre 5x10 dà 10 prove e 50 trame. Quindi la variazione da trama a trama viene ridotta in entrambi i casi con un fattore 50, mentre la variazione da prova a prova viene ridotta con un fattore 10 o un fattore 5.
Se non è nidificato, ovvero la prova viene eseguita nello stesso posto 5 volte, quindi sono gli stessi 10 grafici che riutilizzi più e più volte, allora è una situazione diversa, ma non immagino che questo sia il modo in cui esegui il campo prove?
Oggetto: Strumento Power Simulator (determinazione della potenza per un test con i CV dello studio di precisione esistente)Ah, così ha più senso -- immagino che abbia detto la cosa giusta e io ho semplicemente ricordato male
Oggetto: Strumento Power Simulator (determinazione della potenza per un test con i CV dello studio di precisione esistente)@ABI
Penso che il tuo istruttore si riferisse al disegno a trama divisa, sviluppato per le prove sul campo di agronomia, da cui deriva il nome.
Oggetto: Strumento Power Simulator (determinazione della potenza per un test con i CV dello studio di precisione esistente)Felice di aiutare in ogni modo possibile.
Si noti che utilizziamo una trasformazione logaritmica per i dati delle piastre perché l'errore non è mai distribuito normalmente e la trasformazione è necessaria per approssimare una distribuzione normale.
Per inciso, sento sicuramente il tuo dolore per le questioni relative alle prove sul campo. Il mio lavoro universitario e di laurea era tutto sulla genomica vegetale, quindi ho combattuto quella battaglia (aspetta solo che qualcuno ti chieda di combinare i risultati della serra con i risultati della prova sul campo - dì semplicemente di no!). Un istruttore ci aveva persino detto che il disegno a blocchi randomizzati per gli esperimenti era stato originariamente concepito appositamente per la scienza delle piante per aiutare a gestire i numerosi problemi con diversi livelli di qualità del suolo, disponibilità di acqua, ecc., nelle prove sul campo (i "blocchi" erano miniappezzamenti quadrati fisici letterali di colture nei campi). Non sono sicuro di quanto ci sia di vero in questo, però
Oggetto: Strumento Power Simulator (determinazione della potenza per un test con i CV dello studio di precisione esistente)@ABI , grazie per questa spiegazione ben strutturata e la guida su come affrontare la progettazione dei tuoi esperimenti. Penso sicuramente di poter applicare questo sistema al nostro approccio sperimentale. Abbiamo lavorato per ottenere buone stime sui nostri CV, ma come hai detto tu, dobbiamo prima capire come interagiscono i nostri vari effetti casuali. Penso che dobbiamo fare ulteriori modelli per acquisire alcune di queste informazioni.
(A proposito, grazie per aver menzionato il motivo per cui una trasformazione del registro è utile durante l'acquisizione di CV; ne stavo appena parlando con MSQM in una SOP QC e non ero sicuro del motivo).
Oggetto: Strumento Power Simulator (determinazione della potenza per un test con i CV dello studio di precisione esistente)CIAO @MTOF ,
Risposta a #1 - Aggiungere altro al livello più alto è più efficace solo se manteniamo il numero di repliche al livello più basso. Considerando un vincolo di budget, la domanda è più vicina a "Dovremmo fare 5 prove x 10 ripetizioni o 10 prove x 5 ripetizioni". A questa domanda pratica se ne aggiunge una più astratta e altamente dibattuta: una prova individuale costituisce un intero esperimento o solo un singolo punto dati?Poiché nessuno dovrebbe disegnare Qualunque conclusioni terapeutiche da un singolo studio, ma chiaramente vi è un notevole costo progettuale e operativo per questo esperimento e i suoi dati dovrebbero avere un peso adeguato. (La tana del coniglio è ancora più profonda, poiché colture diverse hanno sensibilità di campo diverse e quindi CV diversi e quindi un numero ottimale diverso di prove e ripetizioni; e attualmente siamo anche interessati se diversi subappaltatori che eseguono le prove potrebbero anche avere diversi livelli di capacità di gestire un campo e misurare le risposte. Per non parlare del tempo e della variazione anno dopo anno nella stessa località. È facile sviluppare un atteggiamento di resa quando madre natura ostacola facilmente il nostro duro lavoro.)
Risposta a #2 - Grazie per aver chiarito ulteriormente questo aspetto.Non ero sicuro di poterlo affrontare in questo modo.
Oggetto: Strumento Power Simulator (determinazione della potenza per un test con i CV dello studio di precisione esistente)Ciao Jamel
Un'aggiunta alla risposta di Adams alla tua domanda "esiste un modo rapido per identificare quale aspetto di un progetto necessita di più campioni":
1. Aggiungere repliche a un livello "superiore" è sempre più efficace che aggiungerle a un livello inferiore (ma in genere è anche più costoso).
Questo perché le repliche al livello superiore forniscono anche repliche a tutti i livelli inferiori. Almeno con una configurazione gerarchica/nidificata come abbiamo realizzato per questo strumento e che presumo tu abbia anche nelle prove sul campo. Ad esempio, se attualmente la nostra configurazione è 2 giorni x 2 pesate x 3 piatti (totale 2 giorni, 4 pesate e 12 piatti) aggiungendo 1 giorno si ottiene un totale di 3 giorni, 6 pesate, 18 piatti.
2. La relazione tra i CV indica dove è più "necessario" aggiungere repliche.
Se il tuo CV da studio a studio è molto più grande del CV intra-esperimento, allora è necessario aggiungere più studi (l'aggiunta di più repliche all'interno di ogni studio contribuirà molto poco). Se il CV da prova a prova è molto più piccolo del CV intra-prova, allora sarebbe comunque efficace aggiungere più prove in quanto otterresti anche più repliche (appezzamenti di terreno o piante o qualunque sia la tua replica), ma probabilmente molto più economico ed altrettanto efficace aggiungere repliche all'interno dello studio.
Oggetto: Strumento Power Simulator (determinazione della potenza per un test con i CV dello studio di precisione esistente)Ciao Jamel,
Sì, puoi farlo (magari anche senza questo particolare strumento).Se si dispone dei componenti della varianza dell'effetto casuale per un test (da JMP o altro), tali valori dei componenti possono stimare il CV di una particolare configurazione della qualità del test.
Il modo in cui i componenti CV (cioè gli effetti) interagiscono tra loro è probabilmente più importante del loro valore percentuale. Per il tuo esempio, più sedi sono probabilmente più importanti di più rappresentanti. In effetti, potrebbe essere possibile che le ripetizioni all'interno della posizione non siano affatto vere repliche e siano più vicine alle ripetizioni del campione rispetto alle misurazioni replicate effettive (e quindi meno utili, ma, senza sapere di più sull'esperimento, Non posso davvero parlare di questo).
Analizziamo quindi un esempio di cui mi occupo spesso: i test su micropiastre.Supponiamo di avere tre componenti CV: gli effetti casuali della variazione giornaliera, la variazione da pesata a pesata e la variazione da placcatura a placcatura.
Nella progettazione del nostro test, abbiamo questi tre componenti CV con la seguente nidificazione:
- Giorno&Casuale
- Pesatura[Giorno]&Casuale
- Piatto[Giorno,Pesata]&Casuale
Quindi ogni giorno di placcatura ottiene X quantità di pesate (sottocampionamenti) e ogni pesata riceve Y quantità di piastre.
Successivamente, dopo aver eseguito uno studio per determinare la precisione, otterresti i valori del componente di varianza dalla tabella REML e i loro CV corrispondenti (ovvero, se la risposta è stata trasformata in logaritmo, il CV del componente di varianza è uguale al "Componente di varianza Sqrt" campo nella tabella REML. Se non trasformato, è uguale al componente di varianza sqrt dalla tabella REML/Media di risposta dalla tabella Riepilogo dell'adattamento).
Supponiamo quindi di avere un CV giornaliero del 5% (componente var di 0,0025), un CV da pesata a pesata del 10% (var comp di 0,01) e un CV da placcatura a placcatura di 8 % (componente var di 0,0064).
Se sommiamo tutti e tre i componenti, otteniamo un valore totale del componente di varianza pari a 0,0189, che si traduce in un CV del 13,7% (sqrt[0,0189]) se vengono effettuati solo un giorno, una pesata e un piatto.
A causa della strategia di nidificazione delineata sopra, il calcolo del CV di popolazione previsto per un'impostazione di qualità in questo test seguirebbe il seguente calcolo:
Quindi in Excel è semplice trasformarlo in una formula e compilarlo per provare diverse combinazioni, oppure farlo in JMP creando una colonna formula.
Esempio:
Sopra abbiamo tre modelli che hanno ciascuno solo 5 piastre totali. Si può vedere che una configurazione di 5 giorni×1 pesata×1 piatto si traduce in un CV molto inferiore rispetto a un design di 1 giorno×1 pesata×5 piatti, nonostante la variazione giornaliera abbia il CV dei componenti più basso.
E poi puoi giocare con altri progetti per capire cosa è realisticamente migliore:
Quindi ecco tre progetti, ciascuno con 20 piastre e valori CV abbastanza vicini.Diventa quindi una conversazione su quale configurazione sia più fattibile/conveniente in termini di costi. Potresti anche utilizzare lo strumento Risolutore in Excel con alcune regole per aiutarti se si tratta di un mucchio di ipotesi e verifiche.
Indipendentemente da ciò, sarai in grado di valutare se più sedi o più rappresentanti all'interno di una sede sono utili, e approssimativamente in che misura (ad esempio, qual è la variazione nel CV tra l'aggiunta di un'altra sede o l'aggiunta di altre dieci ripetizioni a ciascuna già posizione esistente?).
Ora, questo particolare strumento è stato costruito perché i test su micropiastra sono sempre imprecisi e molti microstudi hanno l'obiettivo desiderato di affermare che "non c'è differenza tra X e Y" (cioè, non c'è differenza tra agar tipo X e agar tipo Y ). Tuttavia, se l’esperimento non avesse la potenza sufficiente per trovare effettivamente una differenza statisticamente significativa, potremmo finire per concludere che un’alterazione di un test ( cambiare tipo di agar ) non ha alcun effetto quando in realtà lo fa. Il che è una cosa molto brutta.
Tuttavia, se i falsi negativi non rappresentano un grosso problema per il tuo esperimento, potresti non aver bisogno di questo particolare strumento. Se pensi di averne bisogno, fammi sapere: necessita di qualche ottimizzazione in modo da non causare il blocco di JMP su set di dati molto grandi, quindi se lavori con un set di dati di grandi dimensioni darò la priorità a questo tipo prima dell'ottimizzazione
-Adamo
Oggetto: Strumento Power Simulator (determinazione della potenza per un test con i CV dello studio di precisione esistente)@ABI , @MTOF , utilizzando i valori forniti negli esempi e nello strumento, esiste un modo rapido per identificare quale aspetto di un progetto necessita di più campioni? Ad esempio, nel primo esempio fornito, aggiungere più misurazioni in più giorni migliorerebbe la potenza più che aggiungere misurazioni in un giorno (poiché il CV è 4% contro 3%)? L'effetto con CV più alto indica che è lì che dovresti caricare più misurazioni?
Per le prove agronomiche sul campo, in cui potremmo avere 10 prove con 5 repliche di ciascun trattamento all'interno della prova, possiamo calcolare la potenza complessiva utilizzando l'errore complessivo da un insieme di dati.Per un'analisi della potenza in stile JMP, i dati aggiuntivi, indipendentemente dalla loro provenienza, da più sedi o da più rappresentanti, vengono trattati allo stesso modo. Tuttavia, la realtà è che esistono differenze nella variabilità da sito a sito e nella variabilità all'interno del sito (rep).Possiamo avere più sedi ($$) o più rappresentanti all'interno di una sede ($). Personalmente preferisco più sedi perché più rappresentanti in un campo ci darebbero solo maggiore fiducia in quel campo; più sedi ci consentono di essere "più sicuri" che le differenze di trattamento osservate non siano eccessivamente ponderate da nessun luogo. I vostri strumenti possono aiutarmi a risolvere questo problema?
Sto immaginando di creare algoritmi più intelligenti per la progettazione sperimentale che soppesino da un luogo all'altro e la varianza all'interno di un luogo e lo ottimizzino entro un budget specifico.Ad esempio, "Abbiamo $X per eseguire Jumpstart sul mais... qual è il modo migliore per distribuire il numero di posizioni e ripetizioni?"
Oggetto: Strumento Power Simulator (determinazione della potenza per un test con i CV dello studio di precisione esistente)Ciao a tutti,
Ho corretto un bug che causava un arresto anomalo del caricamento in progetti sperimentali molto grandi e l'ho allegato al primo post. Tieni presente che la metodologia attualmente utilizzata non è ancora ottimizzata per la velocità e che l'esecuzione delle 1000 simulazioni richiederà molto tempo su progetti di grandi dimensioni (a volte causando anche il blocco/blocco di JMP se sono sufficientemente grandi). Ho alcune idee su come velocizzare lo strumento, ma MTOF e io abbiamo alcune idee su come migliorare l'applicabilità delle distribuzioni utilizzate per i nostri effetti casuali, nonché una revisione generale del modo in cui Novozymes affronta i dati basati su piastre (che è il motore principale dell'esistenza di questo strumento). Pertanto, nell’immediato futuro, i miglioramenti delle funzionalità avranno la priorità rispetto alla velocità.
Grazie!
