Verifica dell'ordine di esecuzione casuale e della validità del progetto in JMP DOE
Ciao a tutti,
Attualmente sto lavorando con un Design of Experiments (DOE) creato in JMP e sono interessato a valutare la qualità dell'ordine di esecuzione randomizzato. Sebbene JMP randomizzi automaticamente la sequenza di esecuzione durante la generazione del design, vorrei valutare oggettivamente l'efficacia di tale randomizzazione.
In particolare, vorrei sapere se JMP fornisce funzionalità integrate o flussi di lavoro consolidati per:
- rilevare tendenze, modelli sistematici o derive nella sequenza di esecuzione,
- identificare il clustering o la distribuzione non uniforme dei livelli dei fattori,
- eseguire test statistici formali di casualità (ad esempio, test di esecuzione, test di autocorrelazione o di indipendenza),
- o quantificare in altro modo quanto l'ordine di esecuzione si avvicini alla vera randomizzazione.
Se JMP non offre un metodo diretto per questo tipo di valutazione, esistono script JSL, componenti aggiuntivi o approcci di best practice consigliati per valutare la casualità nell'ordine di esecuzione DOE?
Inoltre, mi interessa sapere se JMP fornisce strumenti per verificare che l'integrità e le proprietà statistiche del disegno sperimentale siano preservate dopo aver riordinato manualmente le esecuzioni.
Grazie in anticipo per i vostri suggerimenti.
BayesKnight
Progettazione degli esperimentiRe: Verifica dell'ordine di esecuzione casuale e della validità del progetto in JMP DOECiao @BayesKnight ,
Benvenuti nella Community!
Vedo almeno due opzioni che possono aiutarti a rilevare le tendenze di risposta dovute a una possibile mancanza di randomizzazione o a una sensibilità temporale nelle opzioni di Model Fit :
- Opzione grafica: Traccia il residuo per riga : questo grafico può aiutarti a individuare modelli che risultano dall'ordinamento delle righe delle osservazioni.
- Opzione di test statistico: Test di Durbin-Watson : statistica per verificare se i residui presentano autocorrelazione di primo ordine. Appropriato solo se le righe sono in ordine temporale (esperimenti eseguiti nello stesso ordine della tabella dati).
Potresti avere anche altre opzioni grafiche o statistiche guardando i grafici di controllo (valuta se la ripartizione dei livelli dei fattori segue un trend o meno grazie ai grafici di controllo e alle regole di Westgard ) e le opzioni di analisi delle serie temporali. Puoi anche verificare attraverso il clustering gerarchico che il clustering dei punti non sia sbilanciato o crei gruppi ordinati di righe. Infine, puoi anche verificare se ci sono correlazioni significative tra i fattori e l'ordine delle righe utilizzando la piattaforma Multivariato .
La valutazione del design tramite la piattaforma Valutare il design non tiene conto dell'ordinamento delle righe nelle diverse valutazioni. Se si sospetta un possibile trend temporale durante l'esecuzione del design e si desidera rendere la ripartizione dei livelli dei fattori robusta a qualsiasi trend temporale, è possibile consultare i seguenti post:
https://community.jmp.com/t5/RD-Blog/How-to-create-an-experiment-design-that-is-robust-to-a-linear/ba-p/30138
Covariate in ordine definito nella progettazione personalizzata
Spero che questa risposta ti possa aiutare,
Re: Verifica dell'ordine di esecuzione casuale e della validità del progetto in JMP DOECiao @Victor_G ,
Grazie mille per la calorosa accoglienza e per le informazioni fornite. Vorrei chiarire che il mio interesse principale è valutare la qualità del sequenziamento randomizzato prima dell'esecuzione dell'esperimento . Una volta raccolte le risposte, diventa troppo tardi per affrontare potenziali problemi causati da un sequenziamento non casuale. Esiste un modo per valutarlo?
Re: Verifica dell'ordine di esecuzione casuale e della validità del progetto in JMP DOENel tuo post originale, volevi " quantificare quanto l'ordine di esecuzione si avvicini alla vera randomizzazione".
Dimmi come si presenta la vera randomizzazione e probabilmente potrei trovare un modo per quantificare quanto ci sono vicino.
In definitiva, la randomizzazione delle esecuzioni del DOE è come una polizza assicurativa contro fonti di errore sconosciute/impreviste che potrebbero essere correlate al tempo o all'ordine in cui vengono condotti gli esperimenti. Tali fonti di errore, se presenti, si manifesterebbero nei dati di risposta raccolti, ed è per questo che @Victor_G ha fornito questa informazione.
Finché si utilizza un generatore di numeri casuali affidabile (e JMP ne ha alcuni affidabili), qualsiasi schema casuale è in genere appropriato. Situazioni specifiche potrebbero indicare che NON lo è, ma è necessario conoscerle.
Ad esempio, supponiamo che un'apparecchiatura commetta sempre un errore al quarto pezzo prodotto. In tale situazione, un pattern casuale valido potrebbe semplicemente impostare uno dei fattori al valore massimo ogni quarta volta. Per un progetto con 8 prove, ciò sarebbe molto plausibile. Ma ciò influenzerebbe sicuramente i risultati. Non lo sapreste finché non condurreste l'analisi e, soprattutto, quando VERIFICHERESSI i risultati. Ho visto qualcosa di simile accadere nel mondo reale nonostante un pattern casuale "valido".
Infine, l'analisi statistica e le proprietà di cui si chiede conto presuppongono che i termini di errore del modello siano indipendenti e distribuiti in modo identico. Riordinare manualmente le esecuzioni di un DOE non dovrebbe influire su questo aspetto. In effetti, non è nemmeno necessario randomizzare, se si sa che ogni esecuzione è realmente indipendente. La maggior parte delle persone randomizza per fungere da polizza assicurativa contro quelle fonti di errore sconosciute (come menzionato sopra). Se lo spostamento manuale delle esecuzioni di progettazione influisce sull'indipendenza, allora la progettazione (e l'analisi) dovrebbero tenere conto di queste caratteristiche temporali.
Spero che queste informazioni siano utili. E ricordate, tutti gli esperimenti devono essere verificati e anche la sequenza 1, 2, 3, 4, 5 è un possibile schema casuale!
Re: Verifica dell'ordine di esecuzione casuale e della validità del progetto in JMP DOEOffro una prospettiva diversa. Esistono numerose "tecniche" per valutare l'efficacia della strategia sperimentale, dopo l'esperimento. Suggerisco di dedicare più tempo alla pianificazione. Credo che la randomizzazione nella sperimentazione sia una tecnica per evitare che un fattore non identificato e non testato (lo chiamerò rumore) venga confuso con un fattore dell'esperimento. Credo che possiamo essere più efficaci. Quindi, dove va a finire questo effetto rumore? Volete saperne di più su questo effetto rumore? L'uso della randomizzazione impedisce l'assegnazione (Shewhart). Voglio saperne di più sul rumore. Quale rumore è significativo? Come introduco il rumore nell'esperimento? Come essere robusti al rumore. Sono d'accordo con GEP Box:
"Blocca ciò che puoi, randomizza ciò che non puoi".
Con questo intende dire che se si riesce a identificare il rumore, confonderlo con il blocco è più efficace della randomizzazione. È assegnabile. Per il rumore che non si riesce a identificare (non so perché), si può randomizzare.
Suggerisco un paio di articoli:
Youden, WJ, Randomizzazione e sperimentazione, Technometrics, Vol. 14, n. 1, febbraio 1972
Hwan, Marilyn (2000), " Randomizzare o non randomizzare, questo è il problema ", Newsletter della divisione statistica ASQ , Vol. 17, No. 1, 26
Re: Verifica dell'ordine di esecuzione casuale e della validità del progetto in JMP DOECiao @BayesKnight ,
Oltre a quanto già ampiamente affermato da altri, vorrei suggerire un paio di altre riflessioni da tenere in considerazione.
1. Come si prevede di quantificare l'ordine DOE PRIMA di eseguire l'esperimento? Se le esecuzioni dipendono dallo stato di un fattore (stato del campione, apparecchiatura, temperatura del forno o altro che non si considera nel DOE), questo verrà visualizzato nei dati, ma solo DOPO aver eseguito tutte le esecuzioni sperimentali e potrà essere valutato come discusso in precedenza.
2. Se si desidera davvero testare la casualità di un DOE in anticipo, è possibile generarne centinaia o migliaia e, se si hanno esecuzioni da 1 a 20, è possibile raccogliere statistiche sulla frequenza con cui viene selezionata ogni esecuzione unica. Se si generano abbastanza DOE, non si dovrebbe osservare alcun pattern nel processo di selezione. Ma allora, quale DOE si sceglie? Qual è il più casuale? Si potrebbe impostare uno script JSL per farlo e non dovrebbe richiedere molto tempo. Naturalmente, si dovrebbe prestare molta attenzione a come si definisce il DOE in modo da non avere fattori nascosti che possano comprometterlo. Anche se si effettuasse questa analisi, non si sarebbe mai in grado di tenere conto di alcuna variabile nascosta che influenza l'ordine di esecuzione.
3. Una volta completato il DOE, ci sono diversi modi per valutare la casualità delle esecuzioni, come già accennato (il residuo per riga è un ottimo punto di partenza). Vorrei anche sottolineare che è possibile aggiungere una colonna che rappresenti l'"ordine di esecuzione" e includerla nell'analisi per determinare se esiste una dipendenza statisticamente significativa dei risultati dall'ordine di esecuzione. Si potrebbe anche includere un "fattore nullo" (informatevi sulla convalida automatica in JMP: è disponibile un codice JSL, ma non è una funzionalità integrata) che sia un fattore completamente casuale, e qualsiasi fattore che risulti statisticamente inferiore o ugualmente importante di questo fattore nullo può essere ignorato.
La pianificazione preliminare è fondamentale e spesso finisce per occupare una percentuale maggiore del tempo dedicato alla discussione. Un DOE ben pianificato richiederà meno tempo per l'analisi rispetto a uno mal pianificato e, inoltre, si otterranno più informazioni in tempi più rapidi. A questo proposito, considerate aspetti come: c'è motivo di pensare che l'ordine sia importante e, in caso affermativo, perché; da dove proviene; e come possiamo tenerne conto nella nostra progettazione? Quali altri fattori potrebbero influenzare i risultati e possiamo tenerne conto? Da dove proviene il rumore nel nostro segnale? Come possiamo minimizzare il rumore e/o tenerne conto nel DOE?
Spero che questo ti aiuti!
DS
Re: Verifica dell'ordine di esecuzione casuale e della validità del progetto in JMP DOECiao @Dan_Obermiller ,
Grazie per la tua risposta dettagliata.
Hai assolutamente ragione. Non esiste una randomizzazione "perfetta" o "vera". Tuttavia, alcune randomizzazioni possono essere migliori di altre nel senso che evitano pattern indesiderati (ad esempio lunghe serie di livelli fattoriali identici, struttura periodica, ecc.).
Ecco perché speravo di scoprire se JMP offre strumenti per valutare questi aspetti in modo oggettivo, anziché affidarsi esclusivamente alla fiducia nel generatore di numeri casuali o all'ispezione visiva.
Sto cercando altri modi per valutare la qualità dell'ordine di esecuzione, in particolare in situazioni in cui rischi legati al tempo o comportamenti delle apparecchiature possono influenzare i risultati.
Grazie ancora per i tuoi spunti. Sono molto utili.
Re: Verifica dell'ordine di esecuzione casuale e della validità del progetto in JMP DOECiao @SDF1
Grazie per la risposta.
Sono pienamente d'accordo sul fatto che la fase di Definizione/Pianificazione di un DOE sia fondamentale, ed è proprio per questo che ho sollevato questa questione. Voglio iniziare con il progetto più solido possibile e garantire che l'ordine di esecuzione randomizzato sia solido prima dell'esecuzione.
Riconosco che potrebbero esserci variabili nascoste che non possiamo prevedere, ma il mio obiettivo principale è:
- come generare un ordine di esecuzione randomizzato robusto
- come valutarne la qualità prima di eseguire l'esperimento.
Grazie ancora per la prospettiva.
Re: Verifica dell'ordine di esecuzione casuale e della validità del progetto in JMP DOESe vuoi evitare modelli nella distribuzione dei livelli dei fattori, forse la piattaforma Esplora i modelli potrebbe aiutarti a individuare modelli univariati indesiderati?
Prima di esaminare eventuali pattern nella randomizzazione (che fanno comunque parte di questo processo di randomizzazione), hai valutato le proprietà e le prestazioni del tuo progetto con la piattaforma Valutare il design ? È probabile che ci siano più scenari di fallimento con dimensioni/potenza del campione inadeguate o con una struttura di aliasing inadeguata rispetto ai possibili pattern nella randomizzazione.
Re: Verifica dell'ordine di esecuzione casuale e della validità del progetto in JMP DOECiao @BayesKnight : ho seguito la questione con un certo interesse... e, a essere sincero, con un po' di confusione. Mi sembra che tu stia chiedendo: l'ordine di esecuzione "casuale" (generato da JMP) è davvero casuale? Come ha detto @Dan_Obermiller , "Finché viene utilizzato un generatore di numeri casuali affidabile (e JMP ne ha di affidabili), qualsiasi schema casuale è in genere appropriato". Naturalmente, anche i generatori di numeri casuali "affidabili" sono in gran parte generatori di numeri pseudo-casuali. E, come tali, in genere utilizzano un algoritmo per generare una sequenza di numeri casuali che ha le proprietà di una sequenza casuale. Quindi, la risposta è "sì".
Un modo semplice per randomizzare l'ordine di esecuzione sarebbe quello di generare un numero Uniform(0,1) per ogni esecuzione. Quindi riordinare le esecuzioni in base a tale numero U(0,1).
La mia domanda è questa: cosa ti ha spinto a chiedertelo?
Re: Verifica dell'ordine di esecuzione casuale e della validità del progetto in JMP DOECiao @statman
Grazie per la risposta e per aver condiviso i documenti di riferimento.
Sono d'accordo che ci sono molti modi per valutare un progetto, ma come hai detto, la maggior parte di essi viene utilizzata dopo che l'esperimento è terminato.
Il mio obiettivo è evitare di trovare i problemi solo alla fine, quando è troppo tardi per correggerli.
Non metto in discussione lo scopo della randomizzazione o del blocco. Voglio solo individuare eventuali problemi il prima possibile. In particolare, voglio verificare in anticipo che l'ordine casuale non introduca accidentalmente pattern o tendenze che potrebbero indebolire il design.
Grazie ancora per il tuo utile punto di vista.
Re: Verifica dell'ordine di esecuzione casuale e della validità del progetto in JMP DOECiao @BayesKnight ,
JMP genererà un ordine di esecuzione randomizzato e affidabile per il tuo DOE, non devi preoccuparti (o addirittura non dovresti preoccuparti). JMP è leader del settore in questo campo da oltre 35 anni. Di certo non esisterebbe più se il suo software non fosse affidabile.
Anche se avessi creato un modo per quantificare e valutare l'ordine di esecuzione PRIMA di eseguire il DOE, tutto ciò che avresti fatto sarebbe stato testare l'algoritmo di randomizzazione di JMP per determinare se è "veramente" casuale. Come ha detto @MRB3855 , nessun generatore di numeri casuali (digitale) è veramente casuale. Prendi la tua app musicale preferita e prova la sua funzione di riproduzione "casuale". In realtà, la loro riproduzione "casuale" è limitata perché danno priorità alla riproduzione di ogni brano nella playlist una volta prima di "ri-randomizzare" la lista. Questo non è un ordine veramente casuale.
Sono d'accordo anche con @MRB3855 : cosa ti ha spinto a sollevare la questione della valutazione della casualità PRIMA ancora di eseguire il DOE? Perché pensi che JMP non fornisca un ordine di esecuzione casuale affidabile?
Se si dispone di dati storici che suggeriscono che sia così, allora dedicherei prima più tempo alla pianificazione del DOE e userei il blocco o qualche altro metodo per tenerne conto. Non farei ipotesi su JMP e non darei per scontato che ci sia qualcosa che non va da parte loro: è molto più probabile che il DOE non sia stato pianificato correttamente fin dall'inizio.
DS
Re: Verifica dell'ordine di esecuzione casuale e della validità del progetto in JMP DOECiao @BayesKnight . Concordo con @MRB3855 sul fatto che questo sia un thread molto interessante da seguire. Ci sono un sacco di buone risposte ben ponderate che offrono diverse prospettive. Sembra che in risposta a ogni risposta tu non sia ancora soddisfatto e, come hai sottolineato, sembra che tu voglia solo sapere se esiste un modo per valutare la "qualità della casualità". Credo che la casualità sia casuale, e a volte, a occhio nudo, se vediamo degli schemi potremmo non pensare che qualcosa sia casuale, anche quando lo è.
Non conosco alcuna tecnica statistica accettata per valutare la qualità della casualità, a parte il semplice esame dell'ordine dei livelli fattoriali e la verifica se sono "abbastanza confusi". Forse la soluzione è proprio questa e continuare a randomizzare fino a ottenere un ordine che appare il più confuso possibile. Qualcuno potrebbe sostenere (probabilmente lo farei io, da statistico) che questo distorce l'ordine di esecuzione e potenzialmente elimina la casualità.
Una soluzione un po' bizzarra potrebbe essere quella di tracciare i fattori sull'asse y, l'ordine di esecuzione sull'asse x e utilizzare una mappa termica con il livello dei fattori (-1, 0, +1) come colore. Immagino che questo possa aiutarti a valutare visivamente se ci sono degli schemi.
