Come affrontare l'ereditarietà debole nei progetti di screening?Sto per preparare una DoE per un nuovo processo che coinvolge fino a 11 fattori continui mentre uno di questi è difficile da modificare.
Dal momento che sto cercando di combinare questo con lo sforzo di rendere le idee alla base del DoE un po' più trasparenti per i colleghi, mi sono imbattuto in alcune domande, che possono essere riassunte in questo modo:
Qual è il miglior approccio progettuale quando la conoscenza del dominio suggerisce l'esistenza di interazioni a due coppie e possibilmente effetti quadratici, mentre non posso assumere una forte ereditarietà?
Sono riluttante a creare un design personalizzato che coinvolga "tutti" i termini (ovvero effetti principali, interazioni bidirezionali ed effetti quadratici) poiché sembra una soluzione di forza bruta e contraddittoria rispetto a una sperimentazione efficiente. Preferirei fare un progetto di screening iniziale per ignorare (si spera) i fattori che non contribuiscono ed eseguire un successivo progetto ampliato. La mia principale preoccupazione è che un disegno di screening improprio possa portare alla perdita di fattori importanti a causa di un'interazione mancata o di un termine quadratico.
Sembra che ci siano alcuni thread con domande simili ma che toccano solo piccoli aspetti dell'argomento, quindi lo inserisco come nuovo thread qui.
Per studiare le modalità di progettazione e analisi ho predisposto un test case che allego. Ho creato un progetto di screening definitivo per cinque fattori, incluso un punto centrale. Per ragioni di semplicità, ho ignorato la possibile esistenza di fattori difficili da modificare. La variabile target Y viene generata tramite una formula, in cui vedrai i termini rilevanti.
Ho provato diversi approcci per trovare il modello corretto (poiché ho una conoscenza a priori della vera funzione, sono sempre di parte) e non voglio spiegare in tutti i dettagli quello che ho fatto ma un breve riassunto è:
- Da un puro screening degli effetti principali, potrei eliminare i fattori X2, X3 e X4 e potrei non includerli in un successivo progetto aumentato.
- Adattando un disegno di screening definitivo, sarei indotto in errore a interazioni che non esistono e anche i termini quadratici verrebbero confusi. Dovrei abbandonare le ipotesi di forte ereditarietà sia per le interazioni che per i termini quadratici.
Anche se capisco da dove proviene questo (forti correlazioni tra interazioni e anche termini quadratici all'interno del progetto dato), la domanda è: come affrontare al meglio questo caso?
Capisco che la mia funzione target è costituita arbitrariamente e quindi potrebbe trattarsi di un caso abbastanza patologico. Mi chiedo quanto spesso si presenta questo problema nella pratica?
In attesa di una risposta.
Bjorn
Analisi e modellazione dei dati di baseProgettazione di esperimentiRe: Come affrontare l'ereditarietà debole nei progetti di screening?Tutto considerato, penso che un approccio di progettazione dello screening definitivo potrebbe essere la tua opzione "migliore", e questo è un termine relativo. Se non sei disposto ad adottare l'approccio progettuale ottimale, non riesco a pensare a un'alternativa migliore... altri, per favore, intervieni. Una tua affermazione, però, mi confonde un po':
"Adattando un progetto di screening definitivo, sarei indotto in errore a interazioni che non esistono e anche i termini quadratici verrebbero confusi. Dovrei abbandonare le ipotesi di forte ereditarietà sia per le interazioni che per i termini quadratici."
Perché un DSD dovrebbe essere incline a indicare interazioni che non esistono? In effetti, penso che sia il contrario... potresti non trovare mai interazioni attive a causa del caso relativamente raro in cui è attiva un'interazione a due fattori, ma gli effetti principali non lo sono. La mia esperienza dice che questa situazione non si verifica spesso. Finché utilizzi il flusso di lavoro Fit DSD puoi proteggerti, in una certa misura, da questo problema.
Inoltre... pensa a sperimentare in sequenza. Prova il DSD. Spero che tu non sia in un punto in cui sei costretto a risolvere il problema con un solo esperimento. Ancora una volta, secondo la mia esperienza, è rara l'occasione in cui ciò accade. Soprattutto con un sistema di studio poco compreso. Guarda cosa impari. Quindi, in base a ciò che impari, le prove di conferma e una maggiore sperimentazione nello spazio DOE ottimale sono due strade che potresti seguire.
Oggetto: Come affrontare l'ereditarietà debole nei progetti di screening?Ho pensato di approfondire un po' l'argomento. Ho creato un progetto personalizzato che include effetti principali e quadratici per 9 fattori. Come ho detto, c'è un fattore difficile da modificare (X1) e due fattori (X2 e X3) sono soggetti a una condizione al contorno lineare (X2+X3 > costante).
Questa è la matrice di correlazione risultante dal progettista personalizzato:
L'analisi successiva alla raccolta dei dati ha mostrato che fino a 6 fattori su 9 sono attivi. È anche successo che X2 in sé non sia attivo, ma da considerazioni fisiche dovrebbe esserlo, dato che la sua natura è la stessa di X3. Pertanto, ho testato X2^2 e questo è un contributo significativo.
Spero che la mia conclusione non sia troppo azzardata, ma mi sembra che qui vengano violati i principi di scarsità e gerarchia.
Oggetto: Come affrontare l'ereditarietà debole nei progetti di screening?Non vedo la tabella dati allegata, quindi è impossibile analizzarli. Come apparivano i residui? C'è collinearità tra X2 e X2^2 (ho notato che X2 non è presente nella tua matrice)? Hai esagerato con l'impostazione del livello di X2? Hanno tutti una significatività pratica? È facile ottenere una significatività statistica, basta minimizzare i fattori che costituiscono l'errore minimo minimo.
I principi sono proprio questo. Non sono assoluti. Sono una guida. Continuerò comunque a suggerire che 6 di tutti i possibili fattori (molto maggiori dei 9 su cui hai effettuato gli esperimenti) siano un piccolo sottoinsieme.
Ricordiamo che F=MA...né M né A sono significativi (entrambi effetti di primo ordine).
Re: Come affrontare l'ereditarietà debole nei progetti di screening?CIAO,
Non avevo allegato la tabella dei dati, solo lo screenshot della matrice di correlazione del disegno sperimentale. X2 è nel disegno. Poiché JMP omette le etichette se l'etichettatura diventa troppo densa, semplicemente non è etichettata. X2 sarebbe rispettivamente la seconda riga o colonna. Il disegno includeva sia gli effetti principali che tutti gli effetti quadratici. La correlazione di X2 e X2^2 è 0,1.
I livelli dei fattori sono ragionevoli in base alla nostra esperienza.
Nel complesso, mi chiedo se il modello fisico sottostante sia più complesso, nell'intervallo di variabili dato, per essere ben adattato a un polinomio di Taylor del secondo ordine (pensando a termini come raggio di convergenza ecc. ecc. - immagino che sarebbe un argomento da discutere in una conferenza e non tanto in un forum).
Re: Come affrontare l'ereditarietà debole nei progetti di screening?Aggiungendo i miei pensieri agli eccellenti pensieri di @P_Bartell e @Mark_Bailey, ti suggerisco di utilizzare il metodo scientifico per proseguire la tua indagine. Ovvero, inizia con le ipotesi, raccogli i dati, quindi modifica, elimina, aggiungi ipotesi e ripeti. È impossibile conoscere a priori il design migliore (se lo sapessi, probabilmente non avresti bisogno dell'esperimento). I consigli dipendono sempre dalla situazione, quindi senza una comprensione approfondita della tua situazione reale, posso solo fornire consigli generali. In altre parole, inizia la tua indagine creando uno spazio di progettazione il più ampio possibile, in base alle risorse disponibili (molti fattori a livelli di grassetto). Non sottovalutare l'effetto del rumore! Avere una strategia per gestire tutti gli altri fattori non manipolati esplicitamente nell'esperimento (ad esempio, ripetizioni, repliche, blocchi, split-plot). Più ampio è lo spazio di inferenza, maggiore è la probabilità che i risultati si mantengano validi in futuro. Stai cercando una direzione (che puoi ottenere con 2 livelli) e quali fattori hanno maggiori probabilità di portarti rapidamente allo spazio migliore (effetti lineari). Gli esperimenti successivi si concentreranno sullo spazio di progettazione con i risultati migliori. È accettabile confondere gli effetti negli esperimenti iniziali. Il confondimento è una strategia di efficienza. La chiave per utilizzare il confondimento in modo efficiente è sapere cosa viene confuso. In questo modo, le iterazioni successive possono separare gli effetti confusi. Fai questo: come SME, prevedi l'ordine di classificazione degli effetti del modello fino al 2° ordine (tutti gli effetti principali e gli effetti di interazione). Se in cima alla lista ci sono tutti gli effetti principali, puoi utilizzare progetti a bassa risoluzione nella tua prima iterazione. Stai considerando l'importanza relativa tra quegli effetti principali. Man mano che gli effetti di 2° ordine aumentano nella tua lista, vorrai prendere in considerazione progetti a risoluzione più elevata.
In ogni caso, progetta più opzioni di esperimento (facile da fare con JMP). Valuta cosa ogni diversa opzione di progettazione ti consentirà potenzialmente di ottenere, in termini di conoscenza (ad esempio, quali effetti saranno separati, quali saranno confusi e quali non saranno inclusi nello studio). Confronta questo con le risorse necessarie per ottenere tale conoscenza. Scegline una che soddisfi i tuoi criteri di conoscenza vs. risorse. Tieni presente che dovrai iterare, quindi non spendere l'intero budget per il primo esperimento.
Mark ha perfettamente ragione. La strategia fattoriale frazionaria utilizza i principi di scarsità e gerarchia. L'ereditarietà entra in gioco solo quando si esegue l'analisi e si cerca di assegnare quali effetti confondenti siano più probabilmente attivi. La previsione di quale degli effetti confondenti sia più probabile derivante dall'SME è il metodo più efficace. Se la previsione e l'ereditarietà non possono fornire indicazioni, allora saranno necessari più dati.
Re: Come affrontare l'ereditarietà debole nei progetti di screening?Grazie per la risposta! Mi dispiace di non averti risposto prima perché non avevo accesso alla community.
Vorrei chiarire la mia affermazione iniziale, che ti ha creato qualche preoccupazione. La funzione seguita dalla quantità target è la seguente:
Come potete vedere, l'interazione x2*x3 contribuisce, ma non i due fattori principali x2 e x3. L'esecuzione del fit DSD non rivela x2*x3, né suggerisce alcuna importanza per x2 o x3. Questo è essenzialmente ciò che volevo esprimere: potrei abbandonare l'idea di approfondire x2 e/o x3 in un DoE successivo e potrei perdere di vista l'interazione x2*x3.
Concordo con te sul fatto che in pratica difficilmente troveremmo il caso di un'interazione senza alcun contributo di effetti principali. Capisco che l'approccio modellistico in questo caso consista essenzialmente nell'adattare una serie di Taylor alla "vera funzione". D'altra parte, ero un po' preoccupato dal fatto che, ad esempio, molte interdipendenze/relazioni in fisica seguono una formula in cui una quantità è il prodotto delle potenze (negativa e positiva) delle altre quantità. Di nuovo, penso che sia come hai detto: è più una questione accademica che pratica.
Per la mia applicazione specifica, avevo preso in considerazione l'utilizzo di un DSD, ma ci sono due avvertenze:
- Ho un fattore difficile da cambiare
- Due variabili hanno un'interdipendenza lineare: entrambe non possono assumere il loro minimo nello stesso momento, cosa che eviterei tramite una condizione al contorno lineare.
Valuterei quindi l'ottimalità del mio progetto esaminando la matrice di correlazione e, se necessario, aggiungerei termini del modello se le correlazioni rimanenti sono ancora troppo forti.
Re: Come affrontare l'ereditarietà debole nei progetti di screening?Oltre al consiglio di @P_Bartell , vorrei aggiungere due considerazioni. I progetti di screening funzionano meglio quando la situazione presenta i principi chiave dello screening: scarsità di effetti e gerarchia. Ci si aspetta che la maggior parte dei fattori nel progetto sia inattiva. È questo il caso?
Di solito consiglio di non separare i fattori in disegni separati, a meno che non vi siano vincoli. Due fattori con effetti interagenti non mostreranno l'interazione se progettati separatamente. Si trattano i fattori considerati come in un esperimento con un fattore alla volta. Se si prevedono effetti di grandi dimensioni, è possibile utilizzare un DSD con 23 esecuzioni. L'ereditarietà del modello entra in gioco solo durante l'analisi.
Re: Come affrontare l'ereditarietà debole nei progetti di screening?Grazie per i tuoi pensieri!
In effetti, dalla conoscenza del dominio, ci aspettiamo un numero considerevole di fattori attivi. Dei 9 fattori presi in considerazione (nel mio post iniziale ne ho indicati 11, ma sono 9), penso che 6 o più potrebbero essere attivi. Concordo sul fatto che la separazione dei fattori non sarebbe una buona idea, soprattutto perché crediamo che ci siano interazioni.
Oggetto: Come affrontare il problema dell'ereditarietà debole nei modelli di screening?Grazie per l'ottimo feedback! Inizierò con un progetto personalizzato che includa il maggior numero possibile di fattori, tenendo conto delle condizioni al contorno.
Tecnicamente parlando, il metodo scientifico è quello a cui sono abituato, ma la difficoltà per questo metodo risiede a volte nell'accettazione del metodo stesso. Soprattutto per la progettazione degli esperimenti (DoE), l'esecuzione di configurazioni di fattori apparentemente casuali e azzardate con molti fattori può confondere chi non ha familiarità con il ragionamento alla base della DoE. Pertanto, se si è costretti a scartare (o affinare, per usare un termine più gradevole) le proprie ipotesi troppo spesso, la causa potrebbe risiedere nel metodo e non necessariamente nel fatto che alcuni problemi siano semplicemente difficili da risolvere (per qualsiasi motivo, come fattori mancanti, rumore, ecc.).
Per il mio specifico problema, ho intenzione di impostare i fattori su valori minimi e massimi "ragionevolmente" estremi per lo screening, sperando di eliminare rapidamente alcuni fattori e poi perfezionare con un design ampliato o addirittura nuovo, a seconda dei risultati e delle tendenze.
