Limite di rilevamento nella progettazione dello screening definitivoSto eseguendo un DSD DOE in JMP18 Pro con 2 fattori categoriali (Fattore A (livello A1, A2), Fattore B (livello B1, B2) e 2 fattori continui (Fattore C, Fattore D). Il mio obiettivo è selezionare il livello migliore in ciascun Fattore A e B (ad esempio, A1 o A2, B1 o B2) inclusi tutti i termini di interazione bidirezionale per tutti i fattori e stimare i termini quadratici nel Fattore C, D.
Ho scelto di aggiungere altre 8 corse con blocchi per dare più potenza al mio modello, ottenendo così un totale di 22 corse.
Dopo aver eseguito l'esperimento, circa 1/3 delle mie esecuzioni erano al di sotto del limite di rilevamento. Ho provato a usare "Fit model" --> "Generalized Regression/LogNormal" con dati censurati per analizzare i miei dati.
Le mie domande sono:
1/ Cosa dovrei inserire in Construct Model Effects? Dovrei includere solo gli effetti principali nel modello o dovrei avere tutti gli effetti principali + interazione bidirezionale + termini quadratici (per il fattore C, D)?
2/ Nella regressione generalizzata, qual è il metodo di stima migliore? Di default, il metodo di stima era Two Stage Forward Selection. Dovrei provare altri metodi e usare AICc o BIC per valutare quale modello funziona meglio? (Ho provato e Ridge/Holdback mi ha dato l'AICc più basso, dovrei usarlo?)
3/ Quando lavoro con DSD, di solito uso la Fit Definitive Screening Platform come mio punto di riferimento, che ha 2 fasi di valutazione dei termini nell'analisi. Posso farlo con Detection Limit o Left-Censored Data?
Grazie per tutto il vostro aiuto!
Modellazione statistica avanzataProgettazione degli esperimentiFinestreRe: Limite di rilevamento nella progettazione dello screening definitivoNon ci sono informazioni sufficienti e senza alcun SME, c'è poca base per la critica. Ho i seguenti commenti generali, IMHO:
1. DSD è una metodologia di progettazione di screening. Hai solo 4 fattori nel tuo esperimento. Questo NON è l'uso previsto per DSD. Sebbene tu possa eseguire DSD con fattori categoriali, questa non è la forza di DSD che è destinata a fornire informazioni quadratiche all'interno dello spazio di progettazione.
2. Ogni volta che esegui un esperimento, il design che utilizzi è una funzione del tuo modello ipotizzato. Vale a dire che il modello è previsto dal tuo SME e testato tramite l'esperimento. Inizio sempre con un modello saturo e rimuovo i termini insignificanti/poco interessanti dal modello (AKA metodo sottrattivo di costruzione del modello). Dovresti includere tutti i termini stimabili nel tuo modello iniziale.
3. Le statistiche che utilizzi per valutare il tuo modello sono una scelta personale . Io ne utilizzo diverse, NON UNA, per valutare il modello, poiché rimuovo i termini (ad esempio, delta aggiustato R-quadrato-R-quadrato, magnitudine aggiustata R-quadrato, RMSE, grafici dei residui, valori p). Sempre con l'assistenza di SME.
4. Sono sempre attento a diagnosticare i dati prima dell'analisi quantitativa. Ecco perché uso SEMPRE la sequenza: significato pratico, analisi grafica e infine analisi quantitativa (PGQ). Se i dati non hanno senso o non cambiano in alcun modo di significato pratico, non puoi risolverli con l'analisi quantitativa.
5. Il blocco non è una strategia per aumentare la potenza del design (anche se ciò può accadere, non è per questo che è stato inventato, vedi Fisher). Il blocco è utilizzato per aumentare lo spazio di inferenza senza diminuire la precisione dell'esperimento.
Re: Limite di rilevamento nella progettazione dello screening definitivoCiao @D_P2025 ,
@statman ha già fornito molte informazioni utili sull'uso del Definitive Screening Design e sulla creazione di modelli in relazione al tuo argomento.
Cercherò di fornire ulteriori commenti e rispondere ad alcune delle altre domande che avevi:
- Quando si costruiscono modelli, come menzionato da statman, si dovrebbe iniziare con tutti gli effetti possibili dal modello assunto (modello saturo) e utilizzare un approccio sottrattivo basato su criteri specifici (R²/R²aggiustato, RMSE, valori p dei termini, AICc/BIC, ...) correlati al proprio obiettivo. Nel tuo caso, per rendere possibile il rilevamento di interazioni ed effetti quadratici, devi aggiungere questi termini negli effetti del modello. Nota che non tutti i termini saranno stimabili con un DSD, quindi solo quello più attivo/importante sarà rilevato in base ai principi di scarsità di effetti, gerarchia ed ereditarietà .
- Non esiste un metodo di stima "migliore" nella regressione generalizzata, poiché dipenderà dal tuo obiettivo, dalle caratteristiche di progettazione e dai dati disponibili. Consiglierei di provare diversi metodi di stima e di confrontare le loro prestazioni e i termini inclusi nei modelli stimati da ciascun metodo, per vedere quanto questi metodi concordano:
Esempio con R²/R²aggiustato:
Esempio di accordo sui termini tra ciascun metodo di stima:
(Immagini dalla mia presentazione nel gruppo di utenti francese: Découverte des plans OML (Orthogonal Main Effects Screening Designs for Mixed Level Factors) pour le criblage de facteurs et l'optimisation de formulazione cosmétique
Consiglierei di provare altre opzioni di metodo di stima come Pruned Forward Selection e Best Subset Selection (solo per un numero basso di fattori e un numero accettabile di termini nel modello!) con l'opzione "Enforce Effect Heredity" selezionata da Controlli avanzati . Un'altra ottima opzione per la progettazione dello screening è quella di utilizzare la piattaforma di screening Fit Two Level che può aiutare a creare modelli pertinenti se vengono soddisfatte le ipotesi alla base dell'uso di questa piattaforma: Panoramica della piattaforma di screening Fit Two Level
Il criterio/i da utilizzare per valutare e confrontare i modelli dipende dal tuo obiettivo.
- Ridge è un metodo di regressione penalizzata e ha la capacità di minimizzare i coefficienti per le feature correlate (vicini a 0 ma non 0). Questa proprietà consente di utilizzare la regressione Ridge su set di dati con molte feature correlate, poiché l'impatto negativo delle feature correlate è ridotto al minimo e consente di ridurre l'overfitting. Quando viene introdotta una penalizzazione, otterrai anche stime di coefficienti distorte. Ridge consente di considerare tutte le feature e tende a essere più efficace quando ci sono un gran numero di variabili con effetti grandi e comparabili.
Non credo che la regressione di Ridge sia rilevante nella maggior parte dei contesti DoE, poiché si tende ad avere bassi alias tra i fattori e una grande differenza nella dimensione dell'effetto tra i termini.
- La piattaforma Fit Definitive Screening non è in grado di gestire dati censurati o risposte con limiti di rilevamento. Le piattaforme Distribution e Generalized Regression sono in grado di gestire questo tipo di dati: Limiti di rilevamento
Quindi, se si lavora con questo tipo di dati, potrebbe essere più saggio usare la piattaforma di regressione generalizzata per trarre vantaggio dalla corretta gestione dei dati. Se vuoi saperne di più sul possibile impatto del non usare la proprietà Limiti di rilevamento nella piattaforma di regressione generalizzata, puoi guardare la presentazione Limiti di rilevamento (LoD) - Novità in JMP Pro 16 .
Spero che questa risposta aggiuntiva possa aiutarti,
Re: Limite di rilevamento nella progettazione dello screening definitivoGrazie mille per il tuo contributo. Sono piuttosto nuovo al DOE e non ho ancora molti tipi di design, quindi ho pensato che DSD sarebbe stata una buona opzione per i miei scopi. In realtà ho provato a progettare con Custom Design: con gli stessi fattori e inclusi tutti gli effetti principali, interazioni bidirezionali e termini quadratici, + blocco = 20 run, che è abbastanza simile a DSD. A quel punto, stavo valutando quale usare e ho scelto DSD con run un po' più alte pensando che mi avrebbe dato più potenza.
Il motivo per cui ho utilizzato il blocco è che non possiamo eseguire l'intero esperimento in una volta sola (al massimo circa 12 esecuzioni ogni volta), quindi ho deciso di dividerlo in 2 blocchi (e questa è un'opzione in DSD) quando ho progettato il modello
Re: Limite di rilevamento nella progettazione dello screening definitivoIo, naturalmente, sono un grande sostenitore della progettazione sperimentale. Applaudo i tuoi sforzi per gestirne una. Ti suggerisco di leggere qualche libro e seguire qualche corso per comprendere meglio le diverse situazioni e strategie sperimentali. Presta particolare attenzione a come gestisci il rumore e le restrizioni in un esperimento.
Re: Limite di rilevamento nella progettazione dello screening definitivoGrazie mille per la risposta.
- Ho eseguito Compare Design, ma ha confrontato solo i termini dell'effetto principale. Immagino che ciò sia dovuto alla struttura DSD?
- Di solito uso Custom Design con D-Optimal per la progettazione di Screening e I-Optimal per la progettazione di Optimization. Ma non ho avuto situazioni in cui avrei preferito A-Optimal. Potresti spiegarmi meglio?
- Ho pensato che il DSD potesse essere utilizzato per valutare l'interazione bidirezionale e stimare i termini quadratici, a patto che i termini attivi non fossero troppi. Ecco perché ho aggiunto un paio di esecuzioni in più al progetto per aumentare la potenza del modello, in modo che potesse rilevare la maggior parte dei termini.
- Il link che hai condiviso è molto utile, grazie per averlo condiviso.
- Grazie per aver spiegato in termini semplici. Non ho una formazione in data science, quindi è molto utile.
- Ho letto online che ci sono altri algoritmi per valutare i dati censurati, ad esempio la sostituzione beta quando si gestiscono dati censurati a sinistra. Sai se JMP ce l'ha? Poiché la dimensione del mio campione non è grande, temo che il metodo ML potrebbe non essere il più adatto.
Re: Limite di rilevamento nella progettazione dello screening definitivoPer la modellazione, consiglio di iniziare con il modello di superficie di risposta completa e quindi utilizzare Two-Stage Forward Regression in Generalized Regression. Dovresti comunque essere in grado di utilizzare la censura dei dati, ma un approccio semplice è quello di utilizzare la soglia di segnalazione o di rilevamento sostitutiva per i risultati.
Re: Limite di rilevamento nella progettazione dello screening definitivoCiao @D_P2025 ,
Per quanto riguarda le tue ulteriori domande:
- Per impostazione predefinita, quando si valuta o si confronta un Definitive Screening Design, l'effetto del modello sarà composto solo da effetti principali. È possibile aggiungere alcuni termini di interazione o effetti quadratici, nel limite dei gradi di libertà disponibili (correlati al numero di esecuzioni indipendenti nel progetto). Un DSD non è in grado di adattarsi a un modello di superficie di risposta completo (con tutti gli effetti principali, effetti quadratici e termini di interazione), altri progetti come Central Composite Designs o Box-Behnken sono più appropriati per adattarsi a questo modello completo. Poiché il DSD è in genere utilizzato in una fase di screening, si basa sui principi di scarsità , gerarchia ed ereditarietà degli effetti per identificare i pochi termini attivi importanti dai molti trascurabili e, grazie alle sue buone proprietà di proiezione, può essere in grado di adattarsi a un modello di superficie di risposta completo se i termini attivi non sono troppi.
- Il criterio di A-ottimalità aiuta a minimizzare la varianza media delle stime dei parametri del tuo modello assunto. Questo criterio aiuta a minimizzare le correlazioni tra i tuoi termini (che altrimenti gonfierebbero la varianza delle stime dei parametri), il che aiuta anche la selezione del modello, poiché diventa molto più facile determinare quali effetti sono statisticamente significativi. Inoltre, puoi anche regolare i pesi per stimare più precisamente determinati effetti (ad esempio ponendo maggiore enfasi sugli effetti principali rispetto agli effetti di interazione) con i progetti A-ottimali utilizzando l'opzione A-Optimality Parameter Weights .
Bradley Jones ha tenuto un discorso eccellente su questo argomento: Progetti di proiezione del 21° secolo (2020-US-45MP-538)
Jonathan Stallrich ha anche confrontato nel 2022 le proprietà dei design D- e A-Optimal per quanto riguarda la minimizzazione della varianza e del bias di stima, e ha scoperto che il criterio A-Optimality offre meno design candidati con proprietà simili o migliori rispetto a D-Optimality. Il documento è disponibile qui: https://arxiv.org/abs/2210.13943
Per questi motivi, A-Optimality è il criterio di ottimalità consigliato da JMP quando si utilizzano progetti a due livelli per gli effetti principali e le interazioni a due fattori.
- Sì, aggiungere più run aumenta la potenza e consente di rilevare più facilmente gli effetti di secondo ordine. Aiuta anche la selezione del modello .
- Mi dispiace, non ho familiarità con i metodi che coinvolgono dati censurati. Altre piattaforme in JMP potrebbero aiutarti, come la piattaforma Nonlinear.
Per quanto riguarda l'analisi dei DSD, ci sono altre discussioni che riguardano situazioni in cui sono stati utilizzati diversi metodi di stima e di selezione del modello:
Impostazione del valore P della fase 1 nell'analisi del DSD a un livello elevato per rilevare gli effetti attivi
Interpretazione DSD e passaggi successivi
Significato dei fattori nel disegno di screening definitivo
Spero che questa risposta complementare ti aiuti,
Re: Limite di rilevamento nella progettazione dello screening definitivoNon ho esperienza con la censura, ma con dati regolari e di buona qualità, 22 esecuzioni DSD con 4 fattori dovrebbero essere sufficienti per darti almeno una direzione per comprendere e correggere la modellazione. Sono curioso di sapere il risultato quando, nella piattaforma del modello di adattamento DSD, aumenti il valore P di soglia da 0,1 a 0,4. Hai provato anche SVEM?
