Cosa succede quando un singolo fattore prevale di gran lunga sugli altri in un DoE?Ciao ragazzi,
Ho creato un DoE che aveva un obiettivo primario (stabilità) e un obiettivo secondario (produttività). In precedenza avevo caratterizzato la produttività con un DoE iniziale. Da quei dati è stato sviluppato un modello fantastico. In questo nuovo DoE, ho aggiunto un fattore aggiuntivo che non era stato precedentemente considerato. SAPEVO che questo fattore avrebbe avuto un impatto significativo sulla produttività, in quanto è un ovvio fattore primario, ma ero totalmente incerto sul suo impatto sulla stabilità.
Il modello di stabilità è tornato alla grande. Il modello di produttività è stato disastroso. L'Adj R^2 era quasi inesistente alla fine della riduzione del modello e il termine rimanente era il nuovo fattore che ho aggiunto. (Nessun valore anomalo è stato rilevato dai residui studentizzati esternamente).
Quindi la mia domanda è: la scarsa capacità di modellazione è spiegata dal fatto che il fattore primario ha avuto un impatto MOLTO maggiore rispetto agli altri fattori e che gli altri effetti erano sostanzialmente impercettibili?
Progettazione degli esperimentiR: Cosa succede quando un singolo fattore prevale di gran lunga sugli altri in un DoE?Ciao @MetaLizard62080 ,
È molto complesso cercare di aiutarti senza più contesto e precisione sull'importanza di questo fattore (dimensione dell'effetto pratico, significatività statistica, entrambi?), sul progetto che hai creato e sul modo in cui hai analizzato e perfezionato il tuo modello.
Potresti già avere qualche idea se riesci a confrontare cosa è cambiato tra il DoE iniziale di successo per la produttività e questo: fattori? livelli? progettazione? scelta del modello? obiettivi? metriche del modello per aggiustamento/perfezionamento? ...
Tuttavia, ecco alcune riflessioni, domande e possibili spiegazioni, oltre a quella da te proposta:
- Definizione del design :
- A seconda delle differenze di intervallo dei fattori e dell'influenza del fattore specifico sulla risposta, potresti aver amplificato l'importanza/dimensione dell'effetto di questo fattore rispetto agli altri. Puoi provare ad aumentare il tuo design e ridurre l'intervallo di questo fattore (e/o espandere gli intervalli di altri fattori), al fine di ridurre la variabilità della risposta rispetto a questo fattore (e/o aumentare la variabilità della risposta rispetto ad altri fattori).
- A seconda del tuo obiettivo (screening dei fattori, esplorazione spaziale sperimentale, previsione, ...), potresti scegliere un design diverso, con diverse dimensioni del campione, repliche, ... La dimensione del campione è sufficientemente elevata per la differenza che vuoi rilevare per altri fattori? Il design scelto è appropriato per il tuo obiettivo?
- Gestione del rumore: i tuoi esperimenti sono "rumorosi"? Se sì, hai utilizzato strategie per identificare e gestire il rumore proveniente da diverse fonti: ripetibilità, riproducibilità, fattori di rumore, influenza esterna, ecc...?
- Questo nuovo DoE è stato creato "da zero" oppure hai utilizzato l'Augmentation per trarre vantaggio dalle informazioni dei dati storici?
- Costruzione del modello, perfezionamento e selezione:
- Hai detto che dopo la riduzione, l'R² aggiustato era molto basso. Qual è il tuo obiettivo correlato alla creazione e selezione del tuo modello? Quali metriche utilizzi e sono correlate ai tuoi obiettivi? Quali erano le prestazioni delle metriche del tuo modello presunto completo prima della riduzione? Su quali informazioni/basi/metriche hai ridotto il tuo modello?
A seconda del tuo obiettivo (spiegabilità vs. predittività o entrambi) e delle metriche di interesse correlate (R²/R² aggiustato per la spiegabilità, RMSE per la predittività e criteri informativi per entrambi, ad esempio), potresti finire con modelli diversi. Puoi provare a costruire diversi modelli, in particolare per non basarti solo sulla significatività statistica e sui valori p (puoi leggere la discussione su questo argomento Significatività statistica ). Puoi anche identificare e valutare se la dimensione dell'effetto/significatività pratica dei fattori/termini nel modello sono importanti, in base alla competenza di dominio.
- Tieni presente che la significatività e la dimensione dell'effetto dei fattori dipendono da quali fattori entrano nel modello. Quindi, a seconda di come stai "riducendo" il tuo modello e quali termini vengono rimossi, cambi completamente i valori p e la stima della dimensione dell'effetto. Puoi leggere di più qui I fattori significativi diventano non significativi dopo aver rimosso quelli non significativi
- I modelli provenienti da DoE si basano anche sui principi di sparsità degli effetti, ereditarietà degli effetti e gerarchia degli effetti . Puoi provare a verificare/valutare se il modello che stai costruendo rispetta questi principi. Consulta È possibile avere un fattore che non è significativo in un modello di superficie di risposta ma il termine quadratico per lo stesso fattore lo è?
- Hai controllato i residui? Ci sono modelli che potrebbero indicare una violazione delle ipotesi di regressione ( Ipotesi del modello di regressione | Introduzione alla statistica | JMP )? Hai a disposizione un test di mancanza di adattamento? La risposta è collegata alla predittività che copre ordini di grandezza ampi e molto diversi? A seconda delle tue risposte a queste domande, potrebbe esserci qualcosa da controllare e correggere per la creazione del modello, al fine di assicurarti che le ipotesi del modello di regressione siano soddisfatte (o se potresti aver bisogno di un modello di regressione diverso con termini aggiunti/rimossi, una trasformazione della risposta, un modello di regressione generalizzato, ecc...). Vedi Problema con l'adattamento RSM per un fattore
- I risultati sono rilevanti per gli esperti del settore e in linea con i risultati precedenti?
Alla fine, il tuo modello è guidato dal design che hai scelto, quindi è difficile aiutarti riguardo al modello senza capire come e perché hai scelto e creato il design per il tuo argomento.
Qualsiasi set di dati sui giocattoli che mostri cosa stai affrontando può essere utile per un follow-up più preciso.
Spero che questo primo spunto di discussione possa aiutarti,
R: Cosa succede quando un singolo fattore prevale di gran lunga sugli altri in un DoE?Come sottolinea Victor, non c'è semplicemente abbastanza contesto per rispondere in modo appropriato alla tua domanda. Ecco i miei pensieri/domande. Hai replicato il tuo primo esperimento? Qual era il fattore che hai aggiunto durante il primo esperimento? (ad esempio, mantenuto costante o variato in modo casuale) Come hai misurato la stabilità? È stato studiato il sistema di misurazione? La stabilità è solitamente una delle caratteristiche a cui rinunci quando esegui un esperimento perché stai troncando la serie temporale e la stabilità richiede una serie temporale.
A posteriori, questo è il motivo per cui si inizia con uno spazio di inferenza più ampio (ad esempio, si includono più fattori di progettazione e rumore nello studio). I risultati del primo esperimento erano condizionali. Se lo spazio di inferenza, i fattori di progettazione o il rumore che variavano durante l'esperimento cambiano, potrebbero cambiare anche i risultati.
I tuoi pensieri non sono necessariamente sbagliati. È possibile avere un effetto significativo su "sovraffollare" l'analisi e rendere difficile scoprire altri effetti significativi nello studio. Cerchiamo di superare questo problema impostando TUTTI i fattori in grassetto. Se l'impostazione del livello di un fattore è molto più in grassetto di altri, può sembrare che quel fattore sia effettivamente molto più significativo di altri fattori.
