Aumento dei problemi del modello DoECara comunità JMP,
attualmente stiamo mettendo a punto modelli DoE basati su due blocchi sperimentali.
Il primo blocco era un progetto DoE personalizzato con 22 esecuzioni contenenti effetti principali ed effetti quadratici di 7 fattori. Il secondo blocco era un disegno aumentato contenente gli effetti principali, gli effetti quadratici e tutte le possibili interazioni a due fattori con 16 esecuzioni (per un totale di 38 esecuzioni separate in 2 blocchi).
Nel secondo blocco, per due dei fattori i livelli dei fattori erano più ampi rispetto al primo blocco.
Inoltre, 7 interazioni a due fattori ritenute meno probabili sono state impostate su "se possibile" nella finestra di dialogo del modello. Tutti gli altri fattori sono stati mantenuti al livello “necessario”.
Di solito, impostiamo i modelli con la Fit Model Platform considerando solo gli effetti del modello provenienti dalla progettazione facendo clic su "esegui" (personalità: minimi quadrati standard, enfasi: screening degli effetti) e quindi rimuovendo manualmente gli effetti del modello non significativi dal Modelli.
Abbiamo riscontrato la seguente situazione: in alcuni casi riceviamo un messaggio di errore che dice "Al modello manca un effetto".
La valutazione graduale (personalità: graduale) tramite la direzione in avanti con AICc o BIC stanno entrambi producendo modelli con effetti significativi.
Le nostre domande per te sarebbero
- In quale forma viene considerato il rating “se possibile” per i modelli stepwise? Se vediamo un effetto significativo che in precedenza era stato classificato come “se possibile”, significa che la potenza del progetto era abbastanza buona da chiarirlo. Ma se non vediamo un effetto “se possibile”, da dove sappiamo che è stato considerato?
- Qual è il motivo per cui il metodo manuale segnala i problemi mentre il metodo graduale funziona?
- Il criterio BIC sta producendo modelli molto più ampi rispetto al criterio AICc, quale sarebbe la ragione per fidarsi dei modelli AICc molto più piccoli?
Grazie mille in anticipo a tutti voi, cordiali saluti,
C. e A.
Modellazione statistica avanzataAnalisi e modellazione dei dati di baseRi: Aumento dei problemi del modello DoEUn rapido chiarimento: l'errore è il risultato del mancato rispetto del principio della gerarchia (non dell'ereditarietà).
Ri: Aumento dei problemi del modello DoESfortunatamente non capisco la tua situazione specifica, ma sono confuso dal tuo approccio.Il blocco è una tecnica utilizzata per gestire il RUMORE associato allo spazio di progettazione.Il rumore è il fattore che non sei disposto a gestire o controllare nel processo.Invece di mantenere costante il rumore e incidere negativamente sullo spazio di inferenza, il rumore viene confuso con il blocco.Ciò aumenta lo spazio di inferenza senza incidere negativamente sulla precisione del progetto.È possibile eseguire blocchi completi (RCBD) che sono repliche complete del progetto o blocchi incompleti (BIB) che frazionano il blocco.
Esistono, ovviamente, molteplici metodi per progettare e analizzare gli esperimenti.Nessun approccio è migliore in tutte le situazioni.Esistono numerosi fattori che influenzano la selezione del progetto (ad esempio, strategia del rumore, vincoli, numero di fattori, risoluzione desiderata (sia lineare che non lineare), effetti desiderati da stimare, restrizioni sulla randomizzazione, ecc.) e questi dovrebbero essere considerati prima di selezionare un progetto.Quando si seleziona un progetto, è necessario considerare quali effetti possono essere stimati, quali saranno confusi e quali saranno limitati.Questa è la conoscenza potenziale da acquisire.Questa conoscenza dovrebbe essere bilanciata con le risorse richieste.
La mia inclinazione è quella di analizzare gli esperimenti con un approccio di costruzione di modelli sottrattivi.Cioè iniziare con un modello saturo e rimuovere i termini insignificanti.Questo perché ho in mente un modello quando viene progettato l'esperimento.Quando utilizzo dati storici/osservazionali, inizio con un approccio additivo (ad esempio, graduale) poiché cerco indizi per sviluppare ipotesi che alla fine verranno testate in un esperimento.
Infine, inizia sempre con una valutazione pratica dei dati.Le variabili di risposta sono cambiate abbastanza (significatività pratica) nello studio da giustificare ulteriori indagini?Successivamente, analisi grafica (grafici multipli dei dati alla ricerca di modelli nella variabile di risposta e modelli corrispondenti nelle x.Infine l'analisi quantitativa e ci sono una serie di statistiche utilizzate qui come suggerito da Victor.
Ri: Aumento dei problemi del modello DoECIAO @statman ,
Grazie per il chiarimento e la correzione.
Per quanto riguarda il blocco, come @I-love-jmp ha menzionato che ha ampliato il progetto, penso che significhi che ha ampliato il progetto con l'opzione "Raggruppa nuove esecuzioni in blocchi separati", aggiungendo così un fattore di blocco al progetto con un blocco per il progetto originale e un blocco per le esecuzioni aumentate. Questa può essere una pratica buona e "sicura", soprattutto quando gli esperimenti sono separati nel tempo, con possibili errori di calibrazione e/o spostamenti/derive nei sistemi di misurazione.
Pienamente d'accordo con te sulla mentalità di modellazione tra dati DoE (e un modello a priori) e dati osservativi (e un approccio di data mining/indipendente dal modello).
Ri: Aumento dei problemi del modello DoECIAO @I-love-jmp ,
Benvenuto nella Comunità!
Il messaggio di errore che hai visto potrebbe verificarsi quando si infrange il principio di ereditarietà, ad esempio introducendo un effetto quadratico o interazioni a 2 fattori ma senza introdurre i relativi effetti principali. Le DoE si basano su tre principi: scarsità degli effetti, ereditarietà degli effetti e gerarchia degli effetti, maggiori informazioni e dettagli su questa risposta: Principi DoE - Comunità JMP
Di solito, assicurarsi che siano presenti tutti gli effetti principali dovrebbe aiutare a evitare questo messaggio.
Per essere sicuri che questo messaggio sia collegato a questo problema, sarebbe meglio avere più contesto, magari un datatable che riproduca questo problema (con dati anonimizzati)?
L'impostazione "se possibile" viene utilizzata per la creazione del progetto e può influire sull'analisi. Fondamentalmente comunica a JMP (e all'algoritmo di scambio di coordinate che sta dietro) una priorità/classifica sui termini che si desidera indagare, la precisione relativa nelle stime che deve calcolare e come allocare le risorse (punti di progettazione) al fine di massimizzare l'apprendimento. che desideri (con gli effetti necessari e se possibili).
A volte possono essere assegnati punti per stimare questi effetti, a volte ciò non è possibile, a causa delle restrizioni nello spazio sperimentale e/o nel budget sperimentale (numero di esecuzioni) richiesto dall'utente. I termini dell'effetto "Se possibile" non aumentano il numero di esecuzioni richieste, quindi per impostazione predefinita ti ritroverai con lo stesso numero di esecuzioni come se non avessi inserito questi effetti nel pannello Modello.Ciò significa che nell'analisi potresti essere in grado o meno di stimare questi effetti a seconda dell'allocazione di punti e alias nella progettazione, indipendentemente dal tuo metodo di analisi.
Maggiori dettagli tecnici qui: Disegni con effetti se possibili (jmp.com)
La modellazione graduale non presuppone per impostazione predefinita l'ereditarietà degli effetti e la gerarchia degli effetti, è un metodo "agnostico" che cerca di trovare il modello migliore in base a un criterio (AICc, BIC, valori p, ...). Quindi potresti ritrovarti con modelli diversi rispetto a un approccio dei minimi quadrati standard (che rispetta tutti i principi DoE). Cercherei chiaramente di rispettare questi principi in un set di dati creato dal DoE e di non rimuovere un effetto principale (anche se statisticamente non significativo) se sono ancora presenti effetti di ordine superiore contenenti questo fattore.
Quindi Stepwise funziona, anche se si rompe l'ereditarietà o il principio gerarchico, poiché si limita a valutare molti modelli possibili e a utilizzare i termini che meglio migliorano il modello.
Poiché hai a che fare con un set di dati con una struttura e una generazione di dati specifiche, non consiglierei di utilizzare metodi di data mining/modellazione "agnostica" come Stepwise, a meno che tu non voglia confrontare la modellazione precedente con nuove informazioni provenienti da altri approcci.
È una situazione strana, poiché generalmente il BIC penalizzerebbe i modelli con più termini dell'AICc a causa delle differenze nel loro calcolo: https://www.jmp.com/support/help/en/17.1/index.shtml#page/jmp/likelihood-aicc-and-bic.shtml
Tuttavia non è raro, poiché sono riuscito a riprodurre la tua situazione molto facilmente:
Alla fine è "solo" un criterio informativo che guida nella modellazione, ciò che è interessante è confrontare su quali termini concordano e su quali differiscono, valutare i diversi modelli possibili con altre metriche (significatività statistica del modello, R² e R² adeguati, RMSE del modello ...) a seconda del tuo obiettivo e prendi la tua decisione su tutte queste informazioni E sulla tua esperienza nel dominio!
Spero che questa risposta ti possa aiutare,
Ri: Aumento dei problemi del modello DoEQuesta risposta non è un argomento ma semplicemente un punto di chiarimento. Molte persone usano i termini "gerarchia" ed "ereditarietà" in modo intercambiabile. Ecco il modo in cui JMP utilizza questi termini:
• Gerarchia degli effetti – Gli effetti del primo ordine rappresentano la maggior parte delle variazioni e gli effetti del secondo ordine
tenere conto di una minore variazione.
• Ereditarietà degli effetti – I termini di ordine superiore di solito coinvolgono fattori con effetti principali significativi.
Ri: Aumento dei problemi del modello DoEGrazie @Mark_Bailey !
Avevo in mente le stesse definizioni e nella risposta che ho citato nella mia prima risposta.
Questo è il motivo per cui ho pensato che il messaggio di errore fosse una conseguenza diretta del fatto che il file principio di ereditarietà è stato danneggiato (perché influisce sulla struttura del modello prima dell'analisi, che non è conforme al processo di generazione dei dati/struttura di progettazione) e non è una conseguenza che il principio di gerarchia è stato interrotto (poiché influisce maggiormente sull'analisi e sulla ripartizione delle variazioni una volta avviato il modello).
Potete confermare e/o spiegare?
Ri: Aumento dei problemi del modello DoEL'errore è dovuto alla violazione del principio di gerarchia.L'errore si verifica quando nell'analisi sono specificati termini di ordine superiore, ma mancano i termini di ordine inferiore.Non è possibile ottenere un errore per ereditarietà.L'ereditarietà viene utilizzata per facilitare la comprensione di termini confusi di ordine superiore.Ad esempio, supponiamo di aver eseguito un fattoriale frazionario Res IV e durante l'analisi troviamo effetti significativi.Gli effetti sono una funzione dei termini con alias (ad esempio, un effetto principale è alias con un'interazione di terzo ordine, le interazioni a 2 fattori sono alias con altre interazioni a 2 fattori).
X4= X1*X2*X3 (generatore del disegno); I=X1*X2*X3*X4
X1*X2=X3*X4
Possiamo usare il principio della gerarchia come giustificazione per concludere che l'effetto principale è probabilmente l'effetto influente rispetto a un effetto di terzo ordine.La gerarchia non aiuta a fornire assistenza per l'effetto che contiene più effetti di 2° ordine (sono la stessa gerarchia).Per aiutare a comprendere quale delle 2 interazioni dei fattori contribuisce con maggiore probabilità all'effetto significativo (ricorda che sono alias, quindi non c'è matematica che possa aiutarci), possiamo applicare il principio dell'ereditarietà.Cerchiamo di vedere se qualcuno degli effetti principali è significativo e, in tal caso, abbiamo prove che l'interazione a 2 fattori che include l'effetto principale significativo è il probabile contributore. Esempio:
X1 è significativo (X1=X2*X3*X4)
X1*X2 è significativo (X1*X2=X3*X4) sospettiamo che sia X1*X2 poiché anche X1 è attivo.
Ri: Aumento dei problemi del modello DoECaro Victor_G, statman e Mark_bailey,
innanzitutto grazie mille per i consigli, le spiegazioni e le discussioni che avete fornito riguardo alle nostre domande. Apprezziamo davvero il tuo contributo!
Ci scusiamo per la risposta tardiva a tutti voi. Per quanto riguarda il fattore di blocco, Victor_G lo ha spiegato molto bene. Il fattore è stato introdotto per tenere conto della varianza che potrebbe (o è probabile che sia) introdotta dalla separazione dei blocchi nel tempo (e ci sono altri fattori, molto probabilmente significativi, che si aggiungono al blocco oltre al tempo).
Per quanto riguarda il messaggio di errore durante la generazione del modello: considerando le tue spiegazioni sull'ereditarietà e sulla gerarchia, riteniamo che tu abbia centrato il punto e che siamo stati in grado di aggirare il messaggio di errore.
Per darti più contesto per il DoE e gli esperimenti eseguiti sottostanti, ecco il progetto Augment
Si tenga presente che per le interazioni a due fattori contenenti il fattore “a”, la stimabilità nel modello è stata impostata su “se possibile” poiché tali interazioni sono state ritenute improbabili come significative in base alla competenza in materia.
Ciò che vediamo ora nella piattaforma Fit Model con l'approccio standard dei minimi quadrati è qualcosa del genere (giallo = effetti principali, effetti quadratici, interazioni a due fattori valutate come necessarie; blu = interazioni a due fattori valutate come se possibili).
Di solito, andiamo avanti e rimuoviamo i termini dal basso verso l'alto finché nel modello rimangono solo i termini significativi. Il problema qui ora è che, prima di tutto, si verificano solo valori P molto grandi (oltre al blocco) e, in secondo luogo, gli effetti principali sono i fattori in fondo. Quindi non possiamo seguire la procedura standard “rimuovere i termini dal basso verso l’alto”. Gli effetti nascosti sotto il quadrato blu sono le interazioni “se possibili”.
Ciò che accade se eliminiamo, ad esempio, una delle interazioni "se possibile" è visivamente nulla. Ma quando ne abbiamo eliminati 3 (non importa quali), improvvisamente il modello appare così. Quindi da qui in poi potremmo sostanzialmente continuare con l’approccio di rimozione “dal basso verso l’alto”.
La domanda ora sarebbe come procedere nella generazione del modello. Non possiamo semplicemente eliminare tre delle interazioni “se possibile” poiché queste potrebbero essere termini significativi, come illustrato qui poiché alcuni di essi (quadrati blu) rimangono nel modello con valori P significativi.
A questo punto siamo abbastanza confusi, forse puoi darci un consiglio sul perché ciò accade e come possiamo risolvere questo problema?
Grazie mille per aver dedicato ancora del tempo, cordiali saluti,
C e A
Ri: Aumento dei problemi del modello DoECIAO @I-love-jmp ,
Non rispondo direttamente alle tue domande, ma potresti provare a impostare il fattore Blocco come "Casuale", poiché sei più interessato al cambiamento di variabilità dovuto al blocco (tempo e altri fattori non controllati) che a una risposta di cambiamento medio dovuta al blocco (che non sarai in grado di riprodurti).
Quando crei il tuo modello, fai clic su "Blocca" e sul triangolo rosso in Attributi per specificare questo termine come effetto casuale:
Ciò creerà un modello misto con Blocco come effetto casuale e il suo significato verrà valutato in base alla modifica della variabilità della risposta, non alla media della risposta. Ciò dovrebbe anche aiutare altri fattori a "esprimersi", poiché non verranno confrontati direttamente con il fattore di blocco.
Risponderò più tardi ad altre domande (se ancora necessarie),
