Domande complete sulla progettazione fattorialeCIAO!
Ho un disegno fattoriale completo con quattro fattori.Tre dei fattori hanno tre livelli e l'altro ha cinque livelli.Quindi ho 3x3x3x5 esecuzioni totali senza repliche.Ho alcune domande come segue:
1. Dopo aver eseguito il modello, mostra una significativa mancanza di adattamento.Tuttavia, non sono presenti punti dati replicati.In che modo JMP può quindi eseguire il test di adattamento della mancanza?
2. Poiché mostra una mancanza di adattamento, in base alla mia comprensione, implica che nel modello dovrebbero essere inclusi più termini.Posso aggiungere i termini quadratici nel modello?Oppure il disegno fattoriale completo viene utilizzato solo per studiare gli effetti principali e gli effetti di interazione?
3. Ho provato ad aggiungere i termini quadratici nel modello, tuttavia, la mancanza di Adattamento è stata disattivata dopo aver eseguito il modello.Perché? Non penso che il mio modello sia saturo poiché ci sono più punti dati rispetto al numero di predittori.
4. Un disegno fattoriale completo con tre livelli (-1 0 +1) può essere considerato un modello a superfici di risposta perché contiene anche fattori a livello intermedio?Perché un disegno fattoriale completo con fattori a tre livelli non è in grado di catturare la curvatura della superficie di risposta?
Grazie!
Ri: Domande sulla progettazione fattoriale completaLe decisioni prese in base al modello esplicativo utilizzano statistiche che presuppongono comunque che il modello sia corretto. Ad esempio, i rapporti F nei test degli effetti o i rapporti t nelle stime dei parametri di JMP presuppongono che la somma degli errori dei quadrati rappresenti solo le deviazioni casuali nella risposta. È possibile utilizzare solo il set di dati corrente per stimare i parametri del modello o selezionare i termini nel modello. Sono necessarie prove indipendenti per decidere se il modello è corretto. Ancora una volta, la convalida incrociata serve per la selezione del modello, non per la convalida del modello.
Intendevo che avrei trovato condizioni per le quali il modello selezionato prevede una buona risposta (ad esempio, rendimento elevato) così come condizioni per le quali ci si aspetta una risposta negativa (ad esempio, rendimento basso). La realtà spazia dal male al bene. Un modello realistico dovrebbe riprodurre tutta questa realtà. Quindi sono ragionevolmente fiducioso nelle mie decisioni (o previsioni) basate sul modello.
Ri: Domande sulla progettazione fattoriale completaGiusto per essere chiari, quando dici che " il modello non ha ancora superato il test di idoneità anche aggiungendo i termini quadratici ," vuoi dire che il test è significativo.
Il test dell’ipotesi di mancanza di adattamento non è perfetto. Nessun test di ipotesi lo è. È un modo in cui puoi utilizzare i dati per decidere se il modello attuale è distorto. L'idea è che l'attuale somma dei quadrati dell'errore sia rappresentata dalle deviazioni casuali nella risposta (non distorta) oppure sia una combinazione di deviazioni fisse e casuali (non distorta). (In questo caso non sembra che ci siano fattori con effetti casuali.) L'ipotesi nulla è che il modello sia imparziale. Applichiamo ora la stessa analisi della varianza per ottenerne un'altra F rapporto. Il test può fallire in entrambi i casi se la stima dell’errore puro è troppo piccola o troppo grande o se le ipotesi del test non vengono soddisfatte. Potrebbe anche darsi che i gradi di libertà nel F rapporto sono troppo piccoli per rendere il test affidabile.
Puoi usare valutazione onesta A Selezionare il modello migliore tra tutti i modelli candidati. Tuttavia, la convalida incrociata spesso non ha successo per questa valutazione, con un set di dati piccolo come il tuo. È destinato ai BIG DATA. Potresti invece utilizzare l'adattamento a set di dati di piccole dimensioni, la convalida incrociata K-fold. Questo metodo riguarda selezione del modello . È non la validazione del modello . Questo caso utilizza un modello empirico basato sull'adattamento di prove empiriche con una funzione di interpolazione. È necessario convalidare la propria scelta selezionando il modello, prevedendo nuove osservazioni (in condizioni diverse da quelle osservate nell'esperimento originale) e confermando le previsioni con nuove prove empiriche per aumentare la tua convinzione nel modello selezionato. Dobbiamo lavorare altrettanto duramente nella scienza per trovare prove che supportino e confutino la nostra teoria o modello, e adattarci di conseguenza, se vogliamo che il nostro modello sia realistico.
Ri: Domande sulla progettazione fattoriale completaWow, la cosa sta diventando interessante.... Quindi alcuni pensieri:
Innanzitutto sono un po' confuso dal tipo di lavoro. Hai iniziato con 3 fattori a 3 livelli e 1 fattore a 5 livelli e in un fattoriale. Tutte variabili continue. Questo mi sembra che tu sia già nello spazio ottimale? Se stessi effettuando uno screening, questo non sarebbe il primo esperimento. Ci sono modi molto più efficienti per arrivarci. Nell'eseguire l'esperimento che hai eseguito, sembrerebbe ragionevole che tu abbia già compreso gli effetti del primo ordine e stia cercando di mappare la superficie. Sinceramente non capisco questo mix di fattori e livelli, ma ovviamente non conosco la situazione. In genere, quando le persone parlano di convalida e convalida incrociata del modello, è quando creano un modello utilizzando una sorta di regressione su un set di dati esistente. Il modello che hai ottenuto dal tuo fattoriale dovrebbe essere una prova migliore delle relazioni causali (non solo un modello che spiega i dati). Quindi dovresti avere un modello dal tuo esperimento (semplificato per i fattori significativi). Ora vai a testarlo utilizzando nuovi dati (come suggerisce Mark). Questo è il metodo scientifico.. O ancora meglio vedere dove il tuo modello fallisce (in quali condizioni il modello cade a pezzi). Dato che hai dedicato così tanti sforzi alla comprensione dei fattori di progettazione, dovresti già conoscere gli effetti del rumore, altrimenti dovresti dedicare alcune delle tue risorse a capirlo. Non serve a niente avere una mappa dettagliata della base della montagna quando si cerca di arrivare in cima.
Ri: Domande sulla progettazione fattoriale completaSe intendo ottenere un modello esplicativo (cioè identificare i fattori e le interazioni più importanti) invece di un modello predittivo, è ancora necessario prevedere la risposta in nuove condizioni?Ho visto che le persone avrebbero fatto la convalida incrociata, è diverso da quello che hai suggerito? Inoltre, cosa intendi con "prevedere le condizioni che ti danno ciò che vuoi e ciò che non vuoi"
Grazie!
Ri: Domande sulla progettazione fattoriale completaLa mancanza di fit test verrebbe utilizzata per vedere se il modello quadratico è insufficiente per la risposta nello spazio di progettazione. Pensi che sia una possibilità reale o che ci siano effetti di ordine superiore che superano una piccola percentuale?
Sia che utilizzi il test LOF, dovresti confermare il modello selezionato con future osservazioni empiriche. Cioè, utilizzare il modello per prevedere la risposta in nuove condizioni (non osservate in precedenza) e testare tali condizioni. Consiglio di prevedere le condizioni che ti danno ciò che vuoi e ciò che non vuoi. Un buon modello dovrebbe prevedere la realtà, buona o cattiva che sia.
Ri: Domande sulla progettazione fattoriale completaMi scuso per l'eventuale confusione che ho causato. Lasciami essere semplice... 2 fattori a 3 livelli in un fattoriale non replicato equivalgono a 9 combinazioni di trattamento. Ciò significa che hai 8 gradi di libertà. Il modello “teorico” è:
Y=A+B+AB+AA+BB+ AAB+ABB+AABB
Cos'è AAB (o ABB)? Questa è un'interazione non lineare (quadratica in questo caso). La curvatura di A dipende dai livelli di B. Questo è certamente qualcosa che può accadere in ingegneria e scienza. Ora vedrai il modello utilizzando JMP Response Surface Macro (per costruire effetti del modello). È:
Y=A&RS+B&RS+AB+AA+BB
Quando analizzi questo modello, otterrai un termine MSE (i tre gradi di libertà (sopra in grassetto) esclusi dal modello). Questa è la base per il test F.
Ri: Domande sulla progettazione fattoriale completaMi è appena venuta in mente un'altra domanda.Mi dispiace continuare a disturbarvi tutti.Tipo cosa @Mark_Bailey Detto questo, ho scoperto che dopo aver rimosso uno dei fattori, posso eseguire il test di idoneità per mancanza.Tuttavia, il modello non ha ancora superato il test di mancanza di adattamento anche aggiungendo i termini quadratici.L'analisi in realtà ha senso per me, quindi non so perché mostri ancora una mancanza di adattamento.In questo caso, esiste un altro modo per convalidare il modello?Oppure il modello è completamente inutile?Oppure posso dividere il mio set di dati fattoriali completo (3x3x3x5=135) in dati di training, validazione e test per mostrare se il modello è utile o meno?
Ri: Domande sulla progettazione fattoriale completaCIAO @statman ,
Grazie per la tua risposta.Sì, tutti i fattori continuano con livelli discreti.Continuo a non capire bene la tua risposta alla domanda 3.Cosa intendi con ' i termini di interazione non lineare non sono considerati inclusi nel modello ' E ' i termini di interazione non lineare sono raggruppati nel MSE '?Come e perché i termini di interazione non lineare vengono raggruppati nel MSE?
Migliore,
Ri: Domande sulla progettazione fattoriale completaGrazie Marco per il chiarimento.Adesso ha senso.Ho un'altra domanda.Quindi posso ancora utilizzare il modello che include i termini quadratici ma non consente il test di mancanza di adattamento?
Ri: Domande sulla progettazione fattoriale completaDiciamo che progetto un esperimento fattoriale completo per 5 fattori, ciascuno a 3 livelli. Successivamente nell'analisi elimino tutti i termini che includono uno dei fattori. Ogni volta che si verifica questo tipo di riduzione del modello, lo spazio di progettazione (ad esempio, 5-D) si proietta in un numero inferiore di dimensioni (ad esempio, 4-D) e il progetto originale è ora un progetto replicato per i restanti 4 fattori. Anche un disegno fattoriale completo per 2 fattori, ciascuno a 2 livelli, presenta alcune repliche. Ad esempio, ciascun fattore viene testato due volte a ciascun livello. Così come @statman sottolineato, dipende da come usi i tuoi gradi di libertà. Vengono raggruppati, ad esempio, per la somma degli errori dei quadrati. Forniscono una stima dell'RMSE dipendente dal modello, ma ehi, non è un cattivo affare.
La mancanza di test di adattamento richiede (1) repliche e (2) il fattore presenta 2 livelli in più rispetto all'ordine del modello. Quindi se hai un modello del primo ordine (ordine 1), hai bisogno di 3 livelli distinti. Se hai un modello quadratico (ordine 2), allora hai bisogno di 4 livelli distinti. Ma non è necessario replicare l'intero progetto.
Ri: Domande sulla progettazione fattoriale completaCiao Mark,
Grazie per la tua risposta.Sì, il mio modello ha solo i termini del primo ordine e di interazione.Tuttavia ancora non ho capito bene cosa intendi con " hai una sorta di replica e soddisfi tutti gli altri requisiti per la mancanza di fit test. ' Cos'è una sorta di replica?Non ho avuto alcuna misurazione replicata nelle stesse condizioni.E quali sono gli altri requisiti per la mancanza del fit test?Hai nominato ' numero di livelli distinti rispetto all'ordine del modello '. Puoi spiegarlo anche più dettagliatamente?Grazie mille!
Ri: Domande sulla progettazione fattoriale completaMark, come al solito, ha dato le risposte che hai chiesto. Ho solo alcune domande/feedback da aggiungere:
La prima domanda è; I fattori sono tutti continui?
1. Sì, hai escluso i termini dal modello, da qui la mancanza di dialogo adeguato. Potresti scrivere un modello saturo per i 44 gradi di libertà, ma ciò includerebbe termini cubici e quartici (e le loro interazioni) per il fattore di livello 5 e altri termini di interazione non lineare.
2. I fattoriali completi sono progetti a piena risoluzione... pertanto è possibile stimare ogni grado di libertà. Se ogni termine abbia senso o meno è una questione diversa.
3. Non ne sono sicuro, ma suppongo che i termini di interazione non lineare non siano considerati inclusi nel modello. Ho notato che quando si utilizza JMP per costruire effetti del modello e utilizzare la Response Surface Macro, i termini di interazione non lineare vengono raggruppati in MSE.
4. Non importa come lo chiami, puoi certamente stimare gli effetti quadratici per un fattoriale con fattori a 3 livelli.
Ri: Domande sulla progettazione fattoriale completaIl tuo modello è tale da avere solo termini del primo ordine? Se è così, hai una sorta di replica e soddisfi tutti gli altri requisiti per la mancanza di fit test.
Sì, puoi aggiungere termini quadratici. I tuoi dati potrebbero supportare il modello più complesso, ma non esiste alcuna garanzia. Penso che funzionerà nel tuo caso, però.
Non si soddisfano più i requisiti per la mancanza di fit test: repliche e numero di livelli distinti rispetto all'ordine del modello.
Il termine "progetto della superficie di risposta" si riferisce generalmente a progetti classici come i progetti Box-Wilson e Box-Behnken, ma qualsiasi progetto utilizzato per ottimizzare i livelli dei fattori potrebbe essere chiamato progetto RSM.
Il disegno fattoriale completo a tre livelli può essere utilizzato per stimare il modello del secondo ordine.
