Problema con l'analisi RSMCaro staff e utenti di JMP!
Sono uno studente universitario e sono in procinto di fare una ricerca. Ho alcuni problemi con l'analisi dei risultati. Ho utilizzato RSM (design classico) per ottimizzare la mia risposta con una matrice comprendente 3 variabili indipendenti. Per aumentare il livello di confidenza, ho aggiunto 1 replica nel mio progetto, quindi la matrice includeva 40 esecuzioni. Quindi ho iniziato ad analizzare i risultati del disegno della matrice sperimentale, il mio valore R2 è del 96% e il valore P <0,001 ma la mancanza di valore di adattamento di P è significativa. In un altro modo, non ho mostrato la replica nel mio progetto, ma ogni esecuzione è stata comunque replicata 1 volta e calcolato il valore medio. Quindi, il mio valore R2 e P non vengono modificati e la mancanza di valore di adattamento di P non è significativa. Pertanto, voglio sapere qual è il modo giusto per analizzare i risultati?
Non vedo l'ora delle vostre risposte.
Migliore per quanto riguarda!
Esplorazione e visualizzazione dei datiProgettazione di esperimentiCondivisione e comunicazione dei risultatiRe: Problema con l'analisi RSMÈ stato un piacere aiutare Sarei interessato a vedere la tua tesi, se puoi condividerla. Si tratta di dati davvero interessanti, quindi spero che li pubblicherete e li renderete disponibili per uso pubblico.
Re: Problema con l'analisi RSMCaro signor Phil_Kay!
Questo risultato è stato utilizzato nella mia tesi di laurea. Mille grazie per aver dedicato il tuo tempo prezioso alla risoluzione del mio problema, lo apprezzo davvero!
Migliore per quanto riguarda!
Re: Problema con l'analisi RSMCiao di nuovo, @HoaLe99 !
Questo è un esempio davvero interessante! Ho appena trascorso le ultime 2 ore esplorando questo argomento quando in realtà dovrei fare altre cose. Ma è stato così divertente. Grazie per aver condiviso!
Prima di tutto, riguardo alla soglia: non stavo consigliando di modificare la soglia del valore p nell'analisi. Penso che tu possa farlo, ma non cambierebbe nulla. Otterresti comunque esattamente la stessa analisi e gli stessi valori p. In realtà stavo solo dicendo che dichiariamo "significativo" quando un valore p è inferiore alla soglia di 0,05. E quella soglia è solo una convenzione o una “regola pratica”. Potremmo facilmente utilizzare una soglia diversa e ciò cambierebbe ciò che consideriamo “significativo”.
In ogni caso, in questo caso è in gran parte irrilevante perché il valore p per la mancanza di adattamento è molto inferiore a 0,05. Sembra davvero che tu abbia una grave mancanza di adattamento, come puoi vedere da alcune trame:
Nota come i punti non sono solo distribuiti casualmente attorno alla linea nel rapporto effettivo rispetto a quello previsto. Ci sono raggruppamenti sopra e sotto la linea in punti diversi.
Ciò suggerisce che il modello è in qualche modo inadeguato, quindi potrebbe richiedere termini di ordine superiore. Hai considerato solo i termini del primo e del secondo ordine (il modello RSM). Ho cercato di aggiungere termini del terzo ordine.
Questo è complicato perché ci sono più termini di terzo ordine di quanti ne puoi inserire. In realtà ho utilizzato alcuni degli strumenti di JMP Pro per aiutarmi in questo, tra cui Best Subset e SVEM Lasso in Gen Reg in JMP Pro 17. Tuttavia, puoi utilizzare Stepwise in JMP standard. Ho bloccato tutti i termini del secondo ordine e poi sono andato avanti passo passo per vedere quali termini del terzo ordine erano più importanti. (C'è uno script per Stepwise nella versione allegata della tabella)
Mi è sembrato anche che la tua risposta non dovesse essere inferiore a zero e possibilmente non maggiore di 1, quindi ho aggiunto una trasformazione Logit alla risposta per il modello "migliore" (script nella tabella allegata). Senza questa trasformazione puoi ottenere previsioni di risposta inferiori a 0, cosa che sospetto non sia possibile qui.
Ho scoperto che il modello migliore era l'RSM con il termine cubico per X2 (X2*X2*X2) e l'interazione di X3 con il quadratico di X1 (X1*X1*X3). Questo è un effetto complicato. Ciò significa che la natura curvilinea di X1 è influenzata da X3. La curva di X1 è più pronunciata quando X3 è più alto. Forse ha senso scientificamente? È insolito inserirli in modelli di esperimenti, ma la mia sensazione è che probabilmente in molti casi si tratta di effetti piuttosto importanti.
Il modello presenta ancora una significativa mancanza di adattamento, ma è molto inferiore (p = 0,009 contro 0,0004). E i residui mi sembrano tutti migliori. Per migliorare ulteriormente il modello probabilmente dovresti aumentarlo con più esecuzioni per testare i termini del 3° ordine. Non sono sicuro che ne varrebbe la pena, ma dipende dallo scopo per cui ti serve il modello.
Questo è un esempio davvero interessante, quindi per favore fatemi sapere se verrà mai pubblicato o se andrebbe bene usarlo in forma anonima.
Spero che questo ti sia stato utile. Sospetto che il modello che già avevi sarebbe stato utile per i tuoi obiettivi. Il modello migliorato sembra migliore dal punto di vista statistico, ma la differenza potrebbe non essere così importante in pratica.
Fil
Re: Problema con l'analisi RSMCaro signor Phil_Kay!
Ho capito cosa hai detto ma non so come impostare un'altra soglia del valore p in JMP. Potete indicarmi il modo per configurarlo? E ho allegato un file e un'immagine sul mio modello di seguito. Puoi aiutarmi a controllarlo?
Grazie molto
Re: Problema con l'analisi RSMSono così grato per il tuo aiuto!
Re: Problema con l'analisi RSMGrazie mille per il tuo aiuto, lo apprezzo davvero!
Re: Problema con l'analisi RSMEcco cosa faccio quando vedo una mancanza di adattamento in un DOE.
1. Salva i miei residui nella tabella dati.La trama quindi contro ciascuno dei fattori che abbiamo nella progettazione.Cerca modelli che potrebbero essere indicativi della causa della mancanza di adattamento.
2. L'ANOVA per mancanza di adattamento decompone la variazione dell'errore in una componente di mancanza di adattamento e in errore puro.Vedo spesso che le persone sottovalutano la pura componente di errore: ciò si verifica perché ci sono pochi DoF che contribuiscono alla stima o perché la procedura sperimentale non ha catturato completamente la variabilità che stiamo cercando nella replica.Trova le righe nella tabella dei dati che corrispondono a queste repliche e cambia il colore.Ora guarda i grafici nel passaggio (1).Molto probabilmente la variazione nei grafici è molto più piccola di quella che vedi nei punti replicati: perché?O la mancanza di adattamento è troppo grande (cioè è necessario migliorare il modello) o l'errore puro è troppo piccolo (la procedura sperimentale ha sottostimato la variazione).
3. Traccia i tuoi residui rispetto ai valori previsti.L'"involucro" che contiene i residui dovrebbe essere uniforme nell'intervallo dei valori previsti.Se, ad esempio, diverge all'aumentare dei valori previsti, ciò potrebbe suggerire che il modello migliorerebbe con una trasformazione logaritmica.È possibile utilizzare l'opzione di trasformazione Box-Cox per analizzare le trasformazioni.
Re: Problema con l'analisi RSMSiamo spiacenti, potresti anche considerare una trasformazione della risposta. Soprattutto se hai motivo di ritenere che una distribuzione normale non sia appropriata. Ad esempio, se la risposta è % rendimento, ad esempio.
Re: Problema con l'analisi RSMCIAO @HoaLe99 ,
Giusto per chiarire, dicendo che hai aggiunto 1 replica intendi che avevi un progetto con 20 sequenze (probabilmente il composito centrale con 6 punti centrali) e hai duplicato tutte le sequenze per 40 sequenze in totale? E posso verificare che siano repliche vere. Cioè, tutte le 40 analisi sono state eseguite in modo indipendente anziché limitarsi a replicare la misurazione della risposta.
Supponendo che sia tutto vero, la prima analisi effettuata con 40 esecuzioni è appropriata. Questa analisi riflette correttamente il rumore dell'esperimento e quindi ci si potrebbe aspettare che dia luogo a rilevare una significativa mancanza di adattamento.
Una significativa mancanza di adattamento non è necessariamente un problema. Ciò indica che il modello potrebbe non essere del tutto adeguato.
Dovresti considerare quanto è grande la mancanza di adattamento. Poiché hai così tante repliche (penso che tu abbia anche molti punti centrali ripetuti) il test sarà sensibile nel rilevare una mancanza di adattamento davvero molto piccola come significativa.
Ricorda inoltre che la significatività si basa su una scelta abbastanza arbitraria della soglia del valore p (di solito 0,05). Potresti ragionevolmente scegliere un'altra soglia (diciamo 0,01) e la mancanza di adattamento non sarebbe più "significativa".
Dovresti considerare altre parti del rapporto, inclusi i grafici dei residui, per valutare se c'è davvero un problema con il modello. In che modo il modello aiuta a raggiungere i tuoi obiettivi generali? L'elevato R^2 indica che il modello sta catturando quasi tutta la variazione nei dati di risposta, il che è positivo.
Spero che aiuti,
Fil
