Ciao,
abbiamo un'azienda farmaceutica che ha bisogno di una nostra documentazione (carta bianca, pubblicazioni scientifiche, ...) per giustificare la tecnica di modellazione che usano (a seconda dei risultati che hanno utilizzato Lazo, selezione in avanti, selezione in avanti a due fasi). Per il momento ho suggerito che la selezione basata su AICc sia la giusta giustificazione ma chiedendomi se abbiamo qualche documentazione che possa aiutarli.
Emmanuel
@clay_barker
Per usare l'AICc c'è l'eccellente libro di Burnham e Anderson "Model Selection and Multimodel Inference".Nel libro, spiegano come AICc sia una guida molto versatile per le decisioni su quali variabili / effetti includere e anche per guidare le decisioni su quale distribuzione delle risposte usare.Hanno il libro, che puoi ordinare, ma gli autori hanno anche monografie liberamente disponibili che trasmettono le stesse informazioni.
Una cosa che è molto sottovalutata è come le procedure classiche, in particolare i valori p, in particolare, siano una guida molto scarsa per la selezione del modello. Le ragioni di ciò sono numerose. Uno è che i valori p fanno presupposto critico che il modello in fase di test sia l'unico che si intendeva utilizzare quando lo studio è stato pianificato. Qualsiasi procedura di selezione, dal Lazo, alla selezione in avanti, alla selezione manuale all'indietro eliminando i termini con valori di p "grandi", viola questa ipotesi non appena viene apportata la prima modifica al modello.Una volta apportata una singola modifica al modello utilizzando un algoritmo di selezione, il comportamento dei valori p non è più definito.
Un altro grosso problema è che i valori p non possono essere utilizzati per confrontare modelli che non sono ordinati, in quanto un modello è una semplificazione o un caso speciale dell'altro (come se un modello fosse uguale all'altro, ma con determinati coefficienti impostati a zero ).Quindi un modello con due effetti principali e un'interazione tra loro non può essere confrontato utilizzando metodi basati sul valore p con un modello con tre effetti principali e nessuna interazione, poiché un modello non contiene l'altro.
Una carenza molto importante e sottovalutata è che non è possibile utilizzare i valori p per confrontare le diverse distribuzioni. Ad esempio, se i dati sono strettamente positivi, dovresti considerare le distribuzioni gamma e lognormale, oltre all'adattamento dei minimi quadrati. La 'positività' della risposta significa che matematicamente devono esserci termini di curvatura che sono attivi dove la media è piccola, in un adattamento dei minimi quadrati, ma queste distribuzioni non normali possono gestire il confine a zero senza necessariamente aver bisogno di curvatura. Quindi spesso è possibile ottenere un adattamento migliore con meno termini adattando modelli con distribuzioni di risposta diverse. Usare l'AICc (e / o il BIC) per guidare la decisione riguardo a quale distribuzione ha la risposta e l'effetto che è importante è statisticamente valido e facile da sfruttare per il professionista con un minimo di formazione.
Quest'ultimo problema di scelta delle distribuzioni è importante e richiede un paio di commenti collaterali. Uno è che la distribuzione della risposta * deve * essere decisa in parallelo con la struttura dell'effetto. È un * grave * errore utilizzare la piattaforma di distribuzione per decidere prima la distribuzione, ignorando gli effetti, e poi andare a GenReg per decidere la struttura degli effetti in base alle raccomandazioni della distribuzione. Clay Barker ha delle presentazioni di Discovery su questo. Ad esempio, supponiamo di avere un fattore a due livelli e che ci sia davvero una differenza di media tra i livelli. La piattaforma di distribuzione ti dirà che la distribuzione della risposta è una miscela 2 gaussiana. Tuttavia, una volta incorporato il fattore nel modello, è probabile che una distribuzione gaussiana (non mista) sia la risposta giusta.
Il secondo aspetto di questo è l'uso delle distribuzioni come un modo più basato sui principi di risolvere il problema che prima veniva deciso trasformando la risposta.Ai vecchi tempi si provava a modellare sulla scala naturale, poi si modellava sulla scala trasformata in logaritmo, e poi si prendeva una decisione basata su grafici diagnostici e cosa no. Non è stato possibile confrontare gli SSE dei modelli sulle due scale perché erano in unità diverse, il che significava che anche gli RSquares non erano confrontabili. D'altra parte, è perfettamente fondato ed equo usare la selezione in avanti e l'AICc sulla distribuzione normale (che è un altro modo per dire i minimi quadrati), quindi fare la stessa cosa usando la distribuzione logNormal ed effettuare il confronto finale usando l'AICc.
Ad ogni modo, molti di questi concetti sono stati chiariti da Burnham e Anderson, così come il loro ragionamento per le regole pratiche per confrontare gli AICc.Il libro è destinato a persone con una laurea in scienze o ingegneria. Gli autori sono ecologisti. Quindi, dovrebbe essere comprensibile a gran parte degli utenti di JMP e non è un tomo astratto di statistiche teoriche arcane.
Forse per aggiungere l'argomento, analizzano i loro DOE con GenReg e per i loro clienti e le autorità hanno bisogno di giustificare il motivo per cui hanno utilizzato quale metodo per questa analisi DOE, come ha detto Emmanuel, ad esempio utilizzando Lasso per un DOE RSM. Perché hanno usato Lazo rispetto a Forward o Elastic net.
C'è qualche pubblicazione a cui fare riferimento in modo che possano presentare questo documento di riferimento insieme alla loro analisi?
@clay_barker @ chris_gotwalt1
