Il mese scorso, abbiamo esplorato come utilizzare le variabili latenti nei nostri diagrammi di percorso e come gradi di libertà può aiutarci a guidarci verso un modello di equazione strutturale funzionante. Ma come possiamo determinare che un modello di equazioni strutturali non solo funziona, ma è anche un buon modello?
Quando creiamo un diagramma di percorso, sta a noi determinare quali variabili si influenzano a vicenda, e questo non è un compito banale. Quando costruiamo un diagramma di percorso utilizzando la nostra conoscenza del dominio, è possibile che otteniamo un modello che funzioni. Ma questo non significa necessariamente che il modello che abbiamo creato sia un buon modello. Fortunatamente, ci sono alcune metriche che possiamo usare per determinare quantitativamente quanto è buono il nostro modello. Questi sono riportati nel JMPPro Piattaforma SEM per ogni modello.
Metriche di qualità dell'adattamento
Alcune metriche vengono utilizzate in SEM per determinare quanto sia buono l'adattamento del modello. Non entrerò nel dettaglio di tutti i test utilizzati, quindi se desideri una carrellata più approfondita, ti consiglio il JMP guida di aiuto .
Invece, vorrei esaminare un paio degli indici di adattamento che utilizzo e che ho trovato essere i più utili per determinare il modello "migliore". Il primo di questi è l'AICc. Un valore AICc inferiore significa un modello più adatto. Preferisco questa metrica perché tiene conto delle dimensioni del modello ma non le pone troppa enfasi. Nella mia esperienza, BIC si concentra troppo sui modelli più piccoli e quindi li favorisce troppo. L'altro vantaggio dell'utilizzo dell'AICc è che JMP Pro fornisce un AICc ponderato, che mostra la probabilità che il modello studiato sia il modello corretto rispetto agli altri modelli.
Anche se in genere utilizzo l'AICc, è sempre importante eseguire il backup dei risultati di una misurazione dell'adattamento con gli altri. Pertanto, è importante controllare metriche come ChiSquare, CFI e RMSEA. In genere, vogliamo il valore ChiSquare e l'RMSEA più bassi possibili e il CFI più alto possibile. È improbabile che queste metriche non si allineino, ma in caso contrario potrebbe valere la pena esaminare i modelli più da vicino.
Confronto di modelli
La piattaforma SEM di JMP Pro contiene una sezione per il confronto dei modelli, che ci consente di confrontare una serie di diagrammi SEM per le stesse variabili. Il confronto è fondamentale quando si utilizza SEM e tutte le metriche fornite in questa sezione dovrebbero essere utilizzate principalmente per il confronto. Questo perché non esiste un modo definitivo per dire che "questo modello è il migliore". Invece, utilizziamo diversi test statistici per determinare quanto bene i modelli si adattano ai dati effettivi. Pertanto, dobbiamo fare attenzione quando utilizziamo queste statistiche per convalidare il nostro modello; le statistiche potrebbero dire che il modello si adatta bene solo guardando un modello, ma rispetto ad altri modelli, il modello iniziale potrebbe essere dolorosamente errato. Il modo migliore per dimostrare questa idea è attraverso un esempio.
Esempio di atletica leggera
Per fornire un esempio accessibile, ho deciso di allontanarmi dal tema dell'ingegneria per questa serie e utilizzare un set di dati sul tempo per completare gare di corsa di diverse distanze. Si spera che questo serva anche come dimostrazione del perché la conoscenza del dominio è così importante!
Prima di eseguire questa analisi, tutte le variabili sono state standardizzate per garantire la convergenza del SEM.
Nel primo modello che ho creato, ho utilizzato due variabili latenti di "capacità di sprint" e "resistenza", con il tempo impiegato per completare ogni gara come indicatore di queste abilità.
Come puoi vedere dal Confronto dei modelli sopra, JMP Pro ha adattato automaticamente un modello senza restrizioni e indipendente, con cui è stato confrontato il mio modello. Il peso AICc è 1 per il mio modello, il che significa che su tre modelli, c'è una probabilità del 100% che il mio modello sia il modello corretto. Quindi, lavoro finito, giusto? Una probabilità del 100% di essere corretta sembra abbastanza buona, ma la parte fondamentale è che è corretta solo rispetto agli altri due modelli.
È qui che la nostra conoscenza del dominio è fondamentale. È probabile che la capacità di una persona di scattare e la sua capacità di correre su lunghe distanze siano indipendenti? Ovviamente no. In effetti, è molto probabile che l'allenamento per qualsiasi tipo di gara migliori i livelli di forma fisica di qualcuno in generale, quindi è probabile che entrambe le nostre variabili latenti siano collegate in qualche modo. Con questo in mente, creiamo un modello che tenga conto di questa connessione.
Il nuovo modello mostra che esiste una correlazione significativa tra le due variabili latenti come previsto. Ora, osservando il peso AICc, possiamo vedere che dei quattro modelli, il nostro nuovo modello ha ora una probabilità del 100% di essere il vero modello. Chiaramente, questo ci porta ad alcune conclusioni:
- In primo luogo, come accennato in precedenza, non possiamo usare queste statistiche solo per dire che il nostro modello è corretto, ma solo che lo è probabile corretto rispetto agli altri nostri modelli.
- In secondo luogo, non possiamo utilizzare un solo test statistico per determinare quanto sia buono il nostro modello.
- Infine, solo perché le nostre metriche ci dicono che il nostro modello è buono non significa che il modello sia corretto; abbiamo bisogno della conoscenza del dominio per determinare se il modello ha un senso pratico.
Per questo esempio, ho quindi modificato il modello utilizzando alcuni presupposti diversi per testare modelli diversi. Ho caricato l'esempio se vuoi esplorarlo ulteriormente, ma i risultati finali del confronto tra modelli sono riportati di seguito. Fai attenzione a utilizzare le colonne corrette se utilizzi il mio set di dati poiché ho dovuto trasformare i valori iniziali da secondi a minuti.
Spero che questo post ti abbia dato un'idea di come determiniamo quanto bene i nostri modelli si adattano ai nostri dati. Non vedo l'ora di sapere come hai applicato questi indici di adattamento per determinare la qualità dei tuoi modelli. Ci vediamo il prossimo mese!
Puoi vedere tutti i post nella mia serie SEM Qui .
@jordanwalters Prob > ChiSq è inferiore a 0,0001. Non è un segno che il modello non si adatta ai dati? Insinui che altre statistiche devono essere esaminate oltre all'AIC, ma dire che il modello è "probabilmente corretto" non è corretto.
@Phil_Kay Sì, è giusto. SEM non è un argomento semplice, ma con il modo visivo e interattivo in cui costruisci i modelli in JMP Pro il processo è reso il più semplice possibile. Per non parlare della finestra di stato super utile!
Grazie, @jordanwalters . È giusto dire che SEM non è facile? Ma questo dimostra come JMP Pro aiuti davvero. Vorrei averlo avuto quando stavo facendo il modulo SEM del mio Master in Statistiche. Mi avrebbe risparmiato un sacco di tempo e frustrazione!
