Il mese scorso, abbiamo esplorato come utilizzare le variabili latenti nei nostri diagrammi di percorso e come i gradi di libertà possono aiutarci a guidarci verso un modello di equazione strutturale funzionante. Ma come possiamo determinare che un modello di equazione strutturale non solo funziona, ma è anche un buon modello?
Quando creiamo un diagramma di percorso, sta a noi determinare quali variabili si influenzano a vicenda, e questo non è un compito banale. Quando costruiamo un diagramma di percorso usando la nostra conoscenza del dominio, è possibile che otteniamo un modello che funzioni. Ma ciò non significa necessariamente che il modello che abbiamo creato sia un buon modello. Fortunatamente, ci sono alcune metriche che possiamo utilizzare per determinare quantitativamente quanto è buono il nostro modello. Questi sono riportati nel JMP Pro Piattaforma SEM per ogni modello.
Qualità delle metriche di adattamento
Alcune metriche vengono utilizzate in SEM per determinare quanto è buono l'adattamento del modello. Non entrerò nel dettaglio di tutti i test utilizzati, quindi se desideri un resoconto più approfondito, ti consiglio il JMP guida d'aiuto .
Invece, vorrei esaminare un paio degli indici di adattamento che utilizzo e che ho trovato essere i più utili per determinare il modello "migliore". Il primo di questi è l'AICc. Un valore AICc inferiore significa un modello più adatto. Preferisco questa metrica perché tiene conto delle dimensioni del modello ma non pone troppa enfasi su di esso. Nella mia esperienza, BIC si concentra troppo sui modelli più piccoli e quindi li favorisce troppo. L'altro vantaggio dell'utilizzo dell'AICc è che JMP Pro fornisce un AICc ponderato, che mostra la probabilità che il modello studiato sia il modello corretto rispetto agli altri modelli.
Anche se in genere utilizzo l'AICc, è sempre importante eseguire il backup dei risultati di una misurazione dell'adattamento con le altre. Pertanto, è importante controllare metriche come ChiSquare, CFI e RMSEA. In genere, vogliamo il valore ChiSquare e l'RMSEA più bassi possibili e il CFI più alto possibile. È improbabile che queste metriche non si allineino, ma in caso contrario, potrebbe valere la pena esaminare i modelli più da vicino.
Confronto di modelli
La piattaforma SEM di JMP Pro contiene una sezione per il confronto dei modelli, che ci consente di confrontare una gamma di diagrammi SEM per le stesse variabili. Il confronto è fondamentale quando si utilizza SEM e tutte le metriche fornite in questa sezione devono essere utilizzate principalmente per il confronto. Questo perché non esiste un modo definitivo per dire che "questo modello è il migliore". Al contrario, utilizziamo diversi test statistici per determinare in che misura i modelli si adattano ai dati effettivi. Pertanto, dobbiamo fare attenzione quando utilizziamo queste statistiche per convalidare il nostro modello; le statistiche potrebbero dire che il modello si adatta bene quando si guarda solo un modello, ma rispetto ad altri modelli, il modello iniziale potrebbe essere dolorosamente errato. Il modo migliore per dimostrare questa idea è attraverso un esempio.
Esempio di pista e campo
Per fornire un esempio accessibile, ho deciso di allontanarmi dal tema ingegneristico per questa serie e utilizzare un set di dati sul tempo per completare gare di corsa di diverse distanze. Si spera che questo serva anche come dimostrazione del perché la conoscenza del dominio è così importante!
Prima di eseguire questa analisi, tutte le variabili sono state standardizzate per garantire che il SEM convergesse.
Nel primo modello che ho creato, ho utilizzato due variabili latenti di "capacità di sprint" e "resistenza", con il tempo impiegato per completare ogni gara come indicatore di queste abilità.
Come puoi vedere dal confronto dei modelli sopra, JMP Pro ha automaticamente adattato un modello senza restrizioni e indipendente, a cui è stato confrontato il mio modello. Il peso AICc è 1 per il mio modello, il che significa che su tre modelli, c'è una probabilità del 100% che il mio modello sia il modello corretto. Quindi, lavoro fatto, giusto? Una probabilità del 100% di essere corretti suona abbastanza bene, ma la parte fondamentale è che è corretto solo rispetto agli altri due modelli.
È qui che la nostra conoscenza del dominio è fondamentale. È probabile che la capacità di una persona di correre e la sua capacità di correre su lunghe distanze siano indipendenti? Ovviamente no. In effetti, è molto probabile che l'allenamento per qualsiasi tipo di gara migliori i livelli di forma fisica di qualcuno in generale, quindi è probabile che entrambe le nostre variabili latenti siano collegate in qualche modo. Con questo in mente, creiamo un modello che tenga conto di questa connessione.
Il nuovo modello mostra che esiste una correlazione significativa tra le due variabili latenti come previsto. Ora, guardando il peso AICc, possiamo vedere che dei quattro modelli, il nostro nuovo modello è ora al 100% probabile che sia il vero modello. Chiaramente, questo ci porta ad alcune conclusioni:
- In primo luogo, come accennato in precedenza, non possiamo semplicemente usare queste statistiche per dire che il nostro modello è corretto, solo che lo è probabile corretto rispetto agli altri nostri modelli.
- In secondo luogo, non possiamo utilizzare un solo test statistico per determinare quanto sia buono il nostro modello.
- Infine, solo perché le nostre metriche ci dicono che il nostro modello è buono non significa che il modello sia corretto; abbiamo bisogno della conoscenza del dominio per determinare se il modello ha un senso pratico.
Per questo esempio, ho quindi modificato il modello utilizzando alcune ipotesi diverse per testare modelli diversi. Ho caricato l'esempio se vuoi esplorarlo ulteriormente, ma i risultati finali del confronto del modello sono riportati di seguito.
Spero che questo post ti abbia fornito informazioni su come determiniamo quanto bene i nostri modelli si adattano ai nostri dati. Non vedo l'ora di sapere come hai applicato questi indici di adattamento per determinare la qualità dei tuoi modelli. Ci vediamo il prossimo mese!
Grazie, @jordanwalters . È giusto dire che il SEM non è facile? Ma questo mostra come JMP Pro aiuta davvero. Vorrei averlo avuto quando stavo facendo il modulo SEM del mio Master in Statistiche. Mi avrebbe risparmiato un sacco di tempo e frustrazione!
