Nel mio messaggio precedente su Lord's Paradox (1967), ho mostrato come due modelli, anche se montati sugli stessi dati, possono condurre a inferenze statistiche opposte. Questi modelli sono l'analisi della covarianza (ANCOVA) e il t -Prova su un punteggio differenza calcolato da due misure ripetute di dati. In questo post, approfondisco quell'esempio precedente discutendo un terzo modello: il modello degli effetti misti lineari (LME) .
Iniziamo ricordando quali sono i vostri dati nel nostro esempio ipotetico e i risultati chiave di ANCOVA e t -test in JMP (per i risultati completi vedi il mio messaggio precedente 
Figura 1. Spaghetti trama di dati a due occasioni e sintesi dei risultati del post precedente.
Il modello ANCOVA suggerisce che c'è un effetto significativo di aver usato il prodotto di un concorrente nella soddisfazione della seconda occasione del cliente, controllando al tempo stesso la soddisfazione del cliente 1 (alcuni potrebbero chiamarlo un effetto dell'utilizzo del prodotto della concorrenza sul cambiamento di soddisfazione del cliente "residualizzato") . Il t -test, d'altra parte, suggerisce che non ci sono differenze nel modo in cui la soddisfazione del cliente è cambiata nel tempo tra coloro che hanno fatto e non hanno usato il prodotto del concorrente.
Uso di modelli di effetti misti lineari
Sapendo che diversi modelli fanno ipotesi diverse sui dati, potresti chiederti cosa succederebbe se avessi adattato un modello LME ai tuoi dati. Infatti, molti campi riconoscono i modelli LME come l'approccio all'avanguardia per la modellazione dei dati con una struttura gerarchica o annidata (ad esempio, misure ripetute annidate all'interno di individui). Qui, il modello LME può essere utilizzato per stimare un'intercetta e una pendenza (ad esempio, il cambiamento) per la soddisfazione del cliente nel tempo e l'effetto del predittore chiave su di essi. Con fortuna - ricorda che hai solo due occasioni di dati! - potresti anche essere in grado di stimare gli effetti casuali per l'intercetta e la pendenza. Cioè, le stime di come i clienti si discostano dalla traiettoria media.
I dati originali richiedono alcune manipolazioni quindi sono pronti per un modello LME (scorrere verso il basso per scaricare il file di dati da questo post, che include script per tutti i modelli LME di seguito). Diamo una rapida occhiata:
Figura 2. Dati simulati dopo la manipolazione in formato lungo. I dati ora hanno una variabile Customer Satisfaction e una variabile Time che indica il momento della valutazione (0 = time 1 e 1 = time 2). Puoi usare il Piattaforma Fit Model nel JMP con personalità di modello misto in JMP per adattarsi a un modello "incondizionato" per la soddisfazione del cliente (Suggerimento: disattivare l'opzione per centrare i polinomi perché 0 rappresenta già un valore significativo dei nostri predittori e ottenere la parametrizzazione dell'indicatore selezionando questa opzione dal menu del triangolo rosso ). Questo è un modello focalizzato esclusivamente sulla caratterizzazione delle traiettorie di soddisfazione del cliente nel tempo:
Figura 3. Risultati del modello LME incondizionato con covarianza degli effetti casuali dell'intercetta e del tempo.
Si noti che non vi è alcun errore standard associato al residuo. Questo non è sorprendente perché stiamo chiedendo troppo dai dati! I nostri dati non hanno abbastanza informazioni per stimare questo molti effetti casuali. Una soluzione per identificare correttamente il modello è eliminare la covarianza tra l'intercetta e il tempo, che in questo caso è zero:
Figura 4. Risultati del modello LME incondizionato escludendo la covarianza degli effetti casuali dell'intercetta e del tempo.
Questo modello incondizionato ci fornisce informazioni utili sul processo in esame: poiché il Tempo è codificato 0/1, l'effetto fisso significativo di Intercept suggerisce che i clienti hanno un punteggio di soddisfazione medio di 4,04 nella prima occasione di misurazione che è significativamente diversa da zero ( vedere la Figura 5). È importante sottolineare che i clienti si discostano significativamente da questo valore medio, dato l'effetto casuale significativo dell'ID cliente (questa è la varianza o l'effetto casuale dell'intercetta). Inoltre, gli effetti fissi e casuali non significativi del tempo suggeriscono che il punteggio medio di soddisfazione del cliente non cambia nella seconda occasione di valutazione e questo è vero per tutti i clienti. Poiché questo modello riguarda solo la soddisfazione del cliente, stiamo essenzialmente modellando ciò che viene illustrato qui:
Figura 5. Trama di spaghetti di traiettorie di soddisfazione del cliente individuale con traiettoria grande media sovrapposta.
Con una migliore comprensione della traiettoria di soddisfazione del cliente, possiamo tornare alla domanda originale posta dal tuo manager: c'è un effetto dell'aver usato un prodotto di un concorrente nel modo in cui la soddisfazione dei tuoi clienti è cambiata nel tempo? Bene, sappiamo già che la soddisfazione del cliente NON è cambiata nel tempo, quindi potresti decidere di fermarti qui, ma potremmo scoprire qualcosa di nuovo se esploriamo i risultati di un modello LME "condizionale". Cioè, quello in cui il nostro predittore di interesse chiave è inserito come predittore nel modello:
Figura 6. Modello LME condizionale della soddisfazione del cliente nel tempo e del predittore di raggruppamento.
Come prima, abbiamo escluso la covarianza tra l'intercettazione e il tempo perché solo due occasioni di misurazione non forniscono informazioni sufficienti per stimare tale effetto - questo può avere importanti implicazioni che approfondirò nei punti chiave qui sotto.
I nostri risultati del modello LME condizionale fanno luce su Lord's Paradox e ci aiutano a capire il quadro generale.
Interpretazione dei risultati del modello LME condizionale
Innanzitutto, nessuno degli effetti casuali è significativo, suggerendo che le stime degli effetti fissi caratterizzano la nostra intera popolazione di clienti. In secondo luogo, l'Intercept e il predittore di raggruppamento di chiavi sono significativi. Poiché Time è codificato 0/1, l'Intercept, 3.54, rappresenta il punteggio medio di soddisfazione del cliente al tempo 1 per coloro che hanno utilizzato il prodotto della concorrenza (questo è in linea con la linea rossa nella trama spaghetti della Figura 1). Non c'è alcun effetto del tempo, quindi il punteggio medio di soddisfazione del cliente di 3,54 non è cambiato dal tempo 1 al tempo 2 tra coloro che hanno utilizzato il prodotto del concorrente. L'effetto significativo del predittore chiave (la variabile di raggruppamento) indica una differenza significativa di 1 unità nella soddisfazione del cliente al tempo 1 tra coloro che hanno fatto e non hanno utilizzato il prodotto della concorrenza. Cioè, quelli che non usavano il prodotto del concorrente avevano un punteggio medio di soddisfazione del cliente di circa 4,54. Infine, la mancanza di un'interazione significativa della variabile di raggruppamento con il Tempo non indica differenze rilevabili nel tempo nella soddisfazione del cliente per coloro che non hanno utilizzato il prodotto della concorrenza.
I modelli LME ci forniscono un quadro più ampio dei modelli nei nostri dati, ma ciò si traduce in un aumento della complessità nella modellazione e nell'interpretazione dei modelli, certamente rispetto all'ANCOVA e t -test! Quindi ti lascio con alcuni punti chiave su Lord's Paradox e i tre modelli che adattiamo a questi dati.
Punti chiave
- L'ANCOVA e t -I modelli di prova hanno portato a inferenze contraddittorie. Le conclusioni contrastanti si sono verificate perché i dati sono osservazionali (provengono da uno studio non randomizzato) e presentano differenze di base sul predittore di interesse (se i clienti avessero usato un prodotto di un concorrente).
- Alcuni pensano che il modello ANCOVA sia un modello di "cambiamento residualizzato". ANCOVA è appropriato quando si analizzano i dati che provengono da uno popolazione o quando non si hanno differenze di base su un predittore di interesse (questo è probabilmente il caso in studi randomizzati).
- Il t - Il test su un punteggio differenza acquisisce il cambio di persona, ma non include informazioni sui livelli iniziali del tuo costrutto (ad esempio, soddisfazione del cliente).
- Un modello lineare di effetti misti è utile per caratterizzare un processo che si svolge nel tempo. Qui, ha chiarito i risultati apparentemente contraddittori tra l'ANCOVA e t -test. Ma con solo due punti temporali, alcuni aspetti del processo possono essere persi, come l'associazione tra il punto di partenza e il cambiamento che ne deriva - questa è stata la covarianza tra Intercept e Time nei modelli LME di cui sopra, che abbiamo impostato a zero. Nella misura in cui tale covarianza è diversa da zero, le stime nel modello possono essere distorte.
- In relazione a ciò, quando sei interessato a come una variabile cambia nel tempo e gli effetti di altre variabili in quel cambiamento, cerca di ottenere almeno tre occasioni di misurazione. Questo ti permetterà di adattare un modello LME, avere una migliore caratterizzazione del cambiamento e stimare gli effetti di interesse.
- Il paradosso di Lord è un fenomeno complesso e i ricercatori hanno opinioni divergenti su come gestire al meglio le potenziali inferenze contraddittorie. Una buona risorsa per saperne di più su questo argomento è van Breukelen (2013).
Riferimenti
Lord, FM (1967). Un paradosso nell'interpretazione dei confronti di gruppo. Bollettino psicologico, 68 anni 304-305.
van Breukelen, GJP (2013). ANCOVA rispetto al CAMBIAMENTO dal basale negli studi non randomizzati: le differenze. Ricerca comportamentale multivariata, 48 anni 895-922.
