Hai mai analizzato gli stessi dati utilizzando due modelli diversi ma appropriati che hanno portato a inferenze completamente diverse? Allora potresti aver incontrato Il paradosso di Lord (Signore, 1967).
Lord's Paradox (Lord, 1967) ha sconcertato i ricercatori per decenni! Soprattutto quelli che lavorano in aree in cui gli esperimenti progettati non sono possibili (pensate agli psicologi che studiano i genitori e non possono assegnare casualmente i figli a genitori buoni e cattivi).
Quindi, come può accadere? Spiegherò con un esempio.
Il set up
Immagina di essere un nuovo analista di dati di una start-up emergente. Il tuo manager è desideroso di metterti a bordo per aiutarla a scoprire le informazioni di un set di dati che ha recentemente acquisito. Vuole che tu esamini come la soddisfazione del cliente sia cambiata rispetto al primo anno della compagnia.
Ha intervistato 100 clienti quando l'azienda ha iniziato a ispezionarli per la prima volta un paio di settimane fa (un anno dopo). Si preoccupa in particolare della precedente esperienza dei clienti con un prodotto di un concorrente chiave e se questo ha un effetto sul modo in cui la soddisfazione del cliente è cambiata nel primo anno di attività. Dopo averti consegnato i dati, il tuo manager esprime il suo desiderio di incontrarti al più presto per conoscere le tue scoperte. Usate JMP per aprire il file, e sembra così:
Figura 1. Dati simulati di soddisfazione del cliente. Dicci quale analisi eseguiresti nei commenti qui sotto.
Hai informazioni sul fatto che un cliente abbia utilizzato (o non abbia utilizzato) il prodotto del concorrente prima di utilizzare il tuo. Hai anche la soddisfazione del cliente da quando l'azienda ha iniziato (al 1 ° o al 1 ° T) e un anno dopo (un paio di settimane fa, o T2), e hai una colonna "Modifica nella soddisfazione del cliente", che è semplicemente la differenza tra T2 - T1. Sembra un progetto semplice!
Potresti pensare ad alcuni modi di analizzare questi dati, ma lascia che attiri la tua attenzione su due opzioni:
1) Che ne dici di fare un analisi della covarianza (alias modello di cambiamento residualizzato)? È possibile utilizzare la piattaforma Fit Model in JMP (Analizza -> Adatta modello: personalità Least Squares standard) con Customer Satisfaction all'ora 2 come risultato. Includere la variabile di raggruppamento, Prodotto della concorrenza utilizzata, come predittore e Soddisfazione del cliente al tempo 1 come covariata (entrambi saranno aggiunti come "Effetti modello Costruisci"). Il vostro principale interesse è il potenziale effetto della variabile di raggruppamento sulla Soddisfazione del cliente al momento 2, ma assicuratevi di includere la Soddisfazione del cliente al momento 1 nel modello per controllare i livelli di base di questa variabile. Ecco le stime di quel modello ( Suggerimento JMP: È possibile ottenere la parametrizzazione dell'indicatore selezionando questa opzione nel menu a triangolo rosso del report di analisi):
Figura 2. Risultati dell'analisi della covarianza. Il risultato è la soddisfazione del cliente al momento 2.
Sulla base di questi risultati, è possibile concludere che c'è un effetto di aver usato il prodotto della concorrenza prima di utilizzare la vostra azienda! Sembra che l'attuale Soddisfazione del Cliente sia significativamente inferiore (di circa 1,02 unità) per coloro che hanno usato il prodotto del concorrente prima di usare il tuo (il tuo manager sarà entusiasta di apprenderlo)! Anche l'R-squared suggerisce che questo non è banale; L'80% della varianza nel tuo risultato è spiegato dai predittori.
2) Ma aspetta, che ne dici di fare semplicemente a t- test con i punteggi del cambiamento? Puoi utilizzare la piattaforma Bivariate (Analizza -> Adatta Y da X -> Mezzi / Anova / Pooled t) inserendo la colonna Modifica Customer Satisfaction come risultato e Prodotto usato della concorrenza come variabile di raggruppamento (equivale a fare un senso unico ANOVA o una semplice regressione lineare con la variabile di raggruppamento come predittore, ed è anche equivalente a un campione appaiato t -test sui punteggi T1 e T2 ma questo è un argomento per un altro post sul blog). Dopo tutto, il tuo manager ha sottolineato il suo interesse a capire come la soddisfazione del cliente i cambiamenti . Diamo un'occhiata alle stime di questo modello:
Figura 3. Risultati del t-test sui punteggi dei cambiamenti.
Hmm ... cosa è andato storto? Secondo questo modello (e ti prometto di adattarlo alla stessa tabella dati), non vi è alcuna differenza significativa nel modo in cui la soddisfazione del cliente è cambiata rispetto all'anno precedente tra coloro che hanno usato il prodotto della concorrenza e quelli che non l'hanno fatto. Ancora più sorprendente è il quadrato R quasi zero di questo modello!
Questo è il paradosso di Lord: la possibilità di arrivare a inferenze completamente diverse sulla base degli stessi dati, ma di modelli diversi, che sembrano entrambi appropriati. Quindi sveliamo cosa c'è dietro questo puzzle, iniziando col tracciare i dati usando Graph Builder in JMP:
Svelare il puzzle
Figura 4. Scatterplot della soddisfazione del cliente ai tempi 1 e 2 per gruppo (ovvero se i clienti hanno utilizzato il prodotto del concorrente). Viene inoltre visualizzata la linea di miglior adattamento per gruppo e intervalli di confidenza al 95%. Si noti che i punteggi di soddisfazione del cliente dal primo rilevamento (asse x) sono sistematicamente diversi tra coloro che hanno utilizzato il prodotto della concorrenza e quelli che non lo hanno fatto. Infatti, i clienti che hanno utilizzato il prodotto della concorrenza prima della propria azienda hanno avuto una minore soddisfazione del cliente (forse hanno faticato ad adattarsi a un nuovo prodotto) e coloro che non hanno utilizzato il prodotto della concorrenza hanno avuto una maggiore soddisfazione da parte del cliente . Inoltre, non osserviamo i clienti che non hanno utilizzato il prodotto del concorrente che ha riscontrato un'elevata soddisfazione al momento 1.
Quindi, perché il tuo primo modello indica un effetto significativo quando il secondo modello non lo fa? Risulta che l'analisi della covarianza fa presupporre implicitamente che il tuo campione provenga uno popolazione. Se i dati provenissero veramente da una popolazione, considereremmo insolito avere differenze medie di gruppo al basale (perché abbiamo preso a caso dalla popolazione) e ci aspetteremmo che il secondo sondaggio significhi, per quelli che hanno fatto o no usa il prodotto del tuo concorrente per avvicinarti alla grande media (questo artefatto statistico è noto come regressione verso la media ). Ma qui, la media all'interno di ogni gruppo rimane quasi identica nel tempo, e affinché ciò accada - quando hai campionato da una popolazione - ci deve essere una forza (cioè un effetto) che mantenga i mezzi per avvicinarsi l'uno all'altro. Questa "forza" è l'effetto identificato dall'analisi della covarianza. D'altra parte, il t -test non implica tale ipotesi, ei risultati riflettono questo nell'effetto null. Forse tracciare i dati in un modo diverso può illustrarlo ulteriormente ...
Figura 5. La forza che mantiene le traiettorie medie dalla regressione verso la grande media è sovrapposta alla trama di spaghetti. Possiamo vedere che gli individui hanno avuto pochi cambiamenti nel tempo e anche la tendenza generale è rimasta invariata; quelli che hanno iniziato basso / alto sono rimasti bassi / alti nella soddisfazione dei propri clienti.
Quindi, dato quello che sappiamo ora, che intuizione condividerai con il tuo manager? Segnalerai l'effetto di aver usato il prodotto della concorrenza sulla soddisfazione del cliente? Bene, se ti trovi di fronte a una situazione come questa nella vita reale, assicurati di leggere di più su questo argomento (l'ho sicuramente semplificato troppo qui); un utile articolo è van Breukelen (2013).
Ma per il momento, permettimi di chiarire che non saresti in un tale sottaceto se questi dati fossero stati raccolti come parte di un esperimento progettato. L'assegnazione casuale è una caratteristica fondamentale degli esperimenti progettati che ci consente di garantire la variabilità dovuta alle idiosincrasie dei clienti che è equamente distribuita tra i gruppi. Cioè, l'ipotesi sottostante che hai campionato da una popolazione dall'inizio sarebbe stata soddisfatta e i due modelli che ho descritto qui porteranno alle stesse conclusioni (anche se l'analisi della covarianza ha più potere).
Punti chiave
Per facilitare la confusione che questo argomento è noto per suscitare, ti lascio con alcuni punti da portare a casa che possono aiutarti quando affronti la tua prossima domanda guidata dai dati:
- Sfruttare visualizzazione utensili. Conosci i tuoi dati prima di montare un modello. Spesso, sappiamo cercare i valori anomali e gli errori di immissione dei dati, ma ricordiamo anche di cercare i presupposti del modello.
- Ho simulato i dati per questo esempio e puoi accedere al file qui se sei incline a giocare con te stesso. Indubbiamente, ho creato uno scenario in cui le differenze tra i modelli sono impressionanti. Ciò facilita la mia illustrazione dei problemi, ma ciò non significa che non si possa incontrare Lord's Paradox nelle proprie analisi con dati reali.
- I dati di osservazione sono difficili. Ricorda il detto, la correlazione non implica la causalità ? Indipendentemente dal modello che ritieni appropriato per i tuoi dati, nessuno dei due ti dice se il prodotto del tuo concorrente è da biasimare per i livelli di soddisfazione dei tuoi clienti.
- Utilizzare il Progettazione di esperimenti (DOE) strumenti in JMP. I problemi che ho delineato qui si incontrano solo negli studi osservazionali. Entrambi i modelli di cui sopra arriveranno alla stessa inferenza se conduci un esperimento controllato. Finché puoi assegnare casualmente i tuoi clienti ai diversi gruppi, dovresti sempre preferire condurre un esperimento e la piattaforma DOE può aiutarti a fare proprio questo!
- Replica, replica, replica. Che cosa succede se abbiamo dato questi dati a due diversi analisti e uno si adatta all'analisi della covarianza e l'altro a t -test? Questo post illustra una delle molte ragioni per cui le nuove analisi potrebbero non replicare i risultati precedenti. Non possiamo trascurare l'importanza della replicabilità. Questo punto è essenziale indipendentemente dal fatto che i tuoi dati siano osservativi o sperimentali. Se è possibile convalidare i risultati con un campione indipendente, farlo. E quando lo fai, assicurati che il tuo approccio di analisi sia allineato con quello dello studio originale.
Ho forse stuzzicato il tuo interesse per continuare a leggere su questo argomento? Se è così, cerca un prossimo post in cui ho adattato un modello di effetti misti lineari a questi dati.
Riferimenti
Lord, FM (1967). Un paradosso nell'interpretazione dei confronti di gruppo. Bollettino psicologico, 68 anni 304-305.
van Breukelen, GJP (2013). ANCOVA rispetto al CAMBIAMENTO dal basale negli studi non randomizzati: le differenze. Ricerca comportamentale multivariata, 48 anni 895-922.
