Potresti aver sentito parlare della crisi di replicazione nella ricerca, in particolare nel campo della psicologia. Uno dei test decisivi per la ricerca è che i risultati dovrebbero essere replicabili, vale a dire che un altro ricercatore che lavora nelle stesse condizioni e utilizzando gli stessi metodi dovrebbe essere in grado di produrre risultati simili. Gli scienziati sono sempre più preoccupati di questo molte ricerche pubblicate non sono replicabili , o perché i dati non sono disponibili o perché i risultati si basano su piccoli campioni che non possono essere generalizzati alla popolazione più ampia. La natura complicata di alcune ricerche significa che possono causare errori di codifica nell'analisi dei dati risultati fuorvianti e questi problemi potrebbero essere quasi impossibili da trovare. C'è molta preoccupazione anche riguardo P -hacking: dove i ricercatori testare decine di ipotesi e riportare solo quelle significative .
Ciò dovrebbe dare una pausa a quelli di noi che si occupano di scienze del marketing e ricerche di mercato. Molte delle critiche di cui sopra si applicano ai nostri metodi di routine. Spesso esaminiamo i sondaggi tra i clienti alla ricerca di modelli, ignorando quelli che non sembrano adatti. I nostri rapporti al management evidenziano risultati significativi e tralasciano i dettagli di come siamo arrivati a quel punto, comprese le trasformazioni dei dati, i soggetti esclusi e la metodologia di ricerca. Le tempistiche brevi per la maggior parte dei progetti di ricerca di mercato implicano che i risultati debbano essere ottenuti rapidamente e lavorare rapidamente rende più facile commettere errori.
Non importa che le cose che più vogliamo misurare siano concetti. Felicità del cliente, probabilità di essere consigliato, appeal del prodotto: queste sono tutte idee preziose per la nostra attività. Sono anche intrinsecamente rumorosi e notoriamente fuorvianti. A un potenziale cliente potrebbe piacere l'aspetto di una nuova auto, ma ciò non significa che la comprerà. Un cliente che oggi è soddisfatto dell'offerta di un prodotto potrebbe essere furioso quando un concorrente offre un prodotto simile a un prezzo inferiore domani. La probabilità di essere raccomandato potrebbe avere senso per servizi professionali come avvocati e idraulici, ma significa qualcosa per un bar locale?
Niente di tutto ciò ci esime dal svolgere attentamente il nostro lavoro. In effetti, è mia opinione che le particolari questioni della ricerca di mercato rendano ancora più importante seguire le regole della buona scienza, alcune delle quali ho menzionato in un articolo post precedente .
La colpa dei nostri strumenti (analitici).
Tradizionalmente, gli strumenti di analisi statistica si basano su un linguaggio di scripting di qualche tipo (R, SAS , SPSS) o su azioni "punta e clicca" da parte dell'utente ( JMP , Excel). Per riprodurre i passaggi di un'analisi, devi dipendere dal ricercatore per documentare e raccogliere il codice (un compito non facile), oppure devi documentare in qualche modo i clic del mouse. In entrambi i casi spetta al ricercatore annotare tutto, il che richiede molto tempo ed è soggetto a errori. La necessità di una migliore documentazione del processo di ricerca ha ispirato gli scienziati a costruire strumenti che aiutano a combinare dati, codice e documentazione così altri scienziati possono riprodurre le loro scoperte.
Linguaggio di scripting JMP come documentazione per le analisi
Uno dei miei preferiti JMP funzionalità è l'opzione "Salva script nella tabella dati" che si trova nel menu del triangolo rosso di qualsiasi piattaforma. JMP è stato originariamente sviluppato per scienziati e ingegneri. Fin dall'inizio divenne ovvio che, anche se il prodotto doveva essere punta e clicca, i nostri utenti previsti dovevano ricreare quei clic del mouse con la semplice pressione di un pulsante, e così è nato il linguaggio di scripting JMP.
Salvare lo script nella tabella dati significa che chiunque disponga dei dati può ricreare l'analisi. Possono anche esplorare ulteriormente, modificando le impostazioni, escludendo o deescludendo righe o provando diverse trasformazioni. Il loro lavoro può quindi essere salvato anche nella tabella dati e ricondiviso con altri colleghi. Sì, puoi farlo con altre piattaforme software, ma gli strumenti di JMP sono tra i più semplici e intuitivi che abbia mai visto.
Nascondi ed escludi righe, colonne formula: modifiche ai dati autodocumentanti
Non tutti rispondono attentamente alle tue domande, anche le misurazioni effettuate dalle macchine a volte sono imprecise o fuorvianti. Esistono validi motivi per escludere le righe dall'analisi, ma ci sono anche molti motivi per assicurarsi che tutte le righe escluse siano documentate e prontamente disponibili quando si desidera ricontrollare il proprio lavoro.
In JMP è possibile escludere righe dall'analisi in modo che non influenzino le statistiche calcolate ma vengano comunque visualizzate nei grafici. Puoi Nascondi ed escludi se non vuoi vederli affatto.La tabella dei dati mostra quante righe sono nascosto ed escluso , così puoi sempre essere consapevole che non stai utilizzando tutti i dati. C'è anche il Filtro dati , che ti consente di esaminare i sottogruppi in modo interattivo.
La trasformazione dei dati è un metodo comune per l'analisi di regressione. Utilizzo delle tabelle dati JMP Redattore di formule , puoi creare nuove colonne trasformate e avere sempre un registro di come lo hai fatto.
Screening della risposta: verificare la presenza di relazioni senza incidenti P -Hacking
È molto facile testare le ipotesi una alla volta senza rendersi conto di quante ne stai testando o senza tenere traccia del tuo "vero" errore. Richiede anche molto tempo. Non sarebbe fantastico testare tutte le relazioni tra i tuoi dati senza dover fare analisi individuali E essere sicuro di non vedere solo rumore nei dati? Puoi - con il Piattaforma di screening delle risposte .
La piattaforma di screening delle risposte ti consente di specificare tutte le relazioni a coppie che desideri testare. Per ogni coppia, rileva il tipo di dati che hai (Norminale, Ordinale e Continuo) ed esegue il giusto tipo di test per quella coppia. Il rapporto risultante tiene conto di quanti test richiesto e ti offre una visione realistica di quali relazioni siano statisticamente significative.
Questa non è una tecnica perfetta perché verifica solo le relazioni a coppie. Ogni punto del report rappresenta un test effettuato senza considerare le relazioni con le altre colonne. È, tuttavia, veloce e facile da usare ed è molto meglio che limitarsi a farsi strada attraverso tutti i possibili confronti e cercare di tenere traccia di quanti ne hai controllati.
A volte la risposta è incerta ed è necessario riprovare
Una delle mie storie preferite sulle ricerche di mercato è un esempio che mostrerò al nostro L'evento di JMP Explorer a Londra tra due settimane . È un esperimento MaxDiff che ho progettato per vedere quali eventi per un gruppo locale di data science sono stati i più popolari. I risultati furono... insignificanti. Quel risultato poco interessante, tuttavia, ha portato me e il mio team a pensare in modo diverso al modo in cui pianificavamo gli eventi e raggiungevamo i nostri clienti.
Se il tuo team di ricerche di mercato si sente sotto pressione nel mostrare i risultati di ogni analisi, troveranno risultati da mostrare . Questo è un altro aspetto della crisi della riproducibilità di cui non parliamo molto. I risultati negativi possono offrire la stessa comprensione dei risultati positivi se diamo ai nostri team di ricerca il permesso di segnalarli, ma se si sentono spinti a segnalare qualcosa di nuovo da ogni progetto che portano avanti, non troverai mai quelle gemme nascoste di informazioni.
Il rapporto non è il prodotto finale
Come ho detto in un post precedente sul blog , i report statici senza dati e senza i passaggi per riprodurre l'analisi sono un'occasione mancata. Le analisi passate possono essere una miniera di tesori per il tuo team di ricerche di mercato, se fornisci un'infrastruttura che renda la riproduzione di tali risultati facile e intuitiva. JMP è un sistema software dotato di supporto integrato per conservare report, codice e dati in un unico posto. Provalo gratuitamente !
sì, c'è una crisi in corso. Logworth è una sorta di "indicatore di sorpresa", i fattori di Bayes e altri strumenti tecnici sono rilevanti ma la capacità di tracciare il lavoro e documentare il disegno dello studio è davvero fondamentale.
un altro aspetto è come presentare effettivamente i risultati. per un'implementazione della dimensione di generalizzazione di InfoQ per presentare affermazioni di riproducibilità vedere https://papers.ssrn.com/sol3/papers.cfm?abstract_id=3035070
Quel post sul blog è caro, Chelsea! L'ho condiviso con il nostro gruppo locale di utenti di matematica, #rtpanalysts!
Che bell'articolo, ma anche un buon modo per prevenire analisi disoneste e "p-hacking". Spesso non teniamo traccia del nostro “vero errore”
Adoro inviare ai miei colleghi una tabella JMP con tutti gli script di analisi che ho eseguito salvati nella tabella.
Ho scritto un post molto stupido sul p-hacking all'inizio di quest'anno, potrebbe piacerti 
https://medium.com/@chelseaparlett/everyone-p-hacks-a-lighthearted-guide-for-new-academics-55f68c9f78cb
