624646_it-IT

liliconcom

Analisi dei dati categoriali: aggiustamento del Chi-quadrato per campioni di grandi dimensioni

Cara comunità JMP,

Utilizziamo JMP Pro 16.2.0. Stiamo conducendo un esperimento con variabili indipendenti categoriali e variabili dipendenti categoriali via internet. Il punto è che se si ha un numero elevato di partecipanti che determina il conteggio delle frequenze, il chi-quadrato raggiungerà sempre la significatività. Potete vederlo nei dati fittizi nel file JMP che ho incluso e nell'analisi nel diario incluso. Ho moltiplicato la bassa frequenza per 100 e potete vedere che i grafici a mosaico hanno esattamente lo stesso aspetto, ma nella condizione di bassa frequenza non sono significativi, mentre nella condizione di alta frequenza sono molto significativi. Questo è il "problema" del test del chi-quadrato, che raggiunge facilmente la significatività con campioni di grandi dimensioni (il test F= è meno sensibile).

Esistono soluzioni per questo problema: a volte è possibile convertire i conteggi in proporzioni ed eseguire un test F, ma nel nostro caso non è possibile. Un'altra soluzione è descritta in questo articolo:

http://expsylab.psych.uoa.gr/fileadmin/expsylab.psych.uoa.gr/uploads/papers/Bergh_2015.pdf

La mia domanda è: JMP Pro ha un'implementazione per questo problema o conoscete un componente aggiuntivo? Credo che con la disponibilità di programmi di raccolta dati via internet (ad esempio, Amazon Turk, Qualtrics), gestire campioni di queste dimensioni stia diventando sempre più rilevante. Soprattutto nell'analisi dei dati categoriali. Forse esiste un'opzione per la ricerca sui consumatori, ma non l'ho trovata.

Spero che il problema sia chiaro,

Grazie per i tuoi spunti,

Cordiali saluti,

René

Esplorazione e visualizzazione dei datiPersonalizzazione di massaRi: Analisi dei dati categorici: chi-quadrato per la regolazione di grandi dimensioni del campione

CIAO @RvEDelft ,

 

Benvenuto nella Comunità!

 

Analizzando brevemente il tuo problema, hai provato a controllare le altre analisi disponibili nel "Report sulle misure di associazione" (accessibile facendo clic sul triangolo rosso)? Dipende da qual è la tua domanda, ma ci sono numerose altre opzioni e alcune tengono già conto delle dimensioni del set di dati: Rapporto sulle misure di associazione (jmp.com)

Un esempio è fornito con variabili nominali come la tua qui: Esempio dell'opzione Misure di associazione (jmp.com) dove il Le misure lambda e di incertezza vengono utilizzate per aiutare a prendere una decisione (in generale, per sapere quanta variazione da Y può essere spiegata dalla variazione da X).

 

Quando utilizzi il tuo set di dati e le colonne di frequenza nei livelli basso e alto, puoi vedere che le misure Lambda e Incertezza non vengono modificate in base alla dimensione/frequenza dei valori del set di dati.

 

FREQLOW vs. FREQHIGH :

 

Non conosco il tuo argomento e il tuo obiettivo e non sono un esperto di questi test statistici, ma la letteratura su questo argomento può essere trovata su Internet.

Spero che questa prima risposta possa esserti d'aiuto,

 

 

Ri: Analisi dei dati categorici: chi-quadrato per la regolazione di grandi dimensioni del campione

Non affronterò direttamente la tua domanda, poiché ce ne sono altri che possono rispondere meglio.Ma, in generale, penso che quasi tutti i set di dati di grandi dimensioni finiranno per mostrare un significato statistico per quasi tutte le analisi che fai: il null testato non ha alcuna associazione e le cose sono, in realtà, quasi sempre associate.Quindi, non sarei turbato dal fatto che i test Chi-quadrato mostrano sempre significatività in grandi set di dati.Nella misura in cui la tua domanda si concentra sulla generazione di grandi set di dati da cose come Amazon Turk, ecc., Penso che una domanda più grande sia che queste grandi dimensioni del campione non possono generalmente essere considerate come campioni casuali delle popolazioni che desideri studiare.Cioè, la significatività statistica si basa sul campionamento casuale e i campioni che stai ottenendo, sebbene grandi, non sono probabilmente casuali.Ciò mi preoccuperebbe più del fatto che tutto finisca per mostrare un significato statistico.

Ri: Analisi dei dati categorici: chi-quadrato per la regolazione di grandi dimensioni del campione

OK,

La mia domanda riguarda solo il chi quadrato. Penso che le tue osservazioni si riferiscano più alla validità di un test che all'affidabilità. Il primo è, penso molto importante. Ma il più delle volte vincono gli adattamenti di significato. Non troverai mai documenti con risultati nulli. Il che è un peccato. Una volta ho avuto un collega di dottorato che aveva un perfetto disegno sperimentale ma non ha mai trovato effetti significativi.

 

Per approfondire ulteriormente. I miei studenti che devono fare ricerche sugli utenti con un piccolo campione hanno problemi con questo., C'è una semplice domanda che puoi farti; Una persona che interagisce con un prodotto in un determinato contesto incontra un problema. Sarebbe l'unica persona al mondo che ha questo problema? Probabilmente no, non credo che nessuno sosterrebbe il contrario, nessuna statistica disponibile per questo...

per favore rimani con la mia domanda iniziale...

 

mi sento bene per fare un altro collegamento sull'aspetto validità.

 

Renato

 

 

 

 

Ri: Analisi dei dati categorici: chi-quadrato per la regolazione di grandi dimensioni del campione

Bene, ho detto che non avrei risposto direttamente alla tua domanda.In ogni caso, l'ho rivisto e non è la mia area di competenza, ma ho una domanda su cui apprezzerei essere informato.Ti riferisci a questo come a un "problema" con il test del chi-quadrato.Non capisco perché venga definito un problema.Mi sembra che il test stia facendo esattamente ciò che dovrebbe: si ritiene che sia più probabile che le stesse differenze nella risposta della variabile A alla variabile B siano state ottenute tramite campionamento casuale (da un'ipotesi senza relazione) quando il campione la dimensione è 240 anziché 24000.Non capisco il contesto in cui questo è un "problema".E, quando spieghi ulteriormente che i tuoi studenti hanno spesso piccoli campioni, non lo vedo come un problema che può essere risolto tramite manipolazione statistica.I piccoli campioni sono molto variabili, quindi trovare la significatività statistica dovrebbe essere più difficile, non è vero?

 

Poiché questa non è la mia area di competenza, mi piacerebbe sinceramente capire meglio il contesto del motivo per cui questo è considerato un problema e che tipo di "soluzione" si sta cercando.Dalla mia comprensione molto limitata, sarei molto sospettoso di qualsiasi soluzione che rendesse più definitivo il piccolo caso campione, oltre ad essere più sospettoso di qualsiasi soluzione che richiedesse uno standard più elevato per la significatività statistica con campioni di dimensioni maggiori.Su quest'ultimo punto, una delle mie principali critiche all'NHST è che l'ipotesi nulla in fase di test non è praticamente mai vera, quindi in genere ci si dovrebbe aspettare di rifiutarla.Sono le dimensioni delle differenze o la forza della relazione che interessano, non se puoi rifiutare o meno il nulla.L'incapacità di rifiutare il null mi dice solo che c'è troppa variabilità rispetto alla dimensione del tuo campione per dire qualcosa (e dalla mia esperienza questo è vero per la maggior parte delle ricerche di tipo di sondaggio tra studenti che utilizzano dati primari).