varbanov.ar ha inoltrato alcune domande riguardanti l'opzione Risposta multipla nella piattaforma Categoriale.
Rispondo qui per rispondere a un pubblico più vasto.
Requests/Questions for JMP Categorical Experts:We need more clarity on the different Multiple Response options and output in JMP Categorical. Can someone of the JMP Categorical Experts give us a short demo with answering some questions about it? Is there a technical report with some more explanation for the different statistical test used by this Platform. In particular, we have also the following questions:1) What is the definition of multiple responses?
In JMP Categorical, i dati a risposta multipla sono derivati da elementi del sondaggio (o altri processi) in cui le categorie di risposta non sono reciprocamente esclusive. Una fonte comune di dati a risposta multipla sono gli elementi del sondaggio "seleziona tutto ciò che si applica". La risposta multipla non si riferisce a dati di misurazioni ripetute.
Esistono diversi modi in cui i dati di risposta multipla possono essere rappresentati in un file di dati. I dati possono essere lunghi, ovvero c'è una riga per ogni combinazione di elemento di risposta univoco e ID del rispondente (vedere Sample Data Library > Quality Control > Failure3ID.jmp > colonna "failure" come esempio). I dati possono essere ampi, ovvero ogni riga rappresenta un rispondente e ci sono più colonne che indicano le opzioni di risposta selezionate (vedere Sample Data Library > Consumer Preferences.jmp > colonne "Brush After Waking Up" fino a "Brush Another Time"). Potrebbe anche esserci una riga per rispondente e una colonna che include un elenco delimitato delle opzioni di risposta selezionate (vedere Sample Data Library > Consumer Preferences.jmp > colonna "Brush Delimited"). Con quest'ultimo approccio, la proprietà di colonna "Multiple Response" può essere assegnata alla colonna e le opportune correzioni per i campioni sovrapposti saranno applicate ai confronti statistici quando la colonna viene utilizzata come variabile "top" in una tabella strutturata. (Nota: è facile spostarsi tra gli ultimi due formati utilizzando le utilità "Crea colonne indicatori" e "Combina colonne" nel menu Cols.)
Ulteriori informazioni sull'utilizzo di variabili di risposta multiple nella piattaforma categoriale sono disponibili in Aiuto > Libri > Ricerca sui consumatori, a partire da pag. 62
2) Is there a proper mean score comparison between two groups within JMP Categorical in presence of overlapping samples (e.g., each consumer evaluated both products)? If yes, what is the way to get it (Multiple Response tab does not seem to provide it)? Also can this analysis be done in the structured tab?
La piattaforma categoriale non corregge i campioni sovrapposti, come hai descritto, per i confronti delle medie.
Ciò che descrivi come campioni sovrapposti è ciò che noi intendiamo come misure ripetute.
C'è un'opzione "Misure ripetute" nella scheda "Correlati" in Categorical. In linea con quanto ci si aspetterebbe dalla piattaforma Categorical, riporta cose come frequenze, grafici di condivisione, medie e altre statistiche riassuntive. Tuttavia, non esegue test di confronto.
Le misure ripetute indicano che i confronti sono disponibili in altre aree di JMP:
- La piattaforma Matched Pairs confronterà e testerà due medie (come le valutazioni dei prodotti) alla volta. Tuttavia, in presenza di dati mancanti, esegue l'eliminazione listwise, rimuovendo l'intero caso da tutti i confronti.
- Poiché hai dati mancanti (ma anche se non li hai), potresti prendere in considerazione l'utilizzo di Fit Model con un modello misto con l'ID prodotto come effetto fisso e l'ID rispondente come effetto casuale. I dati di esempio che hanno inviato sono già nel layout corretto per questo approccio, ma non per gli altri due approcci sopra.
- Ovviamente, l'effettiva adeguatezza di uno qualsiasi di questi metodi dipende da molti dettagli, quindi questi sono solo suggerimenti generali: i risultati possono variare.
3) What statistics is JMP using when you invoke the categorical variable as multiple response?
Ricordando che il tipo di risposta multipla è diverso da quello che hai descritto come "campioni sovrapposti", ecco cosa viene fatto:
- Quando una colonna a cui è stata assegnata la proprietà "Risposta multipla" viene utilizzata come variabile "superiore" in una tabella strutturata, viene applicato un aggiustamento Rao-Scott di primo ordine per tenere conto della sovrapposizione (ad esempio, Lavassani et al., 2009, Developments in Analysis of Multiple Response Survey Data in Categorical Data Analysis, Journal of Applied Quantitative Methods). I test vengono gestiti in modo diverso quando la tabella viene creata nella scheda "Multiple"; la correzione viene applicata solo quando la tabella viene creata tramite la scheda Structured.
- Quando una variabile con la proprietà di risposta multipla viene assegnata alle dimensioni "laterali", non vi è alcuna correzione per le sovrapposizioni.
- I test statistici sono i seguenti:
- Confronta ogni cella: questi sono test Fischer Exact. Questi test non sono diversi dalle altre categorie di risposte.
- Confronta ogni campione: è un test di Pearson che utilizza la correzione di Rao-Scott (quando la colonna a risposta multipla è assegnata alla posizione "in alto")
- Omogeneità della risposta al test: ha due opzioni.
- Binomiale: tratta ogni riga come se fosse composta da due righe. Una riga per "selezionata quella casella". Una riga per "non selezionata quella casella". Questa opzione è stata aggiunta in base a una precedente richiesta P&G.
- Poisson: tratta i conteggi come se fossero modellati come variabile dipendente in una regressione di Poisson. Le colonne nella tabella sono trattate come se fossero livelli per la variabile indipendente (X). Il valore p è equivalente al valore p che si calcolerebbe per un test del modello complessivo calcolato in questo modo.
4) Within the categorical platform, it is possible to provide p-values for the mean comparison?
La possibilità di salvare report di t-test e p-value è stata aggiunta in precedenza in base a una richiesta P&G. È possibile tramite il menu del triangolo rosso.
5) Is the general formulae that “adjust” for overlapping samples implemented as used in Desktop Reporter Software? Is there an efficient way/data structure/grids to “tell” JMP that there are overlapping samples?
Come accennato in precedenza, utilizzare Fit Model per adattare un modello misto potrebbe essere il modo più appropriato per gestire questa situazione in JMP.
6) Jeremy’s issue: (JMP contacted on this before by Mike Creed/Diane Farris)a. When doing the calculation, it appears that JMP is not adjusting the degrees of freedom when using the Rao Scott first order correction.
Riteniamo che ci sia stata un po' di confusione tra "campioni sovrapposti" e "risposte multiple", ma c'è un difetto in JMP 12.1 in cui la correzione Rao-Scott non è stata applicata correttamente. Questo difetto è stato corretto in JMP 12.2 che verrà rilasciato a gennaio.
b. When no overlap exists, but a column is defined as multi-response, the overlap formula is used when it should not. So you get different results when defining a column as multi-response versus not when no overlap does exist.
La proprietà di risposta multipla è il modo in cui JMP sa di applicare la correzione Rao-Scott. Non dovrebbe essere applicata a colonne che non sono di tipo risposta multipla.
Aggiungo al mio ultimo messaggio:
Se l'abbinamento dei risultati di JMP a quanto implementato in Desktop Reporter diventa un obiettivo, il set di dati di test allegato con i risultati potrebbe essere utilizzato come riferimento. Contiene dati CATA e valutazioni multiple di prodotto per consumatore. La variabile CATA è denominata Vitamin/Dietary Supmnt Prod N Future Use . Nelle schede Excel 2 e 3, dove questa variabile è posizionata "in cima" alla tabella, è possibile vedere che viene applicata la formula di sovrapposizione.
Grazie,
Alessio
Preferiamo usare la stessa implementazione in JMP come in Desktop Reporter, che suppongo significhi il calcolo della "base effettiva". Questo è guidato principalmente per evitare domande sul perché altrimenti i risultati sarebbero diversi. Non abbiamo molta familiarità con la differenza tra le due opzioni per fornire un input migliore di questo.
Il calcolo nel link è la media ponderata degli errori standard delle medie confrontate. Ha senso, e lo implementerò in questo modo.
Preferisci il calcolo della "base effettiva", che utilizza il rapporto tra la somma al quadrato dei pesi e la somma dei pesi al quadrato, oppure preferiresti solo i pesi al denominatore?
Per me ha più senso usare i pesi come denominatore.
Ciò renderebbe i gradi di libertà per il t-test = w1 + w2 - w0 - 2, dove w0 è il conteggio per la sovrapposizione. Sei d'accordo?
Poiché non stiamo più unendo le deviazioni standard dai confronti delle medie, sembra che la formula per la varianza della differenza tra due medie di colonna Col 1 e Col 2 con sovrapposizioni si riduca a quanto segue:
(s1^2+s2^2)/2*[1+P]
dove s1^2 e s2^2 sono rispettivamente le varianze delle medie di Col 1 e Col2.
P è il 2*overlapCount/(n1+n2)
dove n1 e n2 sono le dimensioni del campione per le colonne 1 e 2
La mia edizione di Kish non fa menzione del caso in cui le dimensioni del campione non sono uguali. Ti aspetti una media ponderata tra s1^2 e s2^2?
Non correggiamo le sovrapposizioni nel test delle medie nella piattaforma categoriale.
Se la stessa persona confronta due prodotti, ci sono molti modi per calcolare un confronto appropriato al di fuori della piattaforma categoriale.
Jeff,
Grazie per aver fornito le risposte alle domande di cui sopra. È molto utile per noi comprendere le capacità e le limitazioni della JMP Categorical Platform. Dalla risposta, abbiamo capito che questa piattaforma non dovrebbe essere utilizzata con dati in cui abbiamo più valutazioni di prodotto o più valutazioni di punti temporali per consumatore.
L'unica domanda successiva che ho è la seguente:
La nostra comprensione è che JMP NON ha implementato la formula di Kish per campioni sovrapposti ( sez. 12.4, p. 437 del libro Survey Sampling (1965) di Leslie Kish) in JMP Categorical Platform. Tale formula è stata utilizzata in Desktop Reporter per analizzare campioni sovrapposti quando si verificano da test monadici sequenziali, ad esempio uno studio con due prodotti per consumatore valutati in ordine sequenziale. È corretto?
Grazie,
Alessio
