varbanov.ar hat einige Fragen zur Option „Mehrfachantworten“ in der kategorialen Plattform weitergeleitet.
Um sie einem breiteren Publikum zugänglich zu machen, beantworte ich sie hier.
Requests/Questions for JMP Categorical Experts:We need more clarity on the different Multiple Response options and output in JMP Categorical. Can someone of the JMP Categorical Experts give us a short demo with answering some questions about it? Is there a technical report with some more explanation for the different statistical test used by this Platform. In particular, we have also the following questions:1) What is the definition of multiple responses?
In JMP Categorical werden Mehrfachantwortdaten aus Umfrageelementen (oder anderen Prozessen) abgeleitet, bei denen sich die Antwortkategorien nicht gegenseitig ausschließen. Eine häufige Quelle für Mehrfachantwortdaten sind Umfrageelemente, bei denen „alles Zutreffende ankreuzen“ gewählt wird. Mehrfachantwort bezieht sich nicht auf Daten wiederholter Messungen.
Es gibt mehrere Möglichkeiten, Daten mit Mehrfachantworten in einer Datendatei darzustellen. Die Daten können lang sein – d. h. es gibt eine Zeile für jede eindeutige Kombination aus Antwortelement und Befragten-ID (siehe Beispieldatenbibliothek > Qualitätskontrolle > Failure3ID.jmp > Spalte „Fehler“ als Beispiel). Die Daten können breit sein – d. h. jede Zeile stellt einen Befragten dar und es gibt mehrere Spalten, die die ausgewählten Antwortoptionen angeben (siehe Beispieldatenbibliothek > Verbraucherpräferenzen.jmp > Spalten „Nach dem Aufwachen putzen“ bis „Ein anderes Mal putzen“). Es kann auch eine Zeile pro Befragten und eine Spalte geben, die eine abgegrenzte Liste der ausgewählten Antwortoptionen enthält (siehe Beispieldatenbibliothek > Verbraucherpräferenzen.jmp > Spalte „Bürsten abgegrenzt“). Mit dem letzteren Ansatz kann der Spalte die Spalteneigenschaft „Mehrere Antworten“ zugewiesen werden und die entsprechenden Korrekturen für überlappende Stichproben werden auf statistische Vergleiche angewendet, wenn die Spalte als „oberste“ Variable in einer strukturierten Tabelle verwendet wird. (Hinweis: Mit den Dienstprogrammen „Indikatorspalten erstellen“ und „Spalten kombinieren“ im Menü „Spalten“ können Sie problemlos zwischen den letzten beiden Formaten wechseln.)
Weitere Informationen zur Verwendung mehrerer Antwortvariablen in der kategorialen Plattform finden Sie unter Hilfe > Bücher > Verbraucherforschung ab Seite 62.
2) Is there a proper mean score comparison between two groups within JMP Categorical in presence of overlapping samples (e.g., each consumer evaluated both products)? If yes, what is the way to get it (Multiple Response tab does not seem to provide it)? Also can this analysis be done in the structured tab?
Die kategoriale Plattform korrigiert bei Mittelwertvergleichen nicht die überlappenden Stichproben, wie Sie sie beschrieben haben.
Was Sie als überlappende Stichproben beschreiben, verstehen wir unter wiederholten Messungen.
Unter der Registerkarte „Verwandt“ in Categorical gibt es die Option „Wiederholte Messungen“. Wie man es von der Categorical-Plattform erwarten würde, werden Dinge wie Häufigkeiten, Anteilsdiagramme, Mittelwerte und andere zusammenfassende Statistiken gemeldet. Es werden jedoch keine Vergleichstests durchgeführt.
Durch wiederholte Messungen sind Vergleiche in anderen Bereichen von JMP möglich:
- Die Matched Pairs-Plattform vergleicht und testet jeweils zwei Mittelwerte (z. B. Produktbewertungen). Bei fehlenden Daten führt sie jedoch eine listenweise Löschung durch und entfernt den gesamten Fall aus allen Vergleichen.
- Da Ihre Daten fehlende Daten enthalten (aber auch wenn das nicht der Fall ist), könnten Sie die Verwendung von Fit Model mit einem gemischten Modell mit der Produkt-ID als festem Effekt und der Befragten-ID als zufälligem Effekt in Betracht ziehen. Die von ihnen gesendeten Beispieldaten weisen für diesen Ansatz bereits das richtige Layout auf, jedoch nicht für die beiden anderen oben genannten Ansätze.
- Natürlich hängt die tatsächliche Eignung jeder dieser Methoden von zahlreichen Einzelheiten ab. Es handelt sich also lediglich um allgemeine Vorschläge – bei Ihnen kann es anders sein.
3) What statistics is JMP using when you invoke the categorical variable as multiple response?
Bedenken Sie, dass sich der Mehrfachantworttyp von dem unterscheidet, was Sie als „überlappende Stichproben“ beschrieben haben. Folgendes wird getan:
- Wenn eine Spalte, der die Eigenschaft „Mehrfachantwort“ zugewiesen wurde, als „oberste“ Variable in einer strukturierten Tabelle verwendet wird, wird eine Rao-Scott-Anpassung erster Ordnung angewendet, um Überlappungen zu berücksichtigen (z. B. Lavassani et al., 2009, Developments in Analysis of Multiple Response Survey Data in Categorical Data Analysis, Journal of Applied Quantitative Methods). Tests werden anders gehandhabt, wenn die Tabelle auf der Registerkarte „Mehrfachantwort“ erstellt wird; die Korrektur wird nur angewendet, wenn die Tabelle über die Registerkarte „Strukturiert“ erstellt wird.
- Wenn den „Seiten“-Dimensionen eine Variable mit der Eigenschaft „Mehrfachantwort“ zugewiesen wird, erfolgt keine Korrektur für Überlappungen.
- Die statistischen Tests sind wie folgt:
- Vergleichen Sie jede Zelle: Dies sind exakte Tests von Fischer. Diese Tests unterscheiden sich nicht von anderen Antwortkategorien.
- Vergleichen Sie jede Stichprobe: Ist ein Pearson-Test, der die Rao-Scott-Korrektur verwendet (wenn die Spalte mit den Mehrfachantworten der „obersten“ Position zugewiesen wird)
- Homogenität der Testantworten: Hat zwei Optionen.
- Binomial: Behandelt jede Zeile, als ob es zwei Zeilen wären. Eine Zeile für „Kästchen angekreuzt“. Eine Zeile für „Kästchen nicht angekreuzt“. Diese Option wurde aufgrund einer früheren Anfrage von P&G hinzugefügt.
- Poisson: Behandelt die Zählungen, als würden sie als abhängige Variable in einer Poisson-Regression modelliert. Die Spalten in der Tabelle werden behandelt, als wären sie Ebenen für die unabhängige (X) Variable. Der p-Wert entspricht dem p-Wert, den man für einen auf diese Weise berechneten Gesamtmodelltest berechnen würde.
4) Within the categorical platform, it is possible to provide p-values for the mean comparison?
Die Möglichkeit, T-Test- und P-Wert-Berichte zu speichern, wurde zuvor auf Anfrage von P&G hinzugefügt. Dies ist über das rote Dreieckmenü möglich.
5) Is the general formulae that “adjust” for overlapping samples implemented as used in Desktop Reporter Software? Is there an efficient way/data structure/grids to “tell” JMP that there are overlapping samples?
Wie oben erwähnt, ist die Verwendung von „Modell anpassen“ zum Anpassen eines gemischten Modells möglicherweise die am besten geeignete Methode, dies in JMP zu handhaben.
6) Jeremy’s issue: (JMP contacted on this before by Mike Creed/Diane Farris)a. When doing the calculation, it appears that JMP is not adjusting the degrees of freedom when using the Rao Scott first order correction.
Wir glauben, dass es zu einer Verwechslung zwischen „überlappenden Stichproben“ und „mehrfachen Antworten“ kam, aber es gibt einen Fehler in JMP 12.1, bei dem die Rao-Scott-Korrektur nicht richtig angewendet wurde. Dieser Fehler wurde in JMP 12.2 behoben, das im Januar veröffentlicht wird.
b. When no overlap exists, but a column is defined as multi-response, the overlap formula is used when it should not. So you get different results when defining a column as multi-response versus not when no overlap does exist.
Anhand der Eigenschaft für Mehrfachantworten erkennt JMP, dass die Rao-Scott-Korrektur angewendet werden muss. Sie sollte nicht auf Spalten angewendet werden, die keine Mehrfachantworttypen sind.
Ergänzung zu meiner letzten Nachricht:
Wenn es zum Ziel wird, die Ergebnisse von JMP mit den in Desktop Reporter implementierten Ergebnissen abzugleichen, kann der beigefügte Testdatensatz mit Ergebnissen als Referenz verwendet werden. Er enthält CATA-Daten sowie mehrere Produktbewertungen pro Verbraucher. Die CATA-Variable heißt Vitamin/Dietary Supmnt Prod N Future Use . In den Excel-Registerkarten 2 und 3, wo diese Variable „oben“ in der Tabelle platziert ist, können Sie sehen, dass die Überlappungsformel angewendet wird.
Danke,
Alex
Wir bevorzugen die Verwendung derselben Implementierung in JMP wie in Desktop Reporter, was vermutlich die Berechnung der „effektiven Basis“ bedeutet. Dies dient hauptsächlich dazu, Fragen zu vermeiden, warum die Ergebnisse andernfalls abweichen würden. Wir sind mit den Unterschieden zwischen den beiden Optionen nicht so vertraut, dass wir bessere Eingaben als diese liefern könnten.
Die Berechnung im Link ist ein gewichteter Durchschnitt der Standardfehler der verglichenen Mittelwerte. Das macht Sinn und ich werde es so umsetzen.
Bevorzugen Sie die Berechnung auf der „effektiven Basis“, bei der das Verhältnis zwischen der quadrierten Summe der Gewichte und der Summe der quadrierten Gewichte verwendet wird, oder möchten Sie lieber nur die Gewichte im Nenner?
Für mich macht es mehr Sinn, die Gewichte als Nenner zu verwenden.
Dies würde bedeuten, dass die Freiheitsgrade für den t-Test = w1 + w2 – w0 – 2 wären, wobei w0 die Anzahl der Überlappungen ist. Stimmen Sie zu?
Da wir die Standardabweichungen aus Mittelwertvergleichen nicht mehr zusammenfassen, lässt sich die Formel für die Varianz der Differenz zwischen zwei Spaltenmittelwerten (Spalte 1 und Spalte 2) mit Überlappungen anscheinend wie folgt reduzieren:
(s1^2+s2^2)/2*[1+P]
wobei s1^2 und s2^2 die Varianzen der Mittelwerte aus Spalte 1 bzw. Spalte 2 sind.
P ist 2*OverlapCount/(n1+n2)
wobei n1 und n2 die Stichprobenumfänge für die Spalten 1 und 2 sind
In meiner Ausgabe von Kish wird der Fall, dass die Stichprobengrößen nicht gleich sind, nicht erwähnt. Erwarten Sie einen gewichteten Durchschnitt zwischen s1^2 und s2^2?
Wir korrigieren keine Überschneidungen im Mittelwerttest auf der kategorialen Plattform.
Wenn dieselbe Person zwei Produkte vergleicht, gibt es außerhalb der kategorischen Plattform viele Möglichkeiten, einen angemessenen Vergleich zu berechnen.
Jeff,
Vielen Dank für die Antworten auf die obigen Fragen. Es ist sehr hilfreich für uns, die Fähigkeiten und Grenzen der JMP Categorical Platform zu verstehen. Aus der Antwort geht hervor, dass diese Plattform nicht mit Daten verwendet werden sollte, bei denen wir mehrere Produktbewertungen oder Bewertungen zu mehreren Zeitpunkten pro Verbraucher haben.
Die einzige weitere Frage, die ich habe, ist folgende:
Unseres Wissens hat JMP die Kish-Formel für überlappende Stichproben ( Abschnitt 12.4, S. 437 des Buches Survey Sampling (1965) von Leslie Kish) NICHT in der JMP Categorical Platform implementiert. Diese Formel wurde in Desktop Reporter verwendet, um überlappende Stichproben zu analysieren, wenn sie aus einem sequentiellen monadischen Test stammen, d. h. aus einer Studie mit zwei Produkten pro Verbraucher, die in sequentieller Reihenfolge ausgewertet wurden. Ist das richtig?
Danke,
Alex
