624646_de-DE

liliconcom

Kategoriale Datenanalyse: Chi-Quadrat-Anpassung für große Stichprobengrößen

Liebe JMP-Community,

Wir verwenden JMP Pro 16.2.0. Wir führen ein Experiment mit kategorialen unabhängigen und kategorialen abhängigen Variablen über das Internet durch. Der Punkt ist: Bei einer großen Teilnehmerzahl, die die Häufigkeitszählung bestimmt, erreicht der Chi-Quadrat-Test immer Signifikanz. Dies ist an den fiktiven Daten in der beigefügten JMP-Datei und der Analyse im beigefügten Journal zu erkennen. Ich habe die niedrige Häufigkeit mit 100 multipliziert, und man sieht, dass die Mosaikdiagramme identisch aussehen, aber im Zustand der niedrigen Häufigkeit nicht signifikant sind, während sie im Zustand der hohen Häufigkeit sehr signifikant sind. Das ist das „Problem“ des Chi-Quadrat-Tests, der bei großen Stichproben leicht Signifikanz erreicht (F = Test ist weniger sensitiv).

Es gibt Lösungen dafür. Manchmal kann man Zählungen in Proportionen umwandeln und einen F-Test durchführen, aber in unserem Fall ist das nicht möglich. Eine weitere Lösung findet sich in diesem Artikel:

http://expsylab.psych.uoa.gr/fileadmin/expsylab.psych.uoa.gr/uploads/papers/Bergh_2015.pdf

Meine Frage ist: Gibt es für dieses Problem eine Implementierung in JMP Pro oder kennen Sie ein Add-In? Ich denke, mit der Verfügbarkeit von Datenerfassungsprogrammen im Internet (z. B. Amazon Turk, Qualtrics) wird der Umgang mit diesen großen Stichproben immer relevanter. Insbesondere bei der kategorialen Datenanalyse. Vielleicht gibt es eine Option im Bereich der Verbraucherforschung, aber ich habe sie noch nicht entdeckt.

Hoffe, das Problem ist klar,

Vielen Dank für Ihre Einblicke,

Mit freundlichen Grüße,

Rene

Datenexploration und -visualisierungMassenanpassungBetr.: Kategoriale Datenanalyse: Chi-Quadrat für große Stichprobenumfänge Anpassung

Hallo @RvEdelft ,

 

Willkommen in der Community!

 

Nur ein kurzer Blick auf Ihr Problem, haben Sie versucht, die andere Analyse zu überprüfen, die unter dem "Measures of Association Report" (zugänglich durch Klicken auf das rote Dreieck) verfügbar ist? Es hängt davon ab, was Ihre Frage ist, aber es gibt zahlreiche andere Optionen, und einige berücksichtigen bereits die Datensatzgröße: Kennzahlen des Assoziationsberichts (jmp.com)

Ein Beispiel wird hier mit nominalen Variablen wie Ihrer bereitgestellt: Beispiel für die Option „Maßnahmen der Assoziation“ (jmp.com) bei dem die Lambda- und Unsicherheitsmaße werden verwendet, um eine Entscheidung zu treffen (im Allgemeinen, um zu wissen, wie viel Abweichung von Y durch Abweichung von X erklärt werden kann).

 

Wenn Sie Ihren Datensatz und die Häufigkeitsspalten auf niedriger und hoher Ebene verwenden, können Sie sehen, dass Lambda- und Unsicherheitsmaße basierend auf der Datensatzgröße/Häufigkeit von Werten nicht geändert werden.

 

FREQLOW vs. FREQHIGH:

 

Ich kenne Ihr Thema und Ihre Zielsetzung nicht und bin kein Experte für diese statistischen Tests, aber Literatur zu diesem Thema finden Sie im Internet.

Ich hoffe, diese erste Antwort kann Ihnen helfen,

 

 

Betreff: Kategoriale Datenanalyse: Chi-Quadrat für die Anpassung großer Stichprobenumfänge

Ich werde Ihre Frage nicht direkt ansprechen, da es andere gibt, die besser antworten können.Aber im Allgemeinen denke ich, dass fast alle großen Datensätze für fast jede Analyse, die Sie durchführen, statistische Signifikanz aufweisen werden - die getestete Null hat keinen Zusammenhang und die Dinge sind in Wirklichkeit fast immer verbunden.Daher würde mich die Tatsache nicht stören, dass die Chi-Quadrat-Tests in großen Datensätzen immer Signifikanz zeigen.Soweit sich Ihre Frage auf die Generierung großer Datensätze aus Dingen wie Amazon Turk usw. Ich denke, eine größere Frage ist, dass diese großen Stichprobenumfänge im Allgemeinen nicht als Zufallsstichproben der Populationen betrachtet werden können, die Sie untersuchen möchten.Das heißt, die statistische Signifikanz beruht auf zufälligen Stichproben, und die Stichproben, die Sie erhalten, sind zwar groß, aber wahrscheinlich nicht zufällig.Das würde mich mehr beunruhigen als die Tatsache, dass am Ende alles statistisch signifikant ist.

Betr.: Kategoriale Datenanalyse: Chi-Quadrat für große Stichprobenumfänge Anpassung

OK,

Meine Frage bezieht sich nur auf das Chi-Quadrat. Ich denke, Ihre Bemerkungen beziehen sich eher auf die Gültigkeit eines Tests, nicht auf die Zuverlässigkeit. Das erste ist meiner Meinung nach sehr wichtig. Aber meistens gewinnen die Bedeutungsanpassungen. Sie werden niemals Papiere mit Nullergebnissen finden. Was schade ist. Ich hatte einmal einen Doktoranden, der ein perfektes experimentelles Design hatte, aber nie signifikante Effekte fand.

 

Um dies weiter auszuführen. Studenten von mir, die User Research mit einer kleinen Stichprobe durchführen müssen, haben damit Probleme., Es gibt eine einfache Frage, die Sie sich stellen können; Eine Person interagiert mit einem Produkt in einem bestimmten Kontext und stößt auf ein Problem. Wäre das die einzige Person auf der Welt, die dieses Problem hat? Wahrscheinlich nicht, ich glaube nicht, dass irgendjemand etwas anderes argumentieren würde, keine Statistiken dafür verfügbar ...

bitte bleib bei meiner eingangsfrage...

 

Ich fühle mich in Ordnung, einen weiteren Link zum Aspekt der Gültigkeit zu erstellen.

 

Rene

 

 

 

 

Betr.: Kategoriale Datenanalyse: Chi-Quadrat für große Stichprobenumfänge Anpassung

Nun, ich sagte, ich würde Ihre Frage nicht direkt ansprechen.Auf jeden Fall habe ich es mir noch einmal angesehen und es ist nicht mein Fachgebiet, aber ich habe eine Frage, über die ich gerne informiert würde.Sie bezeichnen dies als "Problem" mit dem Chi-Quadrat-Test.Ich verstehe nicht, warum es als Problem bezeichnet wird.Es scheint mir, dass der Test genau das tut, was er sollte - die gleichen Unterschiede in der Antwort von Variable A auf Variable B wurden als wahrscheinlicher durch Zufallsstichproben (aus einer Annahme ohne Beziehung) bei der Stichprobe erhalten Größe ist 240 statt 24000.Ich verstehe den Kontext nicht, in dem dies ein "Problem" ist.Und wenn Sie weiter erklären, dass Ihre Schüler oft kleine Stichproben haben, sehe ich das nicht als ein Problem, das durch statistische Manipulation geheilt werden kann.Kleine Stichproben sind sehr variabel, daher sollte es schwieriger sein, statistische Signifikanz zu finden, oder nicht?

 

Da dies nicht mein Fachgebiet ist, würde ich wirklich gerne den Kontext besser verstehen, warum dies als Problem angesehen wird und welche Art von "Lösung" gesucht wird.Aufgrund meines sehr begrenzten Verständnisses wäre ich äußerst misstrauisch gegenüber jeder Lösung, die den kleinen Stichprobenfall definitiver macht, sowie misstrauischer gegenüber jeder Lösung, die einen höheren Standard für die statistische Signifikanz bei größeren Stichprobenumfängen erfordert.In Bezug auf diesen letzten Punkt ist es einer meiner Hauptkritikpunkte am NHST, dass die getestete Nullhypothese praktisch nie wahr ist, sodass normalerweise erwartet werden sollte, sie abzulehnen.Es sind die Größen der Unterschiede oder die Stärke der Beziehung, die von Interesse sind, nicht, ob Sie die Null ablehnen können oder nicht.Die Unfähigkeit, die Null abzulehnen, sagt mir nur, dass es im Verhältnis zu Ihrer Stichprobengröße zu viele Schwankungen gibt, um irgendetwas zu sagen (und meiner Erfahrung nach gilt dies für die meisten Forschungen vom Typ Studentenumfrage, die Primärdaten verwenden).