Wir alle haben schon einmal jemanden etwas sagen hören, das nicht „richtig“ war. Manchmal lässt man es einfach auf sich beruhen, entweder weil es nicht wichtig genug ist, um es anzufechten, oder weil man keinen Konflikt mit dem Sprecher verursachen möchte.
Dies ist die erste einer Reihe statistischer Aussagen, die ich für „peinlich“ halte. Ich veröffentliche diese Aussagen zunächst im Community-Diskussionsforum, um Feedback von anderen zu erhalten. Erfreulicherweise haben einige von euch (mit freundlichen Grüßen an die Community-Mitglieder @dale_lehman , @P_Bartell , @statman , @ihnen , @Georg und @brady_brady ) sehr nachdenkliche und aufschlussreiche Antworten gegeben. Bitte führt die Diskussion weiter! Hier findet ihr die zweite Diskussion zu peinlichen Statistiken, die ich heute gepostet habe!
Und lesen Sie weiter, um zu erfahren, warum diese erste Aussage meiner Meinung nach peinlich ist.
Einführung
Eine meiner größten Hürden in der Statistik betrifft die grundlegendsten Aussagen zu Hypothesentests. Ergibt ein T-Test (oder eine ANOVA) einen relativ hohen p-Faktor, sagt der Statistiker/Analyst oft: „Wir haben p>0,05, daher können wir nicht beweisen, dass die Mittelwerte der beiden Populationen unterschiedlich sind. Daher folgern wir, dass die Populationsmittelwerte gleich sind.“
Die erste Hälfte dieser Aussage ist richtig. Wenn p > 0,05 ist (und wir eine 95-prozentige Konfidenz anstreben, die Stichproben aus normalverteilten Populationen stammen usw.), können wir nicht schlussfolgern, dass die Mittelwerte der beiden Populationen unterschiedlich sind.
Das bedeutet aber NICHT, dass die Mittelwerte der beiden Populationen GLEICH sind! Diese Aussage höre ich ständig, selbst von Leuten, die es eigentlich besser wissen sollten. Es ist so leicht, zu dieser falschen Schlussfolgerung zu gelangen. Und sie kann schädlich sein, wenn der Zuhörer sich mit Statistik nicht auskennt!
Ein einfaches Beispiel: Durchschnittliche Körpergröße von Männern im Vergleich zu Frauen
Nehmen wir als einfaches Beispiel an, wir möchten feststellen, ob sich die Körpergröße erwachsener Männer von der Körpergröße erwachsener Frauen unterscheidet. Da uns nur begrenzte Ressourcen zur Verfügung stehen, können wir in diesem Test nur die Körpergröße von drei Männern und drei Frauen messen. Wir halten drei Männer und drei Frauen zufällig auf der Straße an und messen ihre Körpergröße (siehe unten):
Wir verwenden die JMP -Plattform „Fit Y by X“, um einen T-Test durchzuführen und die Mittelwerte der beiden Stichproben zu vergleichen. Der resultierende p-Wert beträgt 0,7096. Da wir eine 95-prozentige Konfidenz unserer Schlussfolgerung anstreben und p > 0,05 ist, können wir nicht 95 % sicher sein, dass die Stichproben aus Populationen mit unterschiedlichen Mittelwerten stammen. Anders ausgedrückt: Basierend auf dieser Stichprobe können wir nicht sagen, dass die durchschnittliche Körpergröße von Männern von der von Frauen abweicht.
Das bedeutet jedoch nicht, dass Männer und Frauen im Durchschnitt gleich groß sind. (Sie können es nachschlagen: Laut Medizinische Nachrichten heute betrug die Durchschnittsgröße von Männern im Jahr 2017 160 cm. Und laut der Cleveland-Klinik lag die Durchschnittsgröße von Frauen im Jahr 2018 bei 163 cm.)
Warum ist das passiert? Warum konnte der t-Test nicht beweisen, dass Männer (im Durchschnitt) größer sind als Frauen? Es liegt an der Stichprobenziehung. Da wir nicht alle Männer und alle Frauen messen können, haben wir uns entschieden, für diesen Test jeweils nur drei Personen zu befragen. Wir wählten zufällig drei Männer von durchschnittlicher Größe aus, während die drei zufällig ausgewählten Frauen etwas größer als der Durchschnitt waren. Zusammen mit der Spanne der Messungen ergab sich eine erhebliche Unsicherheit darüber, wo die tatsächliche Durchschnittsgröße von Männern und Frauen liegen könnte, daher der hohe p-Wert.
Ist das eine „große Sache“?
Ja, ich glaube, das kann tatsächlich eine große Sache sein! Nehmen wir ein praktischeres Beispiel aus der Industrie. Angenommen, Sie haben eine Maschine, die Fläschchen mit Pulver füllt. Ihr Unternehmen möchte die Kapazität erweitern und kauft daher eine zweite Maschine. Sie sollen sicherstellen, dass Maschine B das gleiche Gewicht wie Maschine A abfüllt.
Sie führen einen Schnelltest durch, entnehmen mehrere Fläschchen aus Maschine A und Maschine B und führen einen T-Test durch. Das Ergebnis ist ein p-Wert von 0,35. Sollten Sie zum Chef gehen und behaupten, dass die Maschinen die gleiche Füllmenge produzieren? NEIN! Damit riskieren Sie einen Fehler. Wenn alle Fläschchen aus Maschine B tatsächlich ein höheres durchschnittliches Füllgewicht als Maschine A haben, kostet das Unternehmen Geld, weil Sie „kostenloses“ Material verschenken. Hat B tatsächlich ein niedrigeres durchschnittliches Füllgewicht als A, riskieren Sie, Ihre Kunden unzufrieden zu machen.
Was können wir dagegen tun?
Wenn Sie mehr Sicherheit bei den Durchschnittswerten wünschen, sollten Sie die Stichprobengröße erhöhen. Dies ermöglicht auch eine genauere Beurteilung des Vergleichs der Körpergrößen von Männern und Frauen. Sie können jedoch weiterhin nur feststellen, dass die beiden Populationen entweder nachweislich unterschiedlich oder nicht nachweislich unterschiedlich sind. Sie schließen nicht daraus, dass sie „gleich“ sind.
Sie könnten auch einen Äquivalenztest (mit mehreren t-Tests) durchführen. Bei Interesse verweise ich Sie hierhin für weitere Informationen . Ich belasse es dabei, da Äquivalenztests den Rahmen dieses Beitrags sprengen.
Abschluss
Fazit: Mit einem T-Test (oder einer ANOVA) lässt sich zwar beweisen, dass etwas ANDERS ist, aber nicht (zumindest allein), dass etwas GLEICH ist. Seien Sie daher vorsichtig mit Ihren Begriffen und Schlussfolgerungen, um Fehler in Ihren Anwendungen zu vermeiden!
Fühlen Sie sich nicht schlecht, wenn Sie diese Aussagen in der Vergangenheit gemacht haben. Meiner Erfahrung nach ist das ein extrem häufiger Fehler. (Offen gesagt: Ich habe ihn selbst schon gemacht!) Obwohl dies schon oft von vielen Leuten vor mir gesagt wurde, denke ich, es ist eine Wiederholung wert.
