Wenn Sie Millionen von Beobachtungen realer Daten haben und eine einfache Anpassung zwischen zwei Variablen durchführen, wenn Sie keinen bedeutenden Test erhalten, dann ist dies ein starker Beweis für Betrug. Die einzige Art von Daten, die für sehr große Datentabellen zuverlässig nicht signifikant ist, sind simulierte Daten. Wir leben in einer Welt mit vielen subtilen Kräften, die auf viele komplexe Arten wirken - daher sind die Dinge im Allgemeinen etwas anders, auch wenn sie sich nicht wesentlich unterscheiden.
Im Zeitalter von Big Data, wenn wir Millionen von Beobachtungen haben, können wir davon ausgehen, dass fast alle Tests signifikant sind. In den meisten Fällen kümmern wir uns jedoch nicht um kleine Unterschiede. Was wir wissen wollen ist, wenn der Unterschied größer ist als das, was uns wichtig ist.
In der Industrie haben wir normalerweise eine ziemlich gute Vorstellung davon, welche Veränderung uns wichtig ist - wir haben Spezifikationsgrenzen, die untere Spezifikationsgrenze (LSL) und die obere Spezifikationsgrenze (USL). Wenn der Unterschied größer als ein Bruchteil dieses Spezifikationsbereichs ist, sagen wir 10%, dann wissen wir, dass wir ihn gerne betrachten. Für Konstruktionsdaten gelten in der Regel Spezifikationsgrenzen, um zu bestimmen, wie empfindlich auf Änderungen reagiert werden soll.
Wenn wir keine Spezifikationsgrenzen haben, verwenden wir etwas Ähnliches. Angenommen, die mittlere Differenz ist klein im Vergleich zur natürlichen Variation, und der Prozess ist mit einer Fähigkeit von 1 vernünftig verhalten, dann verwenden wir 6 * Sigma als Spezifikationsbereich. Wir verwenden IQR / (Q (.75) -Q (.25)), um Sigma zu schätzen, wobei Q das normale Quantil ist, und dann kümmern wir uns um 10% dieses Intervalls.
Wenn wir einen praktischen Unterschied vor Augen haben, können wir leicht einen Hypothesentest konstruieren, dass der absolute Wert des realen Unterschieds kleiner als der praktische Unterschied ist. Dieser Test ist nicht immer von Bedeutung, wenn Sie Millionen von Beobachtungen haben. Vielmehr wird er entweder sehr signifikant sein oder das Gegenteil.
Hier ist ein Bild, wie der Test funktioniert. Angenommen, der praktische Unterschied, den Sie interessieren, ist 2, und der tatsächliche Unterschied ist 4. Sie konstruieren eine Student-t-Verteilung, die durch den Standardfehler der Differenz um den praktischen Unterschied skaliert wird. Dann berechnen Sie die Endwahrscheinlichkeit nach der tatsächlichen Differenz, die in diesem Fall etwa 0,3 beträgt. Das ist aber nur eine Richtung. Sie müssen auch das Negativ der tatsächlichen Differenz betrachten und die Wahrscheinlichkeit in diesem Schwanz derselben Verteilung messen. Jetzt haben Sie einen p-Wert für den praktischen Differenztest. Dies ist der Test, den Sie durchführen sollten, um Sie über Änderungen zu informieren, an denen Sie interessiert sind.
Dieser Test ist jedoch möglicherweise das Gegenteil des Tests, den Sie wirklich wollen. Wenn Sie die Gewissheit haben wollen, dass die Unterschiede gering sind, ist es nicht sinnvoll, den fehlenden Beweis dafür zu verwenden, dass der Unterschied nicht groß ist. Sie möchten wirklich in umgekehrter Richtung testen, um ziemlich sicher zu sein, dass der Unterschied geringer ist als der praktische Unterschied.
Tests in diese Richtung werden aufgerufen Äquivalenztests . Sie werden am häufigsten in der regulierten Medizin und in der Medizintechnik eingesetzt, um zu beweisen, dass eine Änderung die Ergebnisse nicht beeinflusst. Äquivalenztests sollten Einführungsstatistiken beigebracht werden, damit sie verstehen, dass die Annahme einer Nullhypothese nicht die Null ist.
Der Standardansatz für Äquivalenztests ist der TOST - zwei einseitige T-Tests. Sie testen, dass der Unterschied geringer ist als der praktische Unterschied, und Sie prüfen auch, dass der Unterschied größer ist als das Negative des praktischen Unterschieds. Damit beweisen Sie, dass die Differenz absolut kleiner ist als die Differenz.
Angenommen, der Unterschied, den Sie interessieren, der praktische Unterschied ist 4 und der tatsächliche Unterschied ist 2. Um zu testen, dass der Unterschied geringer ist als der praktische Unterschied, setzen Sie eine Student's t-Verteilung mit den entsprechenden Freiheitsgraden und skalieren um den Standardfehler des Unterschieds gegenüber dem praktischen Unterschied, 4. Beachten Sie, dass der Bereich im unteren Bereich bei der tatsächlichen Differenz etwa 0,01 beträgt. Jetzt setzen Sie die Verteilung des Schülers über das Negative des praktischen Unterschieds, -4. Sie messen den Bereich am rechten Schwanz, der hier sehr, sehr klein ist. Dann nehmen Sie das Maximum der beiden p-Werte, die hier 0,01 betragen. Sie haben also praktische Äquivalenz auf dem Signifikanzniveau von 0,01 gezeigt.
Jetzt haben wir beide Werkzeuge. Wenn wir also Mittel vergleichen, haben wir in Bezug auf einen praktischen Unterschied zwei p-Werte und drei mögliche Schlussfolgerungen: Praktisch gleichwertig, praktisch unterschiedlich und praktisch nicht schlüssig, wenn beide p-Werte nicht signifikant sind.
Bei den obigen Mittelwertvergleichen sind alle Tests äußerst wichtig für den Test, dass der Mittelwert Null ist. Dies sind die blau schattierten p-Werte. Nur drei der Antworten unterscheiden sich jedoch praktisch, dh sie unterscheiden sich wesentlich stärker als die praktischen Unterschiede. Dies sind die rot schattierten p-Werte. Sieben Antworten sind praktisch gleichwertig, dh der Unterschied ist deutlich geringer als der praktische Unterschied im absoluten Wert. Diese sind grün schattiert. Zwei der Tests sind nicht schlüssig - der Unterschied unterscheidet sich signifikant von Null, unterscheidet sich jedoch nicht wesentlich vom praktischen Unterschied und auch nicht wesentlich geringer als der praktische Unterschied (Äquivalent).
Jetzt können Sie die Vergleiche durchgehen und schnell feststellen, wie jede der vielen Antworten ihren Mittelwert über den Faktor hinweg verändert hat, auch wenn Sie Millionen von Beobachtungen haben.
Praktische Differenztests sind in verfügbar JMP 11 In der Response Screening-Plattform sind Äquivalenztests sowie in Oneway und das neue Nonlinear verfügbar.
Hinweis: Dies ist Teil eines Große Statistiken Serie von Blogbeiträgen von John Sall. Lesen Sie alle seine Große Statistikbeiträge .
Mike Clayton schrieb:
Diese Ideen sollten im Webinar-Format für STEM-Schulklassen der High School erarbeitet werden.
Dies sind wichtige Konzepte, die illustriert werden müssen (wie Sie es getan haben) und in vielen Lehrbüchern nicht gut dargestellt werden. Datenreich wie wir heute sind, sind die alten Hypothesentests auf den ersten Blick viel weniger nützlich, aber Sie haben den p-Wert für Big Data mithilfe praktischer Grenzwerte und einer neuen (für mich) Visualisierung und Tabelle (bei vielen Personen) erhalten greifen die p-Werte in vielerlei Hinsicht als gefährlich oder unbrauchbar an.)
Vorbehalt: Ich bin kein Statistiker.
