Die erste Zeile von Leo Tolstois klassischem Roman Anna Karenina beginnt:
„Glückliche Familien sind alle gleich; Jede unglückliche Familie ist auf ihre Art unglücklich. “
Dies ist eine sehr einprägsame Zeile. Aber schau dir das an Wikipedia-Eintrag für das Anna-Karenina-Prinzip Ich habe diese Version für statistische Signifikanztests gesehen:
"... Es gibt eine Reihe von Möglichkeiten, wie ein Datensatz die Nullhypothese verletzt, und nur eine, bei der alle Annahmen erfüllt sind."
Wenn wir einen Hypothese-Test durchführen, dass zwei Mittel gleich sind, ist der langweilige Fall derselbe, dh wenn wir die Nullhypothese nicht ablehnen. Der interessante Fall ist, wo die Mittel unterschiedlich sind, obwohl vielleicht nicht interessant genug, um einen Tolstoy-Roman wert zu sein. Der Unterschied kann groß genug sein. Der Unterschied kann ein Vielfaches des Unterschieds sein, der signifikant wäre. Sie können in der einen oder anderen Richtung unterschiedlich sein. Wenn wir mehr als zwei Mittel haben, gibt es viele Kombinationen von Unterschieden, die von Interesse sind. Wir suchen etwas Interessantes - etwas anderes - in den Statistiken.
Stellen Sie sich einen Herstellungsprozess vor, bei dem Sie nach Unterschieden suchen möchten. Angenommen, Sie haben einen Lieferanten für eine Zutat gewechselt und möchten sicherstellen, dass sich der Prozess oder das Produkt nicht oder in die richtige Richtung ändert. Angenommen, Sie nehmen eine technische Änderung in der Art der Produktherstellung vor und möchten sicherstellen, dass es nicht schlechter wird. Sie haben Hunderte von Variablen, die Sie betrachten müssen, und Sie möchten Hunderte von Hypothesen testen. Sie möchten sehen, wo die größten Unterschiede sind.
Schauen wir uns einige Halbleiterdaten an. Wir wollen 387 Prozessvariablen im Auge behalten und machen uns Sorgen über eine technische Änderung, die in der Spalte „Prozess“ als alt oder neu beschrieben wird. Ich kann leicht ein Fit Y nach X für alle Antworten im Vergleich zu Process durchführen. Dann mache ich einen Kontrollklick auf ANOVA, um alle Tests zu erhalten. Der Control-Click überträgt den Befehl an alle 387 Analysen. Hier ist ein Bild von einem der 387 Berichte:
Jetzt habe ich das gleiche Problem wie in meinem vorherigen Blogbeitrag: Es gibt 387 Berichte, die durchgesehen werden können. Ich möchte nur den ANOVA-p-Wert "Prob> F" betrachten, die Wahrscheinlichkeit, eine noch größere F-Statistik zu erhalten, als ich, wenn die Mittelwerte gleich sind. Nun, JMP kann diese p-Werte sammeln. Ich klicke mit der rechten Maustaste auf den Wert und wähle den Menüpunkt "Kombinierte Datentabelle erstellen". Daraus ergibt sich Folgendes:
Die Tabelle enthält drei Zeilen pro Antwort, aber die zu löschenden Zeilen enthalten fehlende Werte für den p-Wert. So kann ich Select Matching Cells verwenden, um sie auszuwählen, zu löschen und sie dann in aufsteigender Reihenfolge nach einem anderen Rechtsklickbefehl in der p-Wert-Spalte zu sortieren.
Hallo! Anscheinend sind viele meiner p-Werte von Bedeutung. Etwas hat sich wirklich geändert, als ich den Prozess geändert habe. Hier ist die Verteilung der p-Werte:
Beim Betrachten der CDF-Grafik sehe ich, dass fast 60 Prozent der p-Werte sehr klein sind. Die anderen 40% der p-Werte scheinen ziemlich gleichmäßig von 0 bis 1 verteilt zu sein. Betrachten Sie alle p-Werte in der Reihenfolge von klein bis groß:
Erinnere dich jetzt an das Anna-Karenina-Prinzip. Wenn die Mittel gleich sind, dh die Nullhypothese wird nicht zurückgewiesen, ist alles langweilige Gleichheit. Wenn die Mittel jedoch unterschiedlich sind, wird die Nullhypothese abgelehnt, und die Mittel können sich in vielerlei Hinsicht und in vielen Größenordnungen unterscheiden. Visuell möchte ich, dass Gleichheit wie Gleichheit aussieht, und ich möchte, dass bedeutende Unterschiede anders und interessant aussehen.
In einem p-Wert-Diagramm haben wir das Gegenteil: Für alle nicht interessanten Tests, bei denen die Mittelwerte gleich sind, sind die p-Werte leicht unterscheidbar. Bei all den interessanten Tests, bei denen die Mittel in interessanter Weise unterschiedlich sind, haben sie alle Werte nahe Null, bei denen ich keinen voneinander unterscheiden kann. P-Werte verstoßen gegen das visuelle Anna-Karenina-Prinzip - man kann das Interessante nicht sehen, aber das Langweilige. Es ist, als hätte Tolstoi viele Kapitel über die langweiligen Randfiguren geschrieben und nur einige Zeilen über die Hauptfiguren des Romans. Wir müssen das beheben.
Der naheliegendste Weg, um Details für sehr kleine positive Werte zu erhalten, besteht im Umschalten auf die Protokollskala. Es stellt sich heraus, dass ich einen sehr kleinen Ursprung wählen muss, um die meisten dieser p-Werte zu erhalten.
Anstatt nur eine Protokollskala zu verwenden, warum sollten Sie nicht einfach log10 (pvalue) berechnen und dies darstellen? Tatsächlich möchten wir die signifikantesten Werte oben und nicht unten haben, also drehen wir Zeichen um und zeichnen –log10 (pvalue) auf. Und weil wir dies häufig tun wollen, müssen wir einen kurzen Namen dafür erfinden.
Der Name LogWorth wurde ab 1995 von Padraic Neville im spezifischen Kontext von Entscheidungsbaumkriterien verwendet. Es ist viel einfacher, "LogWorth" zu sagen als "negatives Log-to-the-Base-10 des p-Werts".
Nun sind wir dem Anna-Karenina-Prinzip nachgekommen. Bedeutsame Sätze von Mitteln unterscheiden sich im Signifikanzdiagramm. Mittel, die langweilig gleich sind, sind in der Darstellung gleich.
Aber haben wir eine Perspektive aufgegeben? Werden wir LogWorth sowie Wahrscheinlichkeiten verstehen? Ich bin optimistisch, dass wir das können. Hier sind die neuen Torpfosten von Bedeutung zu lernen:
PValue = .01 -> LogWorth = 2PValue = .05 -> LogWorth = 1.3
PValue = .10 -> LogWorth = 1
In der Grafik oben habe ich sogar eine rote Bezugslinie bei 2. Wir sprechen auch gerne über Informationen über die logarithmische Wahrscheinlichkeitsskala, da Sie sich Sätze wie "so selten wie drei Zehner hintereinander in 10-seitigen Würfeln" vorstellen können, nämlich (1/10). 3 oder.001.
Die Informationstheorie ist mit der Protokollskala sehr vertraut, da Sie sie hinzufügen können, anstatt sie zu multiplizieren. Die Terminologie der Einheiten wurde herausgefunden. Ein negatives Log zur Basis 2 der Wahrscheinlichkeit in der Informationstheorie wird als Bits bezeichnet. Wenn Sie die Basis 10 verwenden, wird dies als decits bezeichnet. Wir können also sehen, dass die LogWorth-Achse in gemessen wird entscheidet Seltenheit oder wie viele Dekaeder sterben würfelt. (Für mehrere alternative Begriffe siehe Informationseinheiten Eintrag in Wikipedia.)
Die Protokollskala ist besonders wichtig, wenn Sie Tests durchführen, die von großer Bedeutung sind, was bei großen Datenmengen immer der Fall ist. Sie möchten die Bedeutung immer noch plotten und einordnen. Das Fließkommasystem unserer Computer kann jedoch nur Werte bis etwa 10 ^ -323 darstellen. In unseren Daten haben 387 der von uns durchgeführten 387 Tests p-Werte kleiner als 10 ^ -323, die nur als Null dargestellt werden können und daher nicht unterscheidbar sind. Wir verwenden daher log-Wahrscheinlichkeitsroutinen, wenn wir Signifikanzen berechnen, damit wir Signifikanz darstellen können. Der bedeutendste Test in diesen Daten hat einen LogWorth-Wert von 4638.1808456. Dies ist ein sehr differenzierter Wert, der die Darstellung der LogWorths verzerrt - in einigen Fällen müssen wir entweder eine andere Protokolltransformation verwenden. Tatsächlich werden wir dem LogWorth eine Obergrenze aufstellen - im Interesse, mehr Details in den restlichen Daten zu sehen und uns dafür zu entschuldigen, dass das visuelle Anna-Karenina-Prinzip für einige Werte verletzt wurde.
LogWorths erschien übrigens bei der Einführung der Partition-Plattform, und nun wird sie von der Response Screening-Plattform und der dazugehörigen passenden Persönlichkeit verwendet.
Hinweis: Dies ist Teil eines Große Statistiken Serie von Blogbeiträgen von John Sall. Lesen Sie alle seine Große Statistikbeiträge .
