T-tests are easy to run, but results can be confusing!T-tests are easy to run, but results can be confusing!T-tests are easy to run, but results can be confusing!T-tests are easy to run, but results can be confusing!T-Tests sind einfach durchzuführen, aber die Ergebnisse können verwirrend sein! In meinem vorheriger Blogbeitrag, Ich skizzierte ein Szenario, in dem ein Ingenieur damit beauftragt wurde, festzustellen, ob sich eine Prozessänderung auf die Festigkeit eines Teils auswirkt. Der Ingenieur entschied sich dafür, drei Teile mit der neuen Behandlung (Behandlung A) zu testen und mit drei Standardteilen (Kontrolle) zu vergleichen. Die Ergebnisse wurden mit einem Standard-T-Test analysiert und der resultierende p-Wert war größer als 0,05 (für 95 % Konfidenz). Daher wurde das neue Verfahren aufgegeben.
In meiner Karriere als Ingenieur habe ich dieses Szenario mehrmals gesehen und behaupte, dass der Ingenieur möglicherweise eine gute Prozessverbesserung aufgegeben hat.
Warum sage ich das? Zunächst einmal denke ich, dass der Test möglicherweise schlecht geplant und durchgeführt wurde, weil wir die T-Tests nicht verstanden haben und uns nicht klar ist, was wir erreichen wollten. Mit anderen Worten: Behandlung A hätte eine praktikable Lösung für unseren Wunsch sein können, die Festigkeit des Teils zu erhöhen!
Schauen wir uns den t-Test an, was wir von ihm erwarten können und wie Ergebnisse oft falsch interpretiert werden.
Was können wir von einem t-Test erwarten?
Was versuchen wir mit einem t-Test zu machen? Ingenieure verwenden häufig T-Tests, um Unterschiede zwischen Durchschnittswerten (oder Mittelwerten) zweier großer Gruppen von Teilen (oder Populationen) zu ermitteln. Die Populationen sind zu groß, als dass wir alle Teile messen könnten. Deshalb ziehen wir eine begrenzte Anzahl von Stichproben aus jeder Population und hoffen, dass sie für das Ganze repräsentativ sind. Da die Stichprobengrößen jedoch begrenzt sind, unterscheiden sich die Stichprobenmittelwerte fast immer von denen ihrer Ausgangspopulationen. Tatsächlich können sie ziemlich weit entfernt sein! (Zum Beispiel könnten wir versehentlich drei Stichproben mit hoher Stichprobe aus einer Grundgesamtheit ziehen, sodass der Stichprobenmittelwert möglicherweise viel höher ist als der Grundgesamtheitsmittelwert.) Der Vergleich nur der Stichprobenmittelwerte kann sicherlich irreführend sein, daher wenden wir einige Statistiken an (d. h. die t- Test), um einige zu ermöglichen „Kentucky-Windage“ als Ausgleich für die Stichprobenmittel.
Eine typische (und uninformierte) t-Test-Interpretation
In unserem Szenario hat der Ingenieur drei Muster jedes Teiletyps gezogen. (Wir wissen nicht, warum er das getan hat … vielleicht war es in seinem Unternehmen einfach nur Tradition.) Wir teilen unserem Softwarepaket mit, wie viele Proben gesammelt wurden und welches Konfidenzniveau (oft 95 % Konfidenz) wir in der Probe haben wollen Ergebnisse. Anschließend lassen wir unsere Software die T-Test-Berechnung durchführen und erhalten einen „p-Faktor“. Dieser p-Faktor beurteilt, ob wir „die Nullhypothese widerlegen“ sollten. (Warum können Statistiker doch nicht Klartext sprechen, oder?) In unserem Szenario benötigen wir für eine Konfidenz von 95 % einen p-Faktor von weniger als 0,05, was wir nicht erreicht haben. Also haben wir die Verbesserung aufgegeben.
Das Problem mit dieser Interpretation
Konfidenzniveaus, p-Faktoren, Nullhypothesen … das ist statistischer Fachjargon, der oft schwer zu verstehen ist und zu falschen Schlussfolgerungen führen kann. Lassen Sie es uns etwas laienhaft erklären.
- Das sagt uns der t-Test (mit einem p-Faktor von mehr als 0,05). gegeben unsere Beispieldaten (einschließlich Stichprobengröße), wir KANN NICHT SAGEN mit 95-prozentiger Sicherheit, dass es einen Unterschied in den Mittelwerten der beiden großen Grundgesamtheiten gibt.
- Was zum T-Test SAGT NICHT ist, dass die Populationen die gleichen Mittel haben! Das ist sehr subtil, aber äußerst wichtig! Wir konnten nicht beweisen, dass sie unterschiedlich sind, aber sie könnten tatsächlich dennoch unterschiedlich sein! Die Varianz (oder das Rauschen) in unseren Daten machte es unmöglich, den Unterschied in diesem Test festzustellen. Aber wenn wir jeweils fünf Proben (oder 10 oder 100) gesammelt hätten, hätten wir vielleicht einen Unterschied feststellen können!
Der erste Fehler, den ich gesehen habe, besteht darin, aus dem fehlgeschlagenen (dh hohen p-Faktor) t-Test zu schließen, dass die Mittelwerte der Bevölkerung gleich sind. Denken Sie daran, dass T-Tests nur Aufschluss darüber geben können, ob die Bevölkerungsmittelwerte unterschiedlich sind!
(Ein zweiter Fehler, den ich beschönigt habe, war, dass wir nicht explizit definiert haben, welches Maß an Vertrauen in die Ergebnisse erforderlich ist.Ein Konfidenzniveau von 95 % ist in der Ingenieurswelt üblich, in medizinischen Studien usw. ist jedoch häufig eine viel höhere Konfidenz erforderlich.)
Weiter zum nächsten Fehler…
Was ist für Sie ein wichtiger Unterschied?
Denken Sie daran, dass der Ingenieur das Experiment lediglich mit der Suche begann, um festzustellen, ob zwischen den beiden Populationsmittelwerten ein Unterschied besteht. In den meisten praktischen Szenarien sind wir jedoch daran interessiert, ob uns Behandlung A (in unserem Beispiel) zumindest eine gewisse Verbesserung gegenüber dem Standard bringt. Ist für uns in unserem Szenario eine Verbesserung der Festigkeit um 0,00001 % wichtig? Vielleicht, aber wahrscheinlich nicht. Wäre uns eine Verbesserung um 1 % wichtig? Oder 10 %?
Dieser „wichtige Unterschied“ läuft eigentlich auf die Stimme des Kunden hinaus, da (im Allgemeinen) eine Prozessverbesserung anhand der Wünsche des Kunden und damit dessen, wofür er bezahlen wird, beurteilt werden muss. Es könnte auch mehrere andere Überlegungen seitens der Produktionsfirma geben.
In unserem Szenario wurde nichts darüber gesagt, was für uns wichtig ist. Tatsächlich haben wir nicht einmal ausdrücklich gesagt, dass wir wollten, dass der Mittelwert der Behandlungspopulation höher ist als der der Kontrolle! (In diesem Fall scheint es offensichtlich, dass wir die Festigkeit der Teile erhöhen wollen, aber vielleicht ist das Teil überdimensioniert und wir möchten die Festigkeit reduzieren, um Kosten zu sparen.) Ob wir eine Erhöhung oder eine Verringerung anstreben, spielt ebenfalls eine Rolle Da es sich hierbei um statistische Berechnungen handelt, ist es wichtig, dies anzugeben. Das Entwicklungsteam muss zusammen mit dem Management entscheiden, welcher Unterschied wichtig ist und ob es sich um eine Erhöhung oder eine Verringerung handelt, bevor mit der Testplanung begonnen werden kann.
Der zweite Fehler, den ich oft sehe, ist, dass weder die Größe des wichtigen Unterschieds noch die Richtung (zunehmend oder abnehmend) des Unterschieds angegeben wurde.
Wie haben sich diese Fehler auf unser Testszenario ausgewirkt?
Wenn wir über diese Punkte nachgedacht hätten, hätten wir unseren Test möglicherweise neu gestaltet und wären zu einer völlig anderen Schlussfolgerung in Bezug auf Behandlung A gekommen. Aber aufgrund unseres Mangels an Wissen über den T-Test und unserer schlechten Definition dessen, was wir erreichen wollten haben wir Behandlung A als praktikable Lösung ignoriert.
Wir werden im nächsten Blogbeitrag mehr über andere Aspekte der Testplanung sprechen und mit „Stellen Sie die vollständige Frage“ abschließen, was dabei helfen kann, viele dieser Fehler zu vermeiden. Ich hoffe, Sie können in etwa einer Woche Teil 3 einschalten!
Vorausschauen
Ich habe vor, im weiteren Verlauf alle folgenden Themen anzusprechen. Ich hoffe, Sie können sich mir anschließen die ganze Serie !
- Ein typisches Szenario skizzieren
- Was sagt uns der t-Test wirklich? (dieser Beitrag)
- Weitere Überlegungen zum Test und Stellen Sie die vollständige Frage
- Ist Ihr Messgerät dafür geeignet (und was ist zu tun, wenn dies nicht der Fall ist)?
- Planung und Durchführung des Tests: Von der Stichprobengröße bis zu Best Practices
- Analysieren der Ergebnisse (einschließlich Garbage In = Garbage Out)
- Abschließende Zusammenfassung
