What else should I consider when planning my test?What else should I consider when planning my test?What else should I consider when planning my test?What else should I consider when planning my test?Was sollte ich bei der Planung meines Tests noch beachten?
Für diesen dritten Teil meiner Blogserie „Aus meinen Fehlern lernen“. , möchte ich meine Gedanken zu den Vorbereitungen für die Planung eines Tests zusammenfassen. Wir haben bereits darüber gesprochen, was wir allgemein von einem T-Test erwarten können. Wir wissen jetzt also, dass wir ein Konfidenzniveau festlegen, ein Verbesserungsziel im Vergleich zum aktuellen Zustand festlegen und eine Richtung für die Verbesserung festlegen müssen (größer oder kleiner als der aktuelle Zustand). Lassen Sie uns nun über einige andere Testüberlegungen sprechen und abschließen Stellen Sie die vollständige Frage .
Weitere Überlegungen vor der Testplanung
Rückruf von das ursprüngliche Szenario dass der Ingenieur beschlossen hat, aus jeder Population drei Stichproben zu ziehen, um festzustellen, ob sich der Populationsmittelwert zwischen der neuen Behandlung und der Kontrolle geändert hat. Warum hat er drei Proben ausgewählt? Warum nicht fünf? Oder 10? Oder 2? Vielleicht lag es daran, dass „wir das schon immer so gemacht haben.“ Vielleicht gab es noch andere Überlegungen, die noch nicht beschrieben wurden.
Aus rein statistischer/mathematischer Sicht ist bei der Wahl der Stichprobengröße immer mehr besser. Wenn wir ALLE Teile einer Grundgesamtheit beproben könnten, müssten wir schließlich keine Annahmen über den Mittelwert oder die Varianz der Grundgesamtheit treffen. Wir würden es wissen!
Leider gibt es in unserer täglichen Arbeit viele praktische Überlegungen, die sich auf die Auswahl der Stichprobengröße auswirken. Und noch bedauerlicher ist, dass ich selbst nicht alle Einschränkungen und Auswirkungen der Durchführung eines bestimmten Tests berücksichtigt habe. Es wäre viel klüger, diese Faktoren vor Beginn des Tests zu berücksichtigen, als aus Eile Zeit zu verschwenden.
Im Folgenden biete ich einige Dinge an, die sich auf die Planung Ihres Tests auswirken könnten:
- Wie hoch ist das Budget für diesen Test?
- Das Management ist immer am Budget interessiert!
- Wann brauchen wir eine Antwort?
- Wenn bis zum Ende der Woche eine Antwort benötigt wird, der Test jedoch mindestens einen Monat dauern wird, müssen wir die Frage, die wir beantworten möchten, und die Methodik, die wir zur Beantwortung verwenden, überdenken.
- Wie viele Testmuster können wir uns leisten?
- Dies könnte mit den Kosten für die Teile selbst sowie mit der Zeit und dem Zeitplan für deren Herstellung verbunden sein. Stilllegen wir eine Produktionslinie, um diese Teile herzustellen?
- Wird „Charge“ für uns wichtig sein (vorausgesetzt, die Teile werden in Chargen hergestellt)?
- Wenn ja, erwägen Sie die Probenahme über mehrere Chargen hinweg. Dies wirkt sich natürlich auf die Zeit zur Herstellung der ersten Testteile und auf die Zeit bis zu unseren endgültigen Ergebnissen aus.
- Wie viele Proben können wir tatsächlich testen?
- Ist das Labor, das die Proben testet, mit anderen Dingen beschäftigt? Kostet es Geld, die Proben an ein externes Labor zu schicken?
- Planen wir wirklich, den richtigen Parameter auf die richtige Art und Weise zu testen? In unserem Szenario wollen wir die „Stärke“ unserer Teile erhöhen. Es gibt viele Möglichkeiten, die Kraft zu messen (z. B. Zugtests, wiederholte Belastungstests, Schlagtests). Oder vielleicht müssen wir wirklich den Elastizitätsmodul, die Härte oder einen anderen Parameter messen. Beeilen Sie sich nicht einfach und fangen Sie an zu messen!
- Können wir den „wichtigen Unterschied“, den wir erkennen wollen, überhaupt mit unseren aktuellen Testgeräten messen?
- Eine Messsystemanalyse hilft, Ihre Messgeräteschwankungen zu verstehen. Ich werde in meinem nächsten Blog-Beitrag mehr darüber behandeln und auch darauf eingehen, was zu tun ist, wenn Ihr Messgerät nicht gut genug ist.
- Kennen Sie die normale Festigkeitsschwankung zwischen den Teilen Ihrer Kontrollteile? Erwarten Sie, dass die neuen Teile die gleiche Variation aufweisen? Wird erwartet, dass die Variation normalverteilt ist?
- Diese Fragen spielen eine wichtige Rolle, wenn wir den Test planen und die Ergebnisse analysieren.
- Ist neben der Verbesserung der durchschnittlichen Teilefestigkeit auch die Beibehaltung bestehender Teil-zu-Teil-Variationen wichtig für das Produkt? Muss auch die Variation verbessert werden? Lässt es sich umgekehrt erweitern?
- Wenn wir die durchschnittliche Festigkeit der Teile verbessern, aber die Streuung (Variation) der Teile erhöhen, produzieren wir dann tatsächlich mehr Ausschuss?
- Normalerweise machen wir uns Sorgen, dass Prozesse außer Kontrolle geraten und/oder fehlerhafte Teile hergestellt werden. Aber wie viel geben wir aus, um diese Kontrolle aufrechtzuerhalten, wenn wir einen kontrollierten Prozess haben, der konstant gute Teile herstellt?Könnten wir größere Abweichungen bei den Neubehandlungsteilen tolerieren und etwas Geld bei der Prozesskontrolle einsparen?
Alle diese Überlegungen fließen in die Auswahl der Stichprobengröße für unsere Hypothese ein T-Test . (Ich bin mir sicher, dass Ihnen noch viele weitere Überlegungen einfallen, die besprochen werden müssen, bevor der Test geplant wird.)
Also nenne ich diesen Fehler: Nicht alle Faktoren, die sich auf die Testplanung auswirken könnten, werden ausreichend berücksichtigt.
Was ist die vollständige Frage, die wir zu beantworten versuchen?
Sie können alle oben genannten Diskussionen und Fehler entschärfen, indem Sie sich die Zeit nehmen, „die vollständige Frage zu stellen“. (Hier muss ich ein Lob aussprechen Bill Kappele , mein Mentor und Freund, der mir diese Methode vor vielen Jahren beigebracht hat.)
„Stellen Sie die vollständige Frage“ bedeutet, die gesamte Diskussion oben (und in Teil 1 und 2) durchzugehen und sicherzustellen, dass alles berücksichtigt wurde, sodass wir die richtige Menge messen, Einschränkungen für unsere Tests definieren und definieren, wie viel Unterschied wichtig ist zu uns usw.
Nehmen wir in unserem Szenario an, dass wir mit allen interessierten Parteien und Stakeholdern gesprochen haben, und formulieren die Frage wie folgt um:
„Können wir mit 95-prozentiger Sicherheit sagen, dass Behandlung A die durchschnittliche Festigkeit des Teils im Vergleich zum aktuellen Prozess um mehr als eine Einheit verbessert, ohne dass die Variation des Prozesses zunimmt?“
Anschließend würden wir alle Einschränkungen auflisten. Einige davon könnten sein:
- Wir können es uns leisten, insgesamt 40 Teile zu bauen und zu testen (Summe aller Teile aus Behandlung A + Kontrolle <=40).
- Wir können den Effekt von Batch ignorieren
- Wir brauchen die Antwort in einem Monat (gerade genug Zeit, um diese Blogserie abzuschließen!)
Bestätigen Sie, dass wir die vollständige Frage gestellt haben
Im Laufe meiner Karriere habe ich gesehen, wie Ingenieure viel Zeit und Ressourcen im Labor aufwendeten, um einem Problem auf den Grund zu gehen, nur um dann festzustellen, dass sich niemand um die Ergebnisse kümmerte. Das Problem liegt nicht im anfänglichen Denken und der Testplanung. Das Problem liegt nicht in der Testausführung. Das Problem besteht darin, dass die Ingenieure nicht im Voraus überprüft haben, ob die richtige/vollständige Frage beantwortet wurde.
Does the boss agree with your plan?Does the boss agree with your plan?Does the boss agree with your plan?Does the boss agree with your plan? Ist der Chef mit Ihrem Plan einverstanden?
Nachdem wir also all diese vorausschauenden Überlegungen und Testplanungen durchgeführt haben, ist es eine gute Idee, noch eine letzte Sache zu tun: Fragen Sie Ihren Vorgesetzten, ob er/sie der Meinung ist, dass diese Frage beantwortet werden muss. Wenn die Durchführung des Tests viel Zeit in Anspruch nimmt, ist es sogar eine gute Idee, sich regelmäßig beim Management zu erkundigen, um sicherzustellen, dass sich die Bedingungen nicht geändert haben. Niemand möchte seine Zeit mit der Durchführung eines nutzlosen Tests verschwenden!
Demnächst
Ich habe vor, im weiteren Verlauf alle folgenden Themen anzusprechen. Ich hoffe, Sie können sich mir anschließen die ganze Serie !
- Teil 1: Ein typisches Szenario entwerfen
- Teil 2: Was sagt uns der t-Test wirklich?
- Teil 3: Weitere Testüberlegungen und Stellen Sie die vollständige Frage (dieser Beitrag)
- Teil 4: Ist Ihr Messgerät leistungsfähig (und was tun, wenn nicht)?
- Teil 5: Planung und Durchführung des Tests: Von der Stichprobengröße bis zu Best Practices
- Teil 6: Analyse der Ergebnisse (einschließlich Garbage In = Garbage Out)
- Teil 7: Zusammenfassung
Ein sehr guter Ansatz, um die richtige Frage zu stellen.
1993 entwickelten Doug Montgomery und ich gleichzeitig einen „Master Guide to DOE“. Er veröffentlichte zuerst (Technometrics, 1993). Seitdem nutze ich den Ratgeber. Es stellt ungefähr die gleichen Fragen wie Sie.
Ich habe eine Kopie auf meiner Website ( http://cawseandeffect.com/doe-master-guide/ ) Schaut gerne mal vorbei.
Überhaupt nicht pingelig, @calking !Freut mich über die Kommentare.
Ja, es gibt Kompromisse bei der Stichprobengröße, und Sie machen mehrere gute Argumente.Und Sie stehlen mir nicht den Wind ... Sie wecken nur Appetit auf das, was bei der Auswahl geeigneter Stichprobengrößen vor uns liegt.Danke für die Gedanken und Beiträge!
Hallo Jerry,
Ich liebe deine Serie! Als jemand, der bereits Erfahrung in der Industrie hat, freue ich mich, jemanden zu sehen, der die gleichen Themen behandelt, mit denen ich mich beschäftigt habe (und auch einige der gleichen Fehler überwinde). Ich kann es kaum erwarten zu sehen, was als nächstes kommt!
Ich habe einen kurzen Kommentar und hoffe, dass er nicht zu pingelig ist :-/. Sie erwähnen, dass aus statistischer/mathematischer Sicht mehr Stichproben immer besser sind. Ich würde sicherlich zustimmen ... bis zu einem gewissen Punkt. An diesem Punkt würde ich anfangen, über sinkende Renditen nachzudenken. Wie viele weitere Informationen liefern/liefern die zusätzlichen Beispiele zur Beantwortung meiner Frage? Lohnt sich der zusätzliche zeitliche und/oder finanzielle Aufwand, um an diese zusätzlichen Daten zu gelangen?
Vielleicht könnte ein extremes Beispiel meinen Standpunkt veranschaulichen. Angenommen, ich biete Ihnen die Wahl zwischen der gesamten interessierenden Bevölkerung und einer Teilmenge dieser Bevölkerung. Wenn ich es dabei belassen würde, würden Sie wahrscheinlich die gesamte Bevölkerung als Selbstverständlichkeit wählen. Aber was wäre, wenn ich Ihnen sagen würde (mit meiner besten Lawrence-Fishburne-Stimme und meiner coolen Sonnenbrille), dass diese Untergruppe aus allen bis auf ein Mitglied der Bevölkerung besteht? An diesem Punkt wäre die Wahl wahrscheinlich schwieriger. Sie fragen sich vielleicht: „Was ist eigentlich der Unterschied zwischen den beiden?“ Brauche ich wirklich das eine zusätzliche Mitglied, um meine vollständige Frage zu beantworten?“ (was Sie anhand der Leitfragen im obigen Blogbeitrag ermittelt haben 
). Vielleicht tust du das, vielleicht auch nicht. Aber der Punkt ist, dass die Wahl nicht mehr so eindeutig ist.Es erinnert mich an einen berühmten Paradox ungefähr, wenn ein Sandhaufen aufhört, ein Haufen zu sein, wenn man die Körner einzeln entfernt. Wenn Sie es umgekehrt betrachten, liefert mir das Hinzufügen von mehr Sand (Daten) wertvolle Informationen oder erhalte ich dadurch nur einen etwas größeren Haufen als den, den ich bereits habe?
Offensichtlich fallen die Situationen der meisten Menschen in die Kategorie: Mehr Daten zu haben bedeutet eindeutig, mehr Informationen zu haben. Normalerweise müssen Sie sich darüber keine Gedanken machen, bis Sie in die großen Beispielsituationen geraten. Aber ich würde argumentieren, dass, wenn Sie jemals eine statistische Trennschärfeberechnung zur Bestimmung der Stichprobengrößen verwendet haben, Sie implizit dieses Argument der abnehmenden Rendite verwenden. Schließlich sagt Ihnen eine Power-Berechnung einfach die Mindeststichprobengröße, die zum Erreichen Ihrer statistischen Ziele erforderlich ist (vorausgesetzt, sie wird richtig verwendet), mit der Folgerung, dass zusätzliche Daten nur das Tüpfelchen auf dem i sind.
(Hoffentlich habe ich Ihren kommenden Beiträgen keinen Aufsehen erregt :-/. Oder war waaaayyyy zu pingelig :-/.)
