Hallo zusammen. Mein Name ist Dale Human. Ich bin Architekt und Ingenieur bei GE Healthcare in Milwaukee, Wisconsin, USA.
Heute spreche ich über Möglichkeiten zum Vergleich von Systemen. Im Allgemeinen konzentriere ich mich auf Messsysteme, unabhängig davon, ob es sich um ein Bearbeitungssystem handelt, bei dem die Leistung des Bearbeitungsprozesses oder eines ähnlichen Prozesses gemessen wird.
Ich konzentriere mich auf industrielle Umgebungen, aber diese Vergleichstechniken können eigentlich in jedem Kontext verwendet werden, ich werde mich jedoch mehr auf einen industriellen Kontext konzentrieren.
Sie sehen hier, mein Tagebuch zeigt Ihnen die verschiedenen Themen, die wir durchgehen werden. Warum wollen wir überhaupt Systeme vergleichen? Da wir über Messsysteme sprechen, könnten Sie eine Messsystemanalyse nutzen, um einen Vergleich durchzuführen und zu sehen, wie diese im Vergleich abschneiden. Wir werden kurz darauf eingehen.
Wenn Sie mit statistischen Vergleichstools wie T-Tests und ANOVA-Analysen vertraut sind, könnten Sie auch über Vergleiche nachdenken. Wir werden uns das ansehen. Anschließend betrachten wir eine weitere Technik, mit der Sie vielleicht nicht so vertraut sind: die Verwendung einer speziellen Regressionsanalyse zum Vergleich von Messsystemen.
Also gut, fangen wir an.
Erstes Thema: Warum wollen wir Systeme vergleichen? In industriellen Umgebungen gibt es häufig mehrere Exemplare desselben Systems, die dieselben Abmessungen an Teilen messen und dasselbe Ergebnis eines Prozesses messen. Hier auf dem Bild sehen Sie einige Messsysteme, beispielsweise Koordinatenmessgeräte.
Wenn Sie über mehrere Maschinen verfügen, die alle die gleiche Ausgabe messen, möchten Sie wahrscheinlich sicherstellen, dass alle diese Messsysteme einigermaßen ähnliche Ergebnisse liefern, sodass es nicht zu Unterschieden kommt, die ausschließlich durch Ihre Messvorgänge verursacht werden.
Es könnte auch sein, dass Sie eine etwas andere Messmethode einführen. Heute verwenden Sie beispielsweise ein Koordinatenmessgerät (KMG) wie hier gezeigt mit Tastsystemen. Vielleicht möchten Sie auf ein optisches Messsystem umsteigen, das beispielsweise etwas schneller ist. Sie möchten aber dennoch sicherstellen, dass Sie bei der Messung derselben Abmessungen mit beiden Systemen ähnliche Ergebnisse erzielen.
Das Ziel dieser Vergleiche besteht darin, sicherzustellen, dass ich, wenn ich dieselben Teile auf einem dieser Systeme messe, dieselben Ergebnisse erhalte, natürlich mit einer nicht akzeptablen Fehlerquote, da es einen gewissen Messfehler geben wird.
Darüber werden wir sprechen. Ich habe hier einige Anmerkungen dazu, was „identisch“ und „ähnlich“ bedeutet. Das erfordert wirklich einige Diskussionen und Überlegungen mit Ihrem Team. Sie rufen eine Gruppe von Fachexperten zusammen und besprechen die Unterschiede zwischen Ihren Systemen. Überlegen Sie, welche Auswirkungen diese Unterschiede Ihrer Meinung nach auf die Ergebnisse dieser Systeme haben werden.
Sie werden beispielsweise über Dinge wie Softwareversionen nachdenken. Macht das einen Unterschied bei der Messung? Verwenden wir dasselbe Rezept oder sind für die verschiedenen Maschinen unterschiedliche Rezepte erforderlich? Und entstehen dadurch Unterschiede, die Sie beunruhigen könnten? Wenn Sie Vorrichtungen usw. verwenden müssen, verwenden Sie für alle Systeme dieselben Vorrichtungen? Verfügt jedes System über eigene Vorrichtungen?
All das sollten Sie bedenken, wenn Sie sagen: „Ich denke, diese Systeme sollten mir identische Ergebnisse liefern.“ (identisch natürlich in Anführungszeichen.) Aber das ist etwas, womit Sie sich bei Ihren Fachexpertensystemen beschäftigen sollten.
Nehmen wir an, Sie haben diesen Prozess durchlaufen und Sie haben zwei oder vielleicht drei oder vier Maschinen, die Sie vergleichen möchten, und Sie möchten sicher sein, dass sie Ihnen ähnliche Ergebnisse liefern.
In Ordnung. Wie können wir das machen?
Ich habe es bereits erwähnt, als wir über Messsysteme sprachen. Lassen Sie uns nun über die Messsystemanalyse sprechen. Hoffentlich haben Sie eine Messsystemanalyse für Ihr Messsystem durchgeführt.
Aber selbst wenn Sie mehrere Systeme haben, denken Sie vielleicht: „Nun, lassen Sie uns eine Gage R&R auf beiden Systemen durchführen und diese Gage R&Rs vergleichen“, zum Beispiel. Das ist etwas, worüber Sie nachdenken könnten.
Ich habe hier eine Datentabelle, die ich gerade geöffnet habe. Wenn ich hier die Spaltenstatistik aktiviere, sehen Sie, dass wir 30 Werte von fünf verschiedenen Teilen von zwei Prüfern erhalten haben. Fünf Teile wurden von zwei Prüfern gemessen, in diesem Fall jeweils dreimal für ein typisches Gage R&R-Design. Wir haben auf zwei verschiedenen Maschinen gemessen, daher haben wir hier die Ergebnisse von zwei verschiedenen Maschinen.
Wir könnten uns die Messsystemanalyse dieser Daten ansehen, um zu verstehen, ob es Unterschiede gibt. Ich führe eine Gage R&R-Analyse oder Messsystemanalyse im Menü „Analyse, Qualität und Prozess“ durch, gehe hier zur Messsystemanalyse und gebe dann die Antworten für die beiden Maschinen ein. Ich führe sie hier gleichzeitig aus. Wir sehen beide in einem Bericht.
Geben Sie anschließend Ihren Operator als Gruppierungsfaktor und Ihre Teile-ID in das Feld „Teilebeispiel“ ein. Alle anderen Einstellungen behalte ich hier auf den Standardwerten. Je nach Ihrer genauen Situation können Sie diese vorerst ändern.
Aber für unsere Zwecke belassen wir einfach alles bei den Standardeinstellungen. Ich klicke auf „Okay“. Hier sehen wir natürlich einige Diagramme, wie es JMP normalerweise tut. Es beginnt mit einer grafischen Ausgabe, mit der Sie Ihre Daten überprüfen und sicherstellen können, dass nichts Ungewöhnliches damit passiert.
Vorerst werde ich diese Diagramme jedoch ausblenden. Falls Sie es in JMP nicht kennen: Halten Sie die Strg-Taste gedrückt, um einen Befehl zu senden. Ich halte die Strg-Taste gedrückt und blende das Durchschnittsdiagramm und das Bereichsdiagramm aus. Dies gilt sowohl für die Ausgabe von Maschine 1 als auch für den Bericht von Maschine 2 weiter unten. Nur um die Sache etwas einfacher zu machen.
Dann halte ich diesmal die STRG- und die Alt-Taste gedrückt, um den Dialog mit den Optionen für Gage R&R bzw. die Messsystemanalyse aufzurufen. Der Einfachheit halber aktiviere ich nur zwei Dinge.
Ich möchte die EMP-Ergebnisse für diejenigen unter Ihnen betrachten, die die EMP-Methode für eine Messsystemanalyse verwenden. Ich werde aber auch die AIAG Gage R&R-Ergebnisse für diejenigen unter Ihnen einschalten, die bei ihrer Messsystemanalyse eher auf die prozentuale Toleranz dieser Metriken achten.
Wenn ich dort auf „OK“ klicke, erhalten Sie mehrere Berichte für jede unserer Maschinen. Hier ist die Ausgabe für Maschine Nummer 1 im Hinblick auf den EMP-Prozess. Falls Sie mit dem EMP-Prozess nicht vertraut sind: Die Analyse untersucht die verschiedenen Arten von Abweichungen in Ihrem Messsystem, genau wie der AIAG-Prozess.
Im Grunde erhalten Sie dadurch eine Klassifizierung für Ihr Messsystem.
Es gibt eine erste bis vierte Klasse. Die Definitionen dieser Klassen finden Sie weiter unten. In diesem Fall handelt es sich bei Maschine 1, die ich in diesem Bericht betrachte, um ein Messsystem zweiter Klasse, d. h. es ist nicht ganz so gut wie ein System erster Klasse. Der Messprozess führt zu etwas mehr Variation. Der Wiederholfehler, der Test-Retest-Fehler, kann etwas höher sein als gewünscht, aber das ist die Ausgabeperspektive.
Wenn ich unten für Messung 2 nach unten scrolle, sehe ich die Ausgabe für Messung 2. Dies ist ein erstklassiges Messsystem mit einem etwas kleineren Fehler. Hier lag er bei 0,023, während wir weiter oben bei 0,35, 0,035 lagen. Ein etwas kleinerer Fehler macht es also aus Klassifizierungssicht zu einem etwas besseren Messsystem.
Wenn Sie eine AIAG-Organisation sind, könnten Sie sich für Faktoren wie die prozentuale Toleranz interessieren. Hier ist unsere gesamte Toleranz für Messmittel-R&R in Prozent. Bei Maschine Nummer 1 liegen wir bei etwa 24 % Toleranz, mehr als die übliche 10-%-Faustregel, weniger als 30 %. Sie werden also wahrscheinlich etwas genauer nachforschen wollen.
Und wenn ich mir die %-Toleranz für Maschine 2 unten anschaue, sehe ich, dass sie mit 15,8 % etwas besser ist. Also immer noch über 10 %, weniger als 30 %. Sie müssten wahrscheinlich weitere Studien durchführen, um zu verstehen, ob dies für unseren Prozess akzeptabel ist oder nicht.
Die eigentliche Frage ist jedoch: Wie würden Sie diese beiden Ergebnisse vergleichen? Gibt es hier etwas, das Ihnen erlaubt zu sagen, dass diese Systeme so unterschiedlich sind, dass es mich interessiert, oder dass diese Systeme gleich sind?
Und tatsächlich ist dies nicht einfach durch die bloße Verwendung einer Messsystemanalyse zu erreichen.
Hier kommen wir zu anderen Techniken. Ich werde mich nun mit dem Hypothesentest-Ansatz für Vergleiche befassen. Lassen Sie mich diese Fenster schließen, um das Thema aus dem Weg zu räumen, und dann über den Hypothesentest sprechen.
Wenn Sie schon einmal einen T-Test oder eine ANOVA-Analyse oder Ähnliches durchgeführt haben, kennen Sie bereits Hypothesentests. Diese Tests dienen dazu, Unterschiede zu erkennen, und genau das tun Sie hier. Uns interessiert: Sind diese Systeme gleich oder nicht? Oder anders ausgedrückt: Sind sie unterschiedlich oder nicht? Sie könnten einen T-Test oder eine ANOVA-Analyse oder Ähnliches durchführen, um Systeme zu vergleichen. Schauen wir uns das an.
Ich habe hier eine weitere Datentabelle, in der wir Daten aus vier verschiedenen Systemen gesammelt haben. Auch hier öffne ich die Spalte „Statistiken“.
Sie sehen hier 80 Datenpunkte aus vier verschiedenen Systemen mit einer gewissen Spanne. Die Frage ist: „Wie kann ich feststellen, ob diese Systeme identisch sind?“ Ich erläutere das hier etwas.
Da wir hier eine Antwortvariable haben, also den Wert, den wir messen möchten, und einen Gruppierungsfaktor, also das System, auf dem ein bestimmter Wert gemessen wurde, können wir hier eine „Fit Y by X-Analyse“ durchführen.
Sie können zur Plattform „Fit Y by X“ gehen. Um die Beziehung zwischen dem beobachteten Wert und dem System, an dem wir diese Beobachtungen messen, zu verstehen, führe ich eine einfaktorielle ANOVA-Analyse durch. Ich werde das jetzt tun. Ich bringe das hier herüber.
Auch hier beginnen wir mit einem Diagramm. Wenn ich solche Vergleiche durchführe und kontinuierliche Daten nach einem Gruppierungsfaktor gruppiere, schaue ich mir gerne Boxplots an.
Auch hier halte ich die Alt-Taste gedrückt, während ich auf das rote Dreieck klicke, um den Dialog mit den verschiedenen Optionen aufzurufen. Ich deaktiviere die Punkte und aktiviere die Boxplots. Das ist natürlich alles persönliche Vorliebe. Ich schaue mir einfach gerne Boxplots an, wenn ich solche Gruppen habe. Mein Gehirn mag es einfach, sie visuell vergleichen zu können. Sie können die Punkte auch aktiviert lassen, das ist in Ordnung.
Hier haben wir einige Boxplots, die uns die Verteilung der Daten aus jedem dieser vier Systeme zeigen. Und optisch sehen sie alle ziemlich ähnlich aus. Die Boxen sind ungefähr gleich hoch, was bedeutet, dass die mittleren 50 % der Daten ungefähr die gleiche Streuung aufweisen.
Unsere Whisker sind ungefähr gleich lang. System 4 weist möglicherweise eine etwas bessere Variation auf, hier ist die Variation etwas geringer, aber insgesamt sehen sie ziemlich ähnlich aus, also sieht das gut aus. Wir können aber noch einen Schritt weiter gehen und eine echte ANOVA-Analyse durchführen, da wir die Leistung dieser vier Systeme vergleichen möchten.
Da wir mehr als zwei haben, können wir keinen T-Test durchführen, aber wir können eine ANOVA-Analyse durchführen. Ich gehe zum roten Dreieck und wähle hier die ANOVA-Analyse. Wenn Sie mit der ANOVA-Analyse vertraut sind, werden hier die Mittelwerte der vier verschiedenen Systeme verglichen, um zu sehen, ob es einen Unterschied in der durchschnittlichen Leistung dieser vier Systeme gibt.
Das ist im Wesentlichen die Frage, die wir mit der ANOVA beantworten möchten. Die grünen Rauten zeigen die 95%-Konfidenzintervalle für den Durchschnittswert der verschiedenen Systeme. Sie sehen, dass sie alle ziemlich ähnlich sind.
Auch hier kann System 4 leicht verschoben sein. Aber wenn Sie zur Varianzanalysetabelle gehen, sehen Sie hier unten einen p-Wert, der als Wahrscheinlichkeit größer als F bezeichnet wird. Das ist der p-Wert, der hier als Teil eines F-Tests berechnet wird.
Dies ist viel größer als 0,05 oder jeder andere vernünftige Alpha-Wert, den Sie verwenden könnten. Sie würden daher zu dem Schluss kommen, dass es keinen Hinweis auf einen Unterschied zwischen diesen Systemen gibt.
Das ist ein gängiger erster Schritt beim Vergleich von Systemen. Zu sagen: „Okay, es gibt keinen Unterschied, also sind die Systeme gleich“, ist nicht der richtige Ansatz. Zwei Dinge sollten beachtet werden. Erstens: Ich habe hier die Mittelwerte verglichen, aber das reicht nicht aus. Denn beim Vergleich von Populationen muss man nicht nur die zentrale Lage der Population betrachten, sondern auch die Variationen innerhalb der Populationen.
Ich habe hier ein kleines Diagramm, das die Idee verdeutlicht: Hier sind zwei Verteilungen, die beide den gleichen Mittelwert haben, aber es handelt sich eindeutig um unterschiedliche Verteilungen. Sie weisen unterschiedliche Variationen auf.
In den meisten Kontexten würden Sie diese beiden wahrscheinlich nicht als identisch betrachten. Bisher haben wir die Mittelwerte mithilfe einer ANOVA-Analyse verglichen. Sie sollten jedoch auch einen Variationsvergleich durchführen, um zu zeigen, dass sich zwei Populationen nicht voneinander unterscheiden. Dies ist in JMP natürlich problemlos möglich.
Es bietet Ihnen die Möglichkeit, die Funktion auf dem roten Dreieck hier zu testen. Sie können in derselben Analyse einfach zum Test auf ungleiche Varianzen auf dem roten Dreieck gehen. Jetzt haben wir diesen Test hier hinzugefügt.
Das Diagramm zeigt die Standardabweichung der Stichprobendaten für jedes unserer vier verschiedenen Systeme. Sie sind alle sehr ähnlich. System 4 liegt etwas niedriger, aber nicht zu viel. Natürlich haben wir hier auch die p-Werte. Es gibt auch eine weitere Liste mit p-Werten. JMP bietet hierfür verschiedene Arten von p-Werten.
Ihr Team muss wahrscheinlich herausfinden, welchen Test Sie verwenden möchten. Ich konzentriere mich hier auf den Lovine-Test. Es handelt sich um einen relativ standardisierten Test, der robust gegenüber Ausreißern und nicht-normalen Daten ist. Daher konzentriere ich mich hier auf den p-Wert für den Lovine-Test.
Auch dieser p-Wert ist deutlich größer als 0,05. Wir würden daraus schließen, dass es zwischen diesen beiden Populationen keinen Unterschied in der Variation gibt. Wir haben nun die durchschnittliche Leistung unserer vier Systeme verglichen und die Variation zwischen den vier Systemen verglichen und sind zu dem Schluss gekommen, dass es hier keine Unterschiede gibt.
Jetzt können wir sagen: „Okay, kein Unterschied im Mittelwert, kein Unterschied in der Variation.“ Diese Systeme sind gleich. Auch hier gilt: Nicht so schnell. Und noch etwas sollten Sie bei statistischen Hypothesentests, wie z. B. einer ANOVA-Analyse, bedenken: Die Aussage „Es gibt keinen Unterschied“ ist nicht dasselbe wie die Aussage, dass sie gleich sind.
Das lernen wir, wenn wir uns zum ersten Mal mit statistischen Hypothesentests beschäftigen. Wir haben gezeigt, dass es keine Hinweise auf Unterschiede zwischen diesen Systemen hinsichtlich Mittelwert und Variation gibt. Das heißt aber nicht, dass sie gleich sind. Es bedeutet lediglich, dass wir zum jetzigen Zeitpunkt anhand der uns vorliegenden Daten nicht von Unterschieden sprechen können.
Wir müssen uns noch etwas anderes überlegen, um zu sagen, ob sie gleich sind. Glücklicherweise gibt es auch dafür einen Test.
Sie haben vielleicht schon einmal von Äquivalenztests gehört. Sehen wir uns das einmal genauer an. Äquivalenztests versuchen, mithilfe von Hypothesentests zu sagen: „Die Dinge sind gleich“, aber eigentlich sagen Sie, dass die Dinge vielleicht unterschiedlich sind, aber nicht unterschiedlich genug, um diesen Unterschied zu berücksichtigen.
Sie müssen in der Lage sein, einen Bereich von Äquivalenten zu definieren, mit dem Sie sagen können: „Solange der Unterschied kleiner als dieser Bereich ist, betrachten wir diese Dinge aus praktischen Gründen als zueinander äquivalent.“ Genau das leisten Äquivalenttests für Sie.
Wir können einen Äquivalenztest durchführen. Ich habe hier eine Kopie. Machen wir ihn mit dem Bericht, den wir hier erstellt haben. Wieder mit demselben Bericht und denselben Daten. Ich versuche nun zu klären: „Kann ich diese vier Systeme innerhalb eines von mir definierten Äquivalenzbereichs als äquivalent betrachten?“
Auf dem roten Dreieck sehen Sie ein Menü für den Äquivalenztest. Wir betrachten zunächst nur die Mittelwerte, nur für dieses Beispiel. Ziel des Äquivalenztests für den Mittelwert ist es, sagen zu können: „Der Unterschied zwischen der durchschnittlichen Leistung dieser Systeme ist kleiner als ein für mich relevanter Wert.“
Das ist die Idee eines Äquivalenztests. Hier sehen wir den Dialog zur Durchführung eines Äquivalenztests. Wir bleiben beim T-Test, da wir Mittelwerte vergleichen möchten. Bei stark verzerrten oder stark nicht-normalverteilten Daten könnten Sie einen Wilcoxon-Test zur Rangfolge verwenden. Wir bleiben jedoch für diesen Zweck beim T-Test. Wir hoffen, die Äquivalenz nachweisen zu können.
Sie sehen, es gibt einige Optionen. Ich werde nicht alle durchgehen, aber im Grunde dienen sie dazu, entweder die Gleichheit oder die Größe (kleiner als oder größer als) zu bestimmen, je nachdem, welche Version Sie wählen. Ich bleibe bei der Äquivalenzoption.
Sie können wählen, ob Sie die gepoolte Varianz über alle Systeme hinweg verwenden oder ungleiche Varianzen annehmen möchten. Da wir gerade den Test auf gleiche Varianzen durchgeführt und gezeigt haben, dass hier kein Unterschied besteht, können wir den gepoolten Varianztest verwenden. Ich behalte das bei und klicke einfach auf „OK“.
Ich habe vergessen, eine Marge einzugeben, oder? Tut mir leid. Machen wir den Äquivalenztest für den Mittelwert. Nehmen wir in diesem Fall an, wir haben uns mit unseren Fachexperten zusammengesetzt und entschieden, dass wir die Systeme als äquivalent betrachten, solange sich die Werte nicht um 10 unterscheiden. Unabhängig von den Maßeinheiten betrachten wir sie als äquivalent, solange sich die einzelnen Systeme nicht um mehr als 10 unterscheiden.
Wir geben hier eine 10 in das Differenzfeld ein und klicken dann auf „OK“. Anschließend erhalten Sie einen Bericht mit den Ergebnissen der Äquivalenzanalyse. Dabei handelt es sich um den sogenannten TOST-Ansatz (zweiseitiger Testansatz). Es werden also zwei Hypothesentests durchgeführt, allerdings einseitige Hypothesentests, um zu zeigen, ob die Unterschiede kleiner als der von Ihnen eingegebene Bereich sind.
Hier in dieser Ausgabe haben wir eine Tabelle, die die beiden Systeme miteinander vergleicht. Jedes Paar wird verglichen, und unten sehen Sie außerdem ein Diagramm, das Ihnen die Spanne der Unterschiede zeigt.
Wenn Sie die Äquivalentität nachweisen möchten, sollten die Konfidenzintervalle, die für den Mittelwert der einzelnen Systeme berechnet werden, innerhalb dieses blauen Bandes liegen. Das blaue Band stellt den Bereich praktischer Äquivalente dar. Alles außerhalb dieses Bereichs wird als unterschiedlich angesehen, basierend auf dem Wert, den Sie für die Differenz eingegeben haben.
Hier können wir natürlich sehen, dass alle unsere Vergleiche außerhalb dieses Bereichs liegen, was im Grunde bedeutet, dass wir nicht zu dem Schluss kommen können, dass diese Systeme gleichwertig sind, und JMP sagt Ihnen das hier.
Sie erhalten eine Bewertung für jede der verschiedenen Kombinationen der verglichenen Systeme. Wenn unser Ziel dieser Analyse darin bestand, zu zeigen, dass diese vier Systeme alle gleichwertig sind, haben wir nun leider gezeigt, dass dies nicht der Fall ist, zumindest nicht innerhalb einer Toleranz von 10 Einheiten unserer hier angegebenen Messung.
Dann müssen wir möglicherweise einige zusätzliche Analysen durchführen, oder Sie müssen Ihren Entwicklungspfad ändern, natürlich abhängig davon, was diese Ergebnisse in Ihrem Kontext bedeuten.
Ein weiteres Werkzeug, mit dem Sie die Äquivalenz zwischen Systemen nachweisen können, ist ein Äquivalenztest. Tatsächlich handelt es sich dabei um einen Differenztest. Er ermöglicht Ihnen jedoch festzustellen, ob ein Unterschied kleiner ist als der Wert, der im Kontext Ihres Prozesses oder Systems relevant ist. Aus dieser Perspektive handelt es sich jedoch immer noch um einen Differenztest.
Alles klar. Das sind Äquivalenztests und Hypothesentests. Ich schließe diese Fenster und komme zurück zu unserem Journal.
Ich habe hier einige Hinweise dazu, wie Sie entscheiden, welchen Wert Sie für diesen Bereich einer praktischen Differenz verwenden. Es gibt ein paar Dinge, die Sie ausprobieren könnten.
Fachkompetenz ist in der Regel ein sehr verbreiteter Ansatz. Man holt sich Leute, die sich mit dem zu analysierenden Thema genau auskennen, und man setzt sich hin und denkt aus unserer Perspektive darüber nach: „Wie unterschiedlich müssen die Dinge sein, damit wir sie als unterschiedlich betrachten?“ Aber das ist etwas, worüber man nachdenken muss, bevor man einen Äquivalenztest durchführen kann.
Wenn Sie mit diesem Ansatz erfolgreich waren und sagen konnten: „Oh, wir haben die Gleichwertigkeit nachgewiesen“, können Sie dann jetzt sagen, dass die Dinge zwischen den Systemen wirklich gleich sind?
Und es stellt sich heraus, dass dies vielleicht nicht der Fall ist, denn Sie denken vielleicht über all das nach und sagen: „Die Frage, die ich wirklich wissen möchte, ist, ob ich denselben Wert erhalte, wenn ich ein Teil auf System A messe und dann dasselbe Teil auf System B messe?“
Alles, was wir bisher getan haben, garantiert nicht, dass dies der Fall ist. Selbst wenn Sie zeigen, dass es keinen Unterschied gibt, selbst wenn Sie einen Äquivalenztest durchführen und die Äquivalentität nachweisen, müssen Sie bei diesen Hypothesentests bedenken, dass sie Bevölkerungsstatistiken, Mittelwert, Standardabweichung usw. vergleichen.
Diese Tests garantieren nicht, dass Sie für jedes Teil den gleichen Wert erhalten, wenn Sie diese Teile messen. Stellen Sie sich einen Fall vor, in dem ich Datenproben von zwei dieser Systeme habe und sie im Durchschnitt als gleichwertig betrachten würde. Diese Mittelwerte liegen sehr nahe beieinander. Sie sind kleiner als der Bereich der von uns identifizierten praktischen Äquivalente. Wir sprechen also von Äquivalenten.
Betrachtet man jedoch die Einzelwerte, stellt man fest, dass das Teil an Maschine 2 gemessen wurde und einen Wert von etwa 4,75 lieferte. Misst man dasselbe Teil jedoch an Maschine 1, erhält man einen Wert von etwa 9. Dies wird in einem statistischen Hypothesentest nicht beobachtet, da diese Tests auf statistischen Daten wie Mittelwert und Standardabweichung basieren. Sie betrachten keine Einzelwerte. Um dies zu untersuchen, führen wir eine Regressionsanalyse durch.
Mit dieser Technik können Sie wirklich zeigen, dass die Dinge innerhalb der Fehlertoleranz Ihrer Messungen auf Teil-für-Teil-Basis gleich sind.
Gut. Sehen wir uns einen Datensatz an, in dem wir die gleichen Teile gemessen haben. Hier ist eine weitere Datentabelle, in der wir 20 Teile auf zwei verschiedenen Systemen gemessen haben. Es sind dieselben 20 Teile, die auf unserem alten System gemessen wurden, das wir seit Jahren verwenden, und jetzt haben wir dieses schöne neue System, das dasselbe misst, und wir messen dieselben 20 Teile auf diesem neuen System.
Die Frage ist: „Können sich diese Maschinen gleich verhalten?“ Wie machen wir das? Nun, wenn Sie diese Daten relativ zueinander darstellen (da Sie dieselben Teile messen und diese Messungen dieselben Werte ergeben sollten), würden Sie eine schöne gerade Linie zwischen den beiden Systemen erwarten, im Allgemeinen mit einer Steigung von etwa eins und hoffentlich einem Achsenabschnitt nahe null. Denn wenn ich für ein Teil auf unserem alten System 60 gemessen habe, sollte ich auf unserem neuen System einen Wert von etwa 60 erhalten, da ich denselben Parameter messe. Und analog dazu sollte ich, wenn ich auf dem alten System bei 120 liege, auf dem neuen System bei etwa 120 liegen.
Das ist also die Idee.
Sie könnten über die Durchführung einer Kleinstquadrate-Regression nachdenken, einer typischen Regression, mit der viele von uns beginnen, wenn sie diese Analyse durchführen.
Und in diesem speziellen Fall können Sie hier sehen: „Wenn ich einfach die Linie Y gleich X habe, dann habe ich einen Achsenabschnitt von Null und eine Steigung von eins. Ja, das scheint gut zu meinen Daten zu passen.“
Aber wir wissen, dass die Daten einen Fehler enthalten. Führen wir eine Kleinstquadrate-Anpassung durch, wie ich sie hier gemacht habe. Sie sehen, wir haben eine weitere Gleichung. Entschuldigen Sie, wenn ich meinen Laserpointer holen könnte.
Hier haben wir eine Kleinstquadrate-Regression, und wir sehen, dass der Achsenabschnitt wieder nahe Null liegt. Er ist nicht genau Null, aber klein, und unsere Steigung liegt sehr nahe bei Eins. Wenn Sie das tun würden, würden Sie sagen: „Das sieht vielversprechend aus. Meine Steigung ist Eins, mein Achsenabschnitt liegt nahe Null. Ich sollte sagen können, dass diese beiden Systeme mir über den gesamten Wertebereich, den ich messe, hinweg abschnittsweise die gleichen Werte liefern.“
Toller Anfang. Das Problem ist, dass die Kleinstquadrate-Regression in diesem Fall Fehler nicht richtig berücksichtigt.
Wenn Sie sich mit der Methode der kleinsten Quadrate-Regression auskennen, kennen Sie wahrscheinlich auch die Restfehler in Ihrer Regression. Stellen Sie sich vor, wir haben hier links eine Reihe von Datenpunkten und haben mithilfe der Methode der kleinsten Quadrate-Regression eine Ausgleichsgerade durch diese gezogen. Die gesamte Modelldiagnose, die Sie im Rahmen der Methode der kleinsten Quadrate-Regression durchführen, untersucht die Restfehler zwischen Ihren Beobachtungen und Ihren Daten in der Ausgleichsgerade, die hier durch diese grauen Linien hervorgehoben sind.
Bei der Kleinstquadrate-Regression liegt der gesamte Fehler immer in der Y-Dimension. Wir gehen davon aus, dass der Fehler in der Antwortvariable liegt. In den X-Variablen Ihrer Regression liegt kein Fehler vor.
Aber in einem Fall wie diesem, in dem wir zwei Maschinen haben, die Messungen durchführen, gibt es natürlich Messfehler in beiden Maschinen. Wir möchten also so etwas wie Folgendes tun: Der Fehler liegt sowohl in Y- als auch in X-Richtung, da unser jahrelanges Ertragssystem Fehler aufweist, und das gilt auch für unser neues System. Die Fehler können gleich oder unterschiedlich sein. Das ist in Ordnung. Das können Sie berücksichtigen.
Sie möchten hier jedoch Fehler in beiden Faktoren Ihres Modells zulassen.
Was können wir tun, um das zu erreichen? Das nennt man orthogonale Regression. Sie wird orthogonale Regression genannt, weil Ihre Fehler orthogonal zur hier vorliegenden Ausgleichsgeraden berechnet werden. Das können wir tun. In Ordnung.
Wenn Sie Daten zwischen zwei Systemen haben, können Sie glücklicherweise eine „Fit Y by X“-Analyse durchführen. Ich gehe wieder zur Plattform „Fit Y by X“. Ich setze hier unser neues System als Y und unser altes System als X und klicke auf „OK“.
Und wieder sehen wir dieses Diagramm hier. Wir möchten unsere Regressionsanalyse durchführen, um zu verstehen: „Können wir sagen, dass diese Systeme gleich sind?“
Ich gehe zum roten Dreieck. Normalerweise würde man die Anpassungslinie als typische Kleinstquadrat-Regression verwenden, aber ich gehe hier zur orthogonalen Anpassung. Bei der orthogonalen Anpassung ist zu beachten, dass man die Fehlerbeziehung zwischen diesen beiden Systemen verstehen muss. Man muss vielleicht sagen, dass ich glaube, dass beide Systeme die gleiche Variation aufweisen.
Wenn Sie eine identische Kopie für die Maschine verwenden, die Sie heute verwenden, ist es wahrscheinlich vernünftig anzunehmen, dass die Messsystemabweichung zwischen diesen beiden Systemen gleich ist. Sie können also gleiche Varianzen wählen oder ein Varianzverhältnis angeben.
Und Sie tun dies möglicherweise, weil Sie für beide Systeme eine Messsystemanalyse durchgeführt haben und daher die Standardabweichung vom Messsystem kennen, wie sie hier im Journal angezeigt wird.
Nachdem Sie diese Standardabweichung berechnet haben, können Sie das Verhältnis der Quadrate dieser Standardabweichungen und die Verhältnisse der Varianzen nehmen und diesen Wert angeben, wenn Sie das getan haben.
Für unseren Zweck wähle ich „Gleiche Varianzen“. Ich gehe davon aus, dass die Variation zwischen diesen beiden Systemen gleich ist, daher habe ich hier eine gleichvarianzbasierte Analyse gewählt. JMP hat hier eine orthogonale Regressionsgerade angepasst. Auch hier ähnelt sie der Kleinstquadrate-Regression sehr. Tatsächlich könnte ich hier oben eine Kleinstquadrate-Regression aktivieren, indem ich „Anpassungsgerade“ wähle. Wenn Sie die Grafiken vergrößern, wie ich es im Journal tue, werden sie etwas vergrößert, um die Übersichtlichkeit zu verbessern.
Sie sehen sehr ähnlich aus. Im Grunde liegen sie direkt übereinander. Lassen Sie mich zum anderen Fenster zurückkehren.
Aber wenn Sie diese Achsen vergrößern, also wenn ich das hier mache und vielleicht nur das kleine Quadrat als Beispiel nehme, können Sie sehen, wie sie sich vielleicht ein wenig trennen. So, es ist etwas deutlicher.
Aber im Grunde liegen diese Linien genau übereinander. In diesem speziellen Fall bedeutet das nur: „Ja, obwohl ich in beiden Systemen Messfehler habe, unterscheidet sich meine Linie nicht wesentlich von der Regressionsgeraden der kleinsten Quadrate, da sie für mein Y und mein X gleich ist.“
Es gibt andere Fälle, in denen Sie sie als sehr unterschiedliche Linien sehen. Auch wenn sie analytisch gleich aussehen, ist die orthogonale Regressionslinie diejenige, auf die Sie sich konzentrieren sollten, da sie in diesem Fall den Fehler besser erfasst, da Sie einen Fehler in Ihrer Y- und Ihrer X-Variablen haben.
Sie können unten sehen, dass Sie bei der orthogonalen Regression hier erneut eine Auswertung Ihrer Steigung und Ihres Achsenabschnitts erhalten. Was Sie wirklich zeigen möchten, wenn Ihr Ziel darin besteht, hier Äquivalenz zu demonstrieren, ist, dass Sie erneut auf einen Achsenabschnitt nahe Null hoffen.
Sieht in diesem Fall gut aus, minus 0,95. Dann hoffen Sie, dass Ihre Steigung eins ist. Genauer gesagt, betrachten Sie das Konfidenzintervall für die Steigung, das hier angezeigt wird. Solange eins innerhalb dieses Bereichs liegt, also das untere Konfidenzniveau kleiner als eins und das obere Konfidenzniveau größer als eins ist, können Sie sagen: „Ja, die Steigung dieser Linie könnte mit hinreichender Sicherheit eins sein. Daher schließe ich daraus, dass diese Systeme auf Teil-für-Teil-Basis gleich sind.“
Und genau das ist der Schlüssel: Mit dieser Technik können Sie für jeden einzelnen Wert im gesamten Messbereich feststellen, dass diese Systeme dieselben Werte liefern. Das ist die Idee der orthogonalen Regression. Sie unterscheidet sich kaum von der Kleinste-Quadrate-Regression und ist in JMP genauso einfach durchzuführen. Auch hier finden Sie es einfach auf dem roten Dreieck. Das ist großartig.
Man muss nur ein wenig über die Beziehung der Varianzen oder Fehler in den Messsystemen wissen, die man vergleichen möchte. Aber dann kann man diese Analyse durchführen, um zu dem einen oder anderen Schluss zu kommen, oder? Ja, wir können davon ausgehen, dass diese Werte in diesem Bereich gleich sind oder nicht.
Dann müssen Sie sich vielleicht fragen: „Warum sind sie nicht gleich?“ Natürlich ist das immer ein mögliches Ergebnis. In Ordnung.
Okay. Das waren die Themen. Wir haben uns verschiedene Möglichkeiten zum Vergleich von Systemen angesehen. Da es um Messungen geht, denken Sie vielleicht an eine vergleichende Analyse von Messsystemen, aber das ist nicht so einfach. Natürlich möchten Sie weiterhin Messsystemanalysen durchführen, um die Genauigkeit und Präzision der einzelnen Messsysteme zu verstehen.
Sie könnten über Hypothesentests nachdenken. Diese erlauben zwar die Aussage: „Ich kann nicht sagen, dass die Dinge unterschiedlich sind“, erlauben aber technisch gesehen nicht die Aussage, dass die Dinge gleich sind. Dann könnten Sie über Äquivalenztests nachdenken. Diese ermöglichen es Ihnen zumindest zu sagen, dass, selbst wenn es einen Unterschied gibt, dieser kleiner ist, als es Ihnen wichtig ist. Das wäre ein Äquivalenztest.
Die orthogonale Regression, die wir am Ende besprochen haben, zeigt Ihnen Punkt für Punkt, ob diese Systeme die gleichen Werte liefern oder nicht. Darüber müssen Sie vielleicht noch etwas nachdenken. Das war es für heute.
Bei Fragen melden Sie sich gerne. Vielen Dank.
