Im vergangenen Monat Ich ging die vorläufige Analyse durch, die erforderlich war, um mit der Konstruktion eines SEM für den Tennessee Eastman-Simulator (ein Simulator für chemische Prozesse) zu beginnen. Diese Analyse ergab Faktoren und Faktorkorrelationen zwischen manifesten Variablen und den latenten Faktoren, die als Basismodell für den SEM-Vergleich verwendet werden können. Wie ich jedoch in einigen von erwähnt habe meine vorherigen Beiträge , müssen andere Modelle erstellt und auf der Grundlage der vorläufigen Analyse berücksichtigt werden, um festzustellen, ob wir ein gutes Modell für das System gefunden haben. In diesem Fall wäre ein „gutes“ Modell eines, das Fehler im System erkennen kann, ohne während der normalen Laufzeit irgendwelche Probleme zu melden. Eine der wichtigsten Methoden, mit denen ich diese Modelle bewerten werde, sind die statistischen Metriken, die durch bereitgestellt werden JMP Pro Modellvergleichsfenster.
Aufbau des SEM
Bevor ich in den Modellbau eingehe, möchte ich Ihnen eine meiner vollständigen Modellvergleichstabellen zur Verfügung stellen. Wann immer ich in diesem Abschnitt eines der SEMs erwähne, verweise ich auf die Tabelle unten mit der Modellnummer, die dem richtigen Modell entspricht. Ich habe dies getan, um hervorzuheben, wie viele Modelle erstellt werden müssen, um überhaupt einen Einblick in die Daten zu erhalten, aber ich habe nicht vor, jedes dieser Modelle zu erklären, sondern nur die wichtigsten.
Bei der Erstellung der SEMs habe ich nur die Kontrolldaten verwendet. Nachdem das Modell fertiggestellt war, habe ich es auf verschiedene Zeitintervalle angewendet, um zu beobachten, welche Änderungen aufgetreten sind. Der Einfachheit halber habe ich das erste Modell nur unter Verwendung von zwei Faktoren mit einer Kovarianz zwischen den Faktoren erstellt, da wir wissen, dass diese Faktoren wahrscheinlich miteinander zusammenhängen (dies ist Modell 5).
Wir erkennen dies an den durchgezogenen Linien, die für statistische Signifikanz stehen, und an der gestrichelten Linie, die für eine statistisch signifikante Korrelation steht. Da wir die Korrelationen selbst auswählen, zeigt eine gestrichelte Linie wahrscheinlich an, dass die Korrelation zwischen diesen Variablen im Modell nicht erforderlich ist, damit das Modell gut zu den Daten passt. Aus unserem Fachwissen wissen wir, dass zwischen diesen Faktoren (Temperatur und Druck) eine kovariate Beziehung bestehen muss, daher sollten bei diesem Modell die Alarmglocken schrillen.
Sie erinnern sich jedoch vielleicht daran mein vorheriger Beitrag Ich habe erwähnt, dass einige der Kompressor-basierten Manifestvariablen nicht so stark mit dem Druck korrelieren wie die anderen Variablen. An diesem Punkt beschloss ich, einen dritten latenten Faktor hinzuzufügen, ihn Kompressor zu nennen und diesem neuen Kompressorfaktor die Manifestvariablen zuzuweisen, die zuvor mit dem Druck verknüpft waren. Wie Sie an diesem Punkt wahrscheinlich verstehen, sind wahrscheinlich alle unsere latenten Faktoren stark miteinander korreliert, sodass in diesem Modell eine Kovarianz zwischen allen Faktoren hinzugefügt wurde. In der Praxis ist dies sinnvoll, da die Aufgabe eines Kompressors darin besteht, den Druck zu erhöhen, dabei aber auch Wärme erzeugt wird, was bedeutet, dass sich dies wahrscheinlich sowohl auf unsere Temperatur- als auch auf unsere Druckfaktoren auswirkt (dies ist Modell 9 in der Tabelle).
Wenn wir Modell 5 mit Modell 9 vergleichen, sehen wir, dass Modell 9 bei jeder getesteten Metrik besser abschneidet. Darüber hinaus sehen wir auch, dass alle unsere Kovarianzen zwischen latenten Faktoren jetzt statistisch signifikant sind. Das ist ein vielversprechendes Ergebnis. Möglicherweise stellen Sie in der Vergleichstabelle auch fest, dass wir viele negative Werte haben; Das ist kein Problem. Es gelten die gleichen Regeln: Niedrigere Werte sind besser. Hier sehen Sie, dass von den 12 von mir erstellten Modellen Modell 9 statistisch gesehen das „beste“ Modell ist.
Fehlererkennung
Da wir nun über ein Modell verfügen, das einigermaßen gut zu den Daten zu passen scheint und uns bei Kontrolle statistisch signifikante Korrelationen liefert, ist es an der Zeit, die große Frage zu stellen: Wie zeigt uns das SEM, dass ein Fehler vorliegt? Dies ist der Kern meiner Arbeit, und deshalb werde ich einige Möglichkeiten hervorheben, wie ich festgestellt habe, dass der Fehler erkannt werden konnte, und die Vor- und Nachteile dieser Fehlererkennungsmethoden erläutern.
Den aufmerksamen Lesern unter uns ist vielleicht aufgefallen, dass es im Modell keine offensichtlichen Variablen in Bezug auf das A/C-Zufuhrverhältnis gibt, obwohl ich in meinem letzten Beitrag erwähnt habe, dass der Fehler ein Fehler im A/C-Zufuhrverhältnis war! Ich werde diesen Punkt nächsten Monat ausführlicher behandeln, wenn ich mich mit den Problemen mit diesem Modell befasse, aber vorerst weiß ich nur, dass ich verschiedene Variablen im Zusammenhang mit dem A/C-Verhältnis getestet habe und herausgefunden habe, dass die Addition, die die besten Statistiken lieferte, die Variable „A-“ war. „Feed S1“ wurde dem Modell hinzugefügt.
Unten habe ich die Vergleichsstatistiken für zwei Modelle mit der A-Flow-Variable aufgeführt. Wie üblich werden die uneingeschränkten und unabhängigen Modelle sowie Modell 3 angegeben, bei dem es sich um ein SEM ohne Kovarianzverbindungen zwischen den latenten Faktoren handelt. Modell 4 ist das gleiche SEM, jedoch mit der Kovarianz zwischen den latenten Faktoren (dies ist wahrscheinlicher das richtige Modell).
Es gibt verschiedene Möglichkeiten, Änderungen innerhalb des Systems zu beobachten. Erstens kann die Signifikanz der Verbindung zwischen Variablen ein Indikator dafür sein, dass ein Fehler aufgetreten ist, da die Verbindung, die wichtig sein sollte, nun vom Modell als nicht wichtig angesehen wird. Leider kann sich die statistische Signifikanz der Korrelationen manchmal abhängig von Ihrem Modell und seiner Empfindlichkeit bei kleinen Änderungen im System ändern. Dies ist eindeutig ein Sensibilitätsproblem, zeigt uns jedoch, dass wir bei der Verwendung dieser Art von Analyse vorsichtig sein müssen.
Zweitens können Konvergenzfehler zur Erkennung von Fehlern im System genutzt werden. Dies ist gepaart mit der Anzahl der Iterationen, die auf der Plattform stattgefunden haben. Wenn mehr als 1.000 Iterationen durchgeführt werden, wird die Analyse abgebrochen und das Modell kann nicht konvergieren. Dies ist eine sehr klare Unterscheidung zwischen den Modellen „In Kontrolle“ und „Fehler“, und tatsächlich dachte ich, als ich das zum ersten Mal entdeckte, dass es eine sehr klare Unterscheidung zwischen den Daten „In Kontrolle“ und „Außer Kontrolle“ bietet. Aber es tut genau das und nur das, was den Nachteil darstellt. Wenn wir prüfen, ob das Modell konvergiert hat, erfahren wir zwar, dass irgendwo ein Fehler vorliegt, aber nicht, wo oder wann er aufgetreten ist. Das wäre ziemlich klar und würde kein SEM erfordern, wenn das System kein Produkt produziert oder einen katastrophalen Ausfall erleidet.
Daher ist die Methode zur Fehlererkennung, die ich für die beste halte, die Beobachtung der Änderung der vom Modellvergleichsbericht bereitgestellten Statistiken über einen bestimmten, vom Benutzer festgelegten Zeitraum. Der einfachste Weg, dies zu demonstrieren, besteht für mich darin, den lokalen Datenfilter in JMP zusammen mit den Animationssteuerelementen zu verwenden.
Wie Sie in der obigen Animation sehen können, habe ich einen lokalen Datenfilter hinzugefügt, um den gesamten Datensatz in 10 Gruppen zu 192 Zeitpunkten aufzuteilen. Der Fehler tritt am Datenpunkt 1120 auf, ist jedoch bei etwa 1130 manuell beobachtbar. In beiden Fällen bedeutet dies, dass der Fehler am Ende von Gruppe 5 auftritt und die Auswirkungen hauptsächlich in den Gruppen 6 und 7 auftreten, bevor das System einen neuen stabilen Zustand erreicht. Wenn Sie die Vergleichsstatistiken dieser Gruppen beobachten, können Sie erkennen, dass sich die Statistiken nach Gruppe 5 schnell ändern, was auf einen Fehler hinweist.
Allerdings sind einige Statistiken bei der Erkennung dieses speziellen Fehlers besser geeignet als andere. Beispielsweise ändert sich der AICc über diese Gruppen dramatisch, was darauf hindeutet, dass ein Fehler aufgetreten ist. Der AICc macht es jedoch schwierig, genau zu identifizieren, wo dieser Fehler aufgetreten ist, da die wichtigsten Änderungen dieses Werts in Gruppe 7 auftreten, lange nachdem der Fehler aufgetreten ist. Wenn Sie in diesem Fall nicht wüssten, wo der Fehler liegt, würden Sie wahrscheinlich melden, dass der Fehler in Gruppe 7 aufgetreten ist. Wenn wir dagegen CFI und RMSE für dieselben Gruppen beobachten, sehen wir, dass diese Werte beginnen, deutlich von ihren Grundwerten abzuweichen, sobald der Fehler auftritt. Insbesondere der RMSE scheint die beste Messgröße zur Erkennung dieser Änderung zu sein, da in Gruppe 5 der RMSE leicht ansteigt und in Gruppe 6 der RMSE dann auf Werte erhöht wird, die auf einen Fehler im Modell hinweisen. Sobald das System nach dem Fehler in einen stabilen Zustand zurückkehrt, kehrt der RMSE auf seinen Wert vor dem Fehler zurück. Folglich ist RMSE für dieses spezielle Beispiel die beste statistische Metrik, auf der unsere Analyse basiert. Diese Schlussfolgerung bedarf jedoch weiterer Tests, um festzustellen, ob dieses Ergebnis auch für andere Fehler in anderen Datensätzen gefunden werden kann.
Oben habe ich die gleiche Analyse wie zuvor bereitgestellt, aber während ich durch die Gruppen gehe, werden das SEM und seine jeweiligen Korrelationen angegeben. In den Gruppen 3 und 4 sehen wir, dass unterschiedliche Korrelationen statistisch insignifikant werden, genauso wie die Verbindungen in den Gruppen 5 und 6 nach dem Fehler insignifikant werden. Das Problem dabei ist, dass allein anhand der Signifikanz der Korrelation nicht gesagt werden kann, ob der Fehler in Gruppe 3 oder Gruppe 5 auftritt. Dieser Mangel an Unterscheidung legt drei Möglichkeiten nahe: dass dieses SEM nicht gut für das System ist, es nicht genügend Zeitpunkte pro Gruppe gibt oder dass diese Methode zur Fehlererkennung nicht gut ist. Nächsten Monat werde ich die Idee, dass das SEM selbst arm ist, weiter untersuchen. Angesichts der Vergleichsstatistiken des ursprünglichen SEM ist es jedoch unwahrscheinlich, dass das Modell das Problem ist. Stattdessen ist es wahrscheinlich, dass die Methode der Fehlererkennung das Problem ist, da die Aussage, ob eine Korrelation signifikant ist oder nicht, weitaus weniger Informationen liefert als mehrere Statistiken, die quantitative Werte liefern, die wir vergleichen können.
Wie Sie hoffentlich sehen können, liefert die Erkennung des Fehlers anhand der im Modellvergleichsabschnitt berechneten Statistiken ein weitaus klareres Bild davon, wo der Fehler auftritt, als wenn nur die Bedeutung der Korrelationen beobachtet wird.
Fazit/Weitere Arbeiten
Anhand dieser Untersuchung sollten Sie erkennen können, wie es möglich, wenn auch zeitaufwändig ist, SEMs zu erstellen und diese zur Fehlererkennung in einem realen Industriesystem zu verwenden. Allerdings gibt es bei dieser Anwendung und der spezifischen Art und Weise, wie ich die Modelle erstellt habe, offensichtlich Nachteile. Nächsten Monat möchte ich einige dieser Nachteile und den Umfang untersuchen, in dem SEM in realen Prozessen eingesetzt werden kann. Zum jetzigen Zeitpunkt kann man zu dem Schluss kommen, dass SEM zwar zur Fehlererkennung verwendet werden kann, aber nur als Grundmodell für bestimmte Bedingungen dient und nicht umfassend ist.
Wenn jemand anderes Erfolg mit der Fehlererkennung mithilfe von SEM hatte, entweder anhand eines anderen Beispiels oder durch Verwendung einer anderen Methode zur Erkennung, wann und wo ein Fehler aufgetreten ist, hinterlassen Sie unten einen Kommentar. Ich würde mich sehr freuen, davon zu hören.
