Im vergangenen Monat , ging ich die vorläufige Analyse durch, die erforderlich ist, um mit dem Bau eines SEM für den Tennessee Eastman-Simulator (ein Simulator für chemische Prozesse) zu beginnen. Diese Analyse ergab Faktoren und Faktorkorrelationen zwischen manifesten Variablen und den latenten Faktoren, die als Basismodell für SEM-Vergleiche verwendet werden können. Wie ich jedoch in einigen erwähnt habe meine bisherigen Beiträge , müssen andere Modelle basierend auf der vorläufigen Analyse erstellt und in Betracht gezogen werden, um festzustellen, dass wir ein gutes Modell für das System gefunden haben. In diesem Fall wäre ein „gutes“ Modell eines, das Fehler im System erkennen kann, während es zur normalen Laufzeit keine Probleme anzeigt. Eine der wichtigsten Möglichkeiten, wie ich diese Modelle bewerten werde, sind die statistischen Metriken, die durch bereitgestellt werden JMP Pro Modellvergleichsfenster von .
Aufbau des SEM
Bevor ich in den Modellbau einsteige, möchte ich Ihnen eine meiner vollständigen Modellvergleichstabellen zur Verfügung stellen. Wann immer ich in diesem Abschnitt eines der SEMs erwähne, beziehe ich mich auf die folgende Tabelle mit der Modellnummer, die dem richtigen Modell entspricht. Ich habe dies getan, um hervorzuheben, wie viele Modelle erstellt werden müssen, um überhaupt einen Einblick in die Daten zu erhalten, aber ich habe nicht vor, jedes dieser Modelle zu erklären, sondern nur die wichtigsten.
Bei der Erstellung der SEMs habe ich nur die In-Control-Daten verwendet. Sobald das Modell fertiggestellt war, wandte ich das Modell auf verschiedene Zeitintervalle an, um zu versuchen, zu beobachten, welche Änderungen auftraten. Um die Dinge einfach zu halten, habe ich das erste Modell mit nur zwei Faktoren mit einer Kovarianz zwischen den Faktoren erstellt, da wir wissen, dass diese Faktoren wahrscheinlich zusammenhängen (dies ist Modell 5).
Wir sehen dies durch die durchgezogenen Linien, die statistische Signifikanz bezeichnen, und die gestrichelte Linie, die eine statistisch signifikante Korrelation bezeichnet. Da wir die Korrelationen selbst auswählen, zeigt eine gestrichelte Linie wahrscheinlich an, dass die Korrelation zwischen diesen Variablen im Modell nicht benötigt wird, damit das Modell gut zu den Daten passt. Aus unserem Domänenwissen wissen wir, dass zwischen diesen Faktoren (Temperatur und Druck) eine kovariate Beziehung bestehen muss, sodass bei diesem Modell die Alarmglocken schrillen sollten.
Vielleicht erinnern Sie sich aber in mein vorheriger Beitrag Ich habe erwähnt, dass einige der kompressorbasierten Manifest-Variablen nicht so stark mit dem Druck korrelieren wie die anderen Variablen. An diesem Punkt entschied ich mich also, einen dritten latenten Faktor hinzuzufügen, ihn Kompressor zu nennen und diesem neuen Kompressorfaktor die zuvor mit Druck verbundenen manifesten Variablen zuzuweisen. Wie Sie an dieser Stelle wahrscheinlich mitbekommen haben, sind alle unsere latenten Faktoren wahrscheinlich stark miteinander korreliert, daher wurde in diesem Modell eine Kovarianz zwischen allen Faktoren hinzugefügt. Praktisch ist dies sinnvoll, da die Aufgabe eines Kompressors darin besteht, den Druck zu erhöhen, dabei aber auch Wärme erzeugt, was bedeutet, dass er wahrscheinlich sowohl unsere Temperatur- als auch unsere Druckfaktoren beeinflusst (dies ist Modell 9 in der Tabelle).
Beim Vergleich von Modell 5 mit Modell 9 sehen wir, dass Modell 9 in jeder getesteten Metrik besser abschneidet. Nicht nur das, wir sehen auch, dass alle unsere Kovarianzen zwischen latenten Faktoren jetzt statistisch signifikant sind. Dies ist ein vielversprechendes Ergebnis. Sie können in der Vergleichstabelle auch feststellen, dass wir viele negative Werte haben; das ist kein Problem. Es gelten die gleichen Regeln: Niedrigere Werte sind besser. Hier können Sie sehen, dass Modell 9 von den 12 Modellen, die ich erstellt habe, statistisch gesehen das „beste“ Modell ist.
Fehlererkennung
Jetzt, da wir ein Modell haben, das ziemlich gut zu den Daten passt und uns statistisch signifikante Korrelationen liefert, wenn wir die Kontrolle haben, ist es an der Zeit, die große Frage zu stellen: Wie zeigt uns das SEM, dass ein Fehler vorliegt? Dies ist der Kern meiner Arbeit, und deshalb werde ich einige Wege hervorheben, auf denen ich festgestellt habe, dass der Fehler erkannt werden kann, sowie die Vor- und Nachteile dieser Fehlererkennungsmethoden.
Für die aufmerksamen Leser unter uns ist Ihnen vielleicht aufgefallen, dass, obwohl ich in meinem letzten Beitrag erwähnt habe, dass der Fehler ein Fehler im A/C-Zufuhrverhältnis war, es im Modell keine offensichtlichen Variablen in Bezug auf das A/C-Zufuhrverhältnis gibt! Ich werde diesen Punkt im nächsten Monat ausführlicher behandeln, wenn ich die Probleme mit diesem Modell anspreche, aber jetzt weiß ich nur, dass ich verschiedene Variablen in Bezug auf das A / C-Verhältnis getestet und festgestellt habe, dass die Addition, die die besten Statistiken lieferte, war, wenn die Variable „A- Feed S1“ wurde dem Modell hinzugefügt.
Unten habe ich die Vergleichsstatistiken für zwei Modelle mit der enthaltenen A-Flow-Variablen eingefügt. Wie üblich sind die uneingeschränkten und unabhängigen Modelle zusammen mit Modell 3 angegeben, das ein SEM ohne Kovarianzverbindungen zwischen den latenten Faktoren ist. Modell 4 ist das gleiche SEM, aber mit der Kovarianz zwischen den eingeschlossenen latenten Faktoren (dies ist wahrscheinlicher das richtige Modell).
Es gibt einige Möglichkeiten, wie Änderungen innerhalb des Systems beobachtet werden können. Erstens kann die Signifikanz des Zusammenhangs zwischen Variablen ein Indikator für einen auftretenden Fehler sein, da der Zusammenhang, der wichtig sein sollte, nun vom Modell als nicht wichtig angesehen wird. Leider kann sich die statistische Signifikanz der Korrelationen abhängig von Ihrem Modell und seiner Empfindlichkeit manchmal bei kleinen Änderungen im System ändern. Dies ist eindeutig ein Sensibilitätsproblem, zeigt uns aber, dass wir bei der Verwendung dieser Art von Analyse vorsichtig sein müssen.
Zweitens kann ein Konvergenzfehler verwendet werden, um Fehler im System zu erkennen. Dies ist gepaart mit der Anzahl der Iterationen, die in der Plattform stattgefunden haben. Wenn mehr als 1.000 Iterationen durchgeführt werden, wird die Analyse abgebrochen und das Modell kann nicht konvergieren. Dies ist eine sehr klare Unterscheidung zwischen den In-Control- und den Fehlermodellen, und als ich dies zum ersten Mal entdeckte, dachte ich, dass es eine sehr klare Unterscheidung zwischen den In-Control- und den Out-Control-Daten liefert. Aber es tut genau das und nur das, was der Nachteil ist. Wenn wir prüfen, ob das Modell konvergiert ist, erfahren wir, dass irgendwo ein Fehler aufgetreten ist, aber nicht, wo oder wann er aufgetreten ist. Was, wenn das System kein Produkt produziert oder einen katastrophalen Ausfall erleidet, ziemlich klar wäre und kein SEM erfordern würde.
Daher ist die meines Erachtens beste Methode zur Fehlererkennung die Beobachtung der Änderung in den Statistiken, die vom Modellvergleichsbericht über einen bestimmten, vom Benutzer festgelegten Zeitraum bereitgestellt werden. Am einfachsten kann ich dies demonstrieren, indem ich den lokalen Datenfilter in JMP zusammen mit den Animationssteuerelementen verwende.
Wie Sie in der obigen Animation sehen können, habe ich einen lokalen Datenfilter hinzugefügt, um den gesamten Datensatz in 10 Gruppen von 192 Zeitpunkten aufzuteilen. Der Fehler tritt bei Datenpunkt 1120 auf, ist aber bei etwa 1130 manuell beobachtbar. In jedem Fall bedeutet dies, dass der Fehler am Ende von Gruppe 5 auftritt, wobei die Auswirkungen hauptsächlich in den Gruppen 6 und 7 zu sehen sind, bevor das System einen neuen stationären Zustand erreicht. Wenn Sie die Vergleichsstatistiken über diese Gruppen beobachten, können Sie sehen, dass sich die Statistiken nach Gruppe 5 schnell ändern, was auf einen Fehler hinweist.
Einige Statistiken sind jedoch besser als andere, um diesen bestimmten Fehler zu erkennen. Beispielsweise ändert sich die AICc über diese Gruppen dramatisch, was uns sagt, dass ein Fehler aufgetreten ist. Aber der AICc macht es schwierig zu identifizieren, wo genau dieser Fehler aufgetreten ist, da die Hauptänderungen in diesem Wert in Gruppe 7 auftreten, lange nachdem der Fehler aufgetreten ist. Wenn Sie in diesem Fall nicht wissen, wo der Fehler liegt, würden Sie wahrscheinlich melden, dass der Fehler in Gruppe 7 aufgetreten ist. Wenn wir hingegen CFI und RMSE über denselben Gruppen beobachten, sehen wir, dass diese Werte deutlich von ihren Basiswerten abweichen, sobald der Fehler auftritt. Insbesondere der RMSE scheint die beste Metrik zu sein, um diese Veränderung zu erkennen, da in Gruppe 5 der RMSE leicht ansteigt und dann in Gruppe 6 der RMSE auf Werte ansteigt, die auf einen Fehler im Modell hindeuten. Sobald das System nach dem Fehler in einen stationären Zustand zurückkehrt, kehrt der RMSE dann zu seinem Wert vor dem Fehler zurück. Folglich ist RMSE für dieses spezielle Beispiel die beste statistische Metrik, auf der unsere Analyse basiert, aber diese Schlussfolgerung muss weiter getestet werden, um zu sehen, ob dieses Ergebnis für andere Fehler in anderen Datensätzen gefunden wird.
Oben habe ich die gleiche Analyse wie zuvor bereitgestellt, aber während ich durch die Gruppen gehe, werden das SEM und seine jeweiligen Korrelationen angegeben. In den Gruppen 3 und 4 sehen wir, dass verschiedene Korrelationen statistisch insignifikant werden, genauso wie die Verbindungen in den Gruppen 5 und 6 nach dem Fehler insignifikant werden. Das Problem dabei ist, dass allein anhand der Signifikanz der Korrelation nicht zu sagen ist, ob der Fehler in Gruppe 3 oder Gruppe 5 auftritt. Dieser Mangel an Unterscheidung legt drei Möglichkeiten nahe: dass dieses SEM für das System nicht gut ist, es nicht genügend Zeitpunkte pro Gruppe gibt oder dass dieses Verfahren zum Erkennen eines Fehlers nicht gut ist. Nächsten Monat werde ich die Idee, dass das SEM selbst arm ist, weiter untersuchen. Angesichts der Vergleichsstatistiken des ursprünglichen SEM ist es jedoch unwahrscheinlich, dass das Modell das Problem ist. Stattdessen ist es wahrscheinlich, dass die Methode der Fehlererkennung das Problem ist, da die Aussage, ob eine Korrelation signifikant ist oder nicht, weitaus weniger Informationen liefert als mehrere Statistiken, die uns quantitative Werte zum Vergleich liefern.
Wie Sie hoffentlich erkennen können, ergibt das Erkennen des Fehlers anhand der im Modellvergleichsabschnitt berechneten Statistiken ein weitaus klareres Bild davon, wo der Fehler auftritt, als wenn Sie nur die Bedeutung der Korrelationen beobachten.
Fazit/Weitere Arbeiten
Aus dieser Untersuchung sollten Sie erkennen können, wie es möglich ist, wenn auch zeitaufwändig, SEMs zu erstellen und sie zur Erkennung von Fehlern in einem echten Industriesystem zu verwenden. Es gibt jedoch offensichtlich Nachteile bei dieser Anwendung und der spezifischen Art und Weise, wie ich die Modelle erstellt habe. Im nächsten Monat möchte ich einige dieser Nachteile und den Umfang untersuchen, in dem SEM in realen Prozessen eingesetzt werden kann. In diesem Stadium ist eine faire Schlussfolgerung, dass SEM bei der Fehlererkennung verwendet werden kann, aber nur als Basismodell für bestimmte Bedingungen, es ist nicht umfassend.
Wenn jemand anderes Erfolg bei der Fehlererkennung mit SEM hatte, entweder durch ein anderes Beispiel oder durch die Verwendung einer anderen Methode, um zu erkennen, wann und wo ein Fehler aufgetreten ist, schreiben Sie unten einen Kommentar, ich würde mich sehr freuen, davon zu hören.
