지난 달 , Tennessee Eastman 시뮬레이터(화학 공정 시뮬레이터)용 SEM 구축을 시작하는 데 필요한 예비 분석을 살펴보았습니다. 이 분석은 SEM 비교를 위한 기준 모델로 사용할 수 있는 매니페스트 변수와 잠재 요인 간의 요인 및 요인 상관 관계를 산출했습니다. 그러나 내가 일부에서 언급했듯이 내 이전 게시물 , 시스템에 적합한 모델을 찾았는지 확인하기 위해 예비 분석을 기반으로 다른 모델을 생성하고 고려해야 합니다. 이 경우 "좋은" 모델은 정상적인 런타임에 문제를 표시하지 않으면서 시스템의 오류를 감지할 수 있는 모델입니다. 이러한 모델을 평가하는 주요 방법 중 하나는 JMP 프로 의 모델 비교 창입니다.
검색엔진 마케팅(SEM) 구축
모델 구성에 들어가기 전에 전체 모델 비교 표 중 하나를 제공하고 싶습니다. 이 섹션에서 SEM 중 하나를 언급할 때마다 올바른 모델에 해당하는 모델 번호와 함께 아래 표를 참조합니다. 데이터에 대한 통찰력을 얻기 위해 생성해야 하는 모델의 수를 강조하기 위해 이 작업을 수행했지만 이러한 각 모델을 설명할 계획은 없으며 가장 중요한 것만 설명합니다.
SEM을 생성할 때 관리 중인 데이터만 사용했습니다. 모델이 완성되면 모델을 다양한 시간 간격으로 적용하여 어떤 변화가 발생했는지 관찰했습니다. 일을 단순하게 유지하기 위해, 우리는 이러한 요인이 관련될 가능성이 있다는 것을 알고 있기 때문에 요인 간에 공분산이 있는 두 가지 요인만을 사용하여 첫 번째 모델을 만들었습니다(이것이 모델 5).
통계적 유의성을 나타내는 실선과 통계적으로 유의한 상관관계를 나타내는 점선을 통해 이를 확인할 수 있습니다. 우리가 직접 상관 관계를 선택하기 때문에 점선은 모델이 데이터에 잘 맞는 모델에 이러한 변수 간의 상관 관계가 필요하지 않음을 나타냅니다. 도메인 지식에서 우리는 이러한 요인(온도 및 압력) 사이에 공변량 관계가 있어야 한다는 것을 알고 있으므로 이 모델에 대한 경보가 울려야 합니다.
그러나 다음에서 기억할 수 있습니다. 내 이전 게시물 몇 가지 압축기 기반 매니페스트 변수는 다른 변수만큼 압력과 상관관계가 없다고 언급했습니다. 그래서 이 시점에서 세 번째 잠재 요인을 추가하고 압축기라고 부르고 이전에 압력과 관련된 매니페스트 변수를 이 새로운 압축기 요인에 할당하기로 결정했습니다. 이 시점에서 파악하고 있는 것처럼 모든 잠재 요인은 서로 높은 상관 관계가 있을 수 있으므로 이 모델에서는 모든 요인 사이에 공분산이 추가되었습니다. 압축기의 작업은 압력을 높이는 것이지만 프로세스에서 열도 발생하므로 온도와 압력 요인 모두에 영향을 미칠 수 있습니다(표의 모델 9).
모델 5와 모델 9를 비교하면 모델 9가 테스트된 모든 메트릭에서 더 나은 성능을 보인다는 것을 알 수 있습니다. 이뿐만 아니라 잠재 요인 간의 모든 공분산이 이제 통계적으로 유의함을 알 수 있습니다. 이것은 유망한 결과입니다. 또한 비교표에서 음수 값이 많이 있음을 알 수 있습니다. 이것은 문제가 되지 않습니다. 동일한 규칙이 적용됩니다. 값이 낮을수록 좋습니다. 여기에서 내가 만든 12개 모델 중 모델 9가 통계적으로 "최고" 모델임을 알 수 있습니다.
오류 감지
이제 데이터에 합리적으로 잘 맞는 것처럼 보이고 통제할 때 통계적으로 유의미한 상관 관계를 제공하는 모델이 있으므로 큰 질문을 해야 합니다. SEM은 결함이 있음을 어떻게 보여줍니까? 이것이 내 작업의 핵심이므로 결함을 감지할 수 있는 몇 가지 방법과 이러한 결함 감지 방법의 장단점을 강조하겠습니다.
예리한 독자라면 지난 포스팅에서 A/C 이송비의 오류라고 언급했지만 모델에 A/C 이송비와 관련된 매니페스트 변수가 없다는 것을 눈치채셨을 것입니다! 이 요점은 다음 달에 이 모델의 문제를 다루면서 더 다루겠지만, 지금으로서는 A/C 비율과 관련된 다양한 변수를 테스트한 결과 가장 좋은 통계를 제공한 추가가 변수 "A- Feed S1”이 모델에 추가되었습니다.
아래에는 A-Flow 변수가 포함된 두 모델에 대한 비교 통계가 포함되어 있습니다. 여느 때와 같이 제한되지 않고 독립적인 모델이 제공되며, 모델 3은 잠재 요인 간의 공분산 연결이 없는 SEM입니다. 모델 4는 동일한 SEM이지만 잠재 요인 간의 공분산이 포함되어 있습니다(이것이 올바른 모델일 가능성이 더 높음).
시스템 내의 변화를 관찰하는 몇 가지 방법이 있습니다. 첫째, 변수 간의 연결의 중요성은 중요해야 하는 연결이 이제 모델에서 중요하지 않은 것으로 간주되기 때문에 오류가 발생했음을 나타내는 지표가 될 수 있습니다. 불행히도 때때로 모델과 모델의 민감도에 따라 시스템의 작은 변화에도 상관 관계의 통계적 유의성이 변경될 수 있습니다. 이것은 분명히 민감도 문제이지만 이러한 유형의 분석을 사용할 때 주의해야 함을 보여줍니다.
둘째, 수렴 실패를 사용하여 시스템의 오류를 감지할 수 있습니다. 이는 플랫폼에서 발생한 반복 횟수와 쌍을 이룹니다. 1,000회 이상 반복하면 분석이 취소되고 모델을 수렴할 수 없습니다. 이것은 통제 가능 모델과 결함 모델 사이의 매우 명확한 구별이며, 사실 내가 이것을 처음 발견했을 때 통제 가능 데이터와 통제 불능 데이터 사이에 매우 명확한 구별을 제공한다고 생각했습니다. 그러나 그것은 단지 그 일을 할 뿐이며, 이것이 단점입니다. 모델이 수렴되었는지 확인하면 어딘가에 오류가 있지만 어디서 또는 언제 발생했는지는 알 수 없습니다. 시스템이 제품을 생산하지 않거나 치명적인 오류를 겪고 있는 경우 매우 명확하고 SEM이 필요하지 않습니다.
따라서 내가 생각하는 가장 좋은 결함 감지 방법은 사용자가 지정한 특정 기간 동안 모델 비교 보고서에서 제공하는 통계의 변화를 관찰하는 것입니다. 이를 시연하는 가장 쉬운 방법은 애니메이션 컨트롤과 함께 JMP의 로컬 데이터 필터를 사용하는 것입니다.
위의 애니메이션을 통해 볼 수 있듯이 전체 데이터 세트를 192개 시점의 10개 그룹으로 분할하기 위해 로컬 데이터 필터를 추가했습니다. 결함은 데이터 포인트 1120에서 발생하지만 약 1130에서 수동으로 관찰할 수 있습니다. 두 경우 모두, 이는 시스템이 새로운 정상 상태에 도달하기 전에 그룹 5의 끝에서 결함이 발생하고 효과가 주로 그룹 6과 7에서 나타남을 의미합니다. 이들 그룹에 대한 비교 통계를 관찰하면 그룹 5 이후에 통계가 급격히 변하는 것을 볼 수 있으며 이는 결함을 나타냅니다.
그러나 일부 통계는 이 특정 오류를 감지하는 데 다른 통계보다 우수합니다. 예를 들어, AICc는 이러한 그룹에서 극적으로 변경되어 오류가 발생했음을 알려줍니다. 그러나 AICc는 이 값의 주요 변경 사항이 결함이 발생한 지 한참 후에 그룹 7에서 발생하기 때문에 특히 이 결함이 발생한 위치를 식별하기 어렵게 만듭니다. 이 경우 결함이 어디에 있었는지 모른다면 결함이 그룹 7에서 발생했다고 보고할 가능성이 높습니다. 반면에 동일한 그룹에서 CFI와 RMSE를 관찰하면 오류가 발생하는 즉시 이러한 값이 기준 값에서 크게 벗어나기 시작한다는 것을 알 수 있습니다. 그룹 5에서 RMSE가 약간 증가하고 그룹 6에서 RMSE가 모델의 오류를 나타내는 수준으로 증가하기 때문에 특히 RMSE는 이러한 변화를 감지하는 데 가장 좋은 측정항목인 것 같습니다. 시스템이 오류 후 정상 상태로 돌아오면 RMSE는 오류 이전 값으로 돌아갑니다. 결과적으로 이 특정 예의 경우 RMSE는 분석의 기초가 되는 최고의 통계 메트릭이지만 이 결론은 이 결과가 다른 데이터 세트의 다른 결함에 대해 발견되는지 확인하기 위해 추가 테스트가 필요합니다.
위에서 저는 이전과 동일한 분석을 제공했지만 그룹을 순환하면서 SEM과 해당 상관 관계가 제공됩니다. 그룹 3과 4에서 우리는 결함 이후 그룹 5와 6에서 연결이 유의하지 않게 되는 것과 같은 방식으로 서로 다른 상관관계가 통계적으로 유의하지 않음을 알 수 있습니다. 여기서 문제는 상관관계의 유의성만으로는 결함이 그룹 3에서 발생했는지 그룹 5에서 발생했는지 알 수 없다는 것입니다. 이러한 구분의 부족은 이 SEM이 시스템에 적합하지 않거나, 그룹당 시점이 충분하지 않거나, 결함을 감지하는 이 방법이 좋지 않다는 세 가지 가능성을 시사합니다. 다음 달에는 SEM 자체가 열악하다는 아이디어를 더 자세히 살펴보겠습니다. 그러나 원본 SEM의 비교 통계를 고려할 때 모델이 문제일 가능성은 낮습니다. 대신, 상관관계가 유의미한지 여부를 알려주는 것이 우리가 비교할 정량적 값을 제공하는 여러 통계보다 훨씬 적은 정보를 제공하기 때문에 결함 감지 방법이 문제일 가능성이 높습니다.
보시다시피, 모델 비교 섹션에서 계산된 통계를 통해 결함을 감지하면 상관 관계의 중요성만 관찰하는 것과 달리 결함이 발생한 위치를 훨씬 더 명확하게 파악할 수 있습니다.
결론/추가 작업
이 탐색을 통해 시간이 많이 걸리기는 하지만 SEM을 생성하고 이를 사용하여 실제 산업 시스템에서 결함을 감지하는 것이 가능한지 알 수 있어야 합니다. 그러나 이 응용 프로그램과 내가 모델을 만든 구체적인 방법에는 분명히 단점이 있습니다. 다음 달에는 이러한 단점 중 일부와 SEM이 실제 프로세스에서 사용될 수 있는 범위를 탐구하는 것을 목표로 합니다. 이 단계에서 SEM은 결함 감지에 사용할 수 있지만 특정 조건에 대한 기본 모델로만 사용할 수 있으며 포괄적이지 않다는 것이 공정한 결론입니다.
다른 사람이 다른 예를 통해 또는 다른 방법을 사용하여 SEM을 사용하여 오류 감지에 성공한 경우 오류가 발생한 시기와 위치를 감지하여 아래에 의견을 남겨주시면 매우 기쁩니다.
