이전 JMPer 케이블 에서 언급했듯이, 마지막 게시물에서 만든 최종 모델은 완벽과는 거리가 멀고 데이터 세트의 아주 작은 하위 섹션에만 적용할 수 있습니다. 이 JMPer 케이블 게시물에서는 통계적 접근 방식 이전에 수행한 작업 중 일부를 강조하여 "엔지니어링 우선 접근 방식"에 더 가깝게 더 많은 데이터를 통합하려고 시도했습니다. 이는 구조 방정식 모델(SEM)을 구성할 때 도메인 지식의 중요성, 모델의 한계를 아는 것의 중요성, 특정 요구 사항에 맞는 특정 모델을 설계하는 데 도움이 되는 적절한 설계 선택을 하는 것의 중요성을 강조합니다.
예비 작업
테네시 이스트먼 시뮬레이터(TES)에서 제 작업을 처음 시작할 때로 돌아가 보면, 첫 번째 단계는(모든 데이터 세트에서 그렇듯이) 탐색적 데이터 분석을 수행하여 데이터에 대해 알아야 할 잠재적으로 흥미로운 특성을 파악하는 것입니다. 제가 이 작업을 할 때 수행한 분석 중 하나는 요인 분석이었습니다. 주로 SEM에서 시스템을 적절하게 모델링하는 데 필요한 잠재 요인의 수를 아는 것이 중요하기 때문입니다.
전체 데이터 세트의 스크리 플롯에서 볼 수 있듯이 TES를 제대로 모델링하려면 약 20개 이상의 요인이 필요합니다. 물론 이는 많은 요인이며 SEM을 극도로 복잡하게 만들 것입니다. 하지만 엔지니어의 방식으로 모델을 가능한 한 강력하고 포괄적으로 만들고 싶었습니다. 따라서 데이터 양, 스트림 수, 프로세스 단위 수를 고려하여 처음에는 "스트림 x의 조건"이나 "단위 x의 조건"과 같은 잠재 요인을 사용하여 SEM을 만들려고 시도했습니다. 화학 공정의 문제는 다양한 요인에서 발생할 수 있지만 잠재 요인을 근본적인 원인뿐만 아니라 시스템의 물리적 위치에도 기반함으로써 훨씬 더 통찰력 있는 모델이 생성되기를 바랐습니다. 하지만 그렇지 않았고 사실 이런 방식으로 모델을 만들려고 시도한 결과 SEM이 이해하기 매우 혼란스러웠고 이러한 물리적 위치에서의 프로세스 조건에 대한 통찰력을 거의 제공하지 못했습니다.
이는 주로 이 프로젝트를 시작하기 전에 더 많은 잠재 요인을 추가하고 모델이 예측할 수 있는 결함 범위를 넓혀 모델을 더욱 견고하게 만들려고 하면서 모델 복잡성이 얼마나 증가하는지 깨닫지 못했기 때문입니다. 스트림과 단위를 기반으로 SEM을 만들려는 시도를 살펴보세요.
위의 SEM을 여러분이 이해할 것이라고 기대하지는 않습니다. 저는 여전히 합리적인 예측을 할 수 있는 더 단순화된 모델을 선호하여 이 "엔지니어링 우선" 접근 방식을 포기한 이유를 보여주기 위해 포함시켰습니다. 본질적으로, 각 매니페스트 변수는 최종 모델과 동일하지만 각 요소는 스트림 또는 단위입니다. 여기서 이 SEM은 단지 1단계에 불과하다는 점을 명심하세요. 이 아이디어를 더 발전시켰다면 복잡성은 비교적 적은 이득으로 기하급수적으로 증가했을 것입니다. 특히 적용하면 위의 모델이 훨씬 더 큰 혼란으로 변할 자기상관과 관련된 큰 문제를 고려할 때 더욱 그렇습니다.
자기상관 문제
위에서 언급했듯이, 모델 복잡성은 이 예에서뿐만 아니라 일반적으로 SEM에서도 빠르게 문제가 됩니다. 이는 SEM이 매우 시각적인 방법이기 때문에 모델이 매우 압도적으로 보이기 시작하기 전에 시각적 요소가 그렇게 많을 수 없기 때문입니다. 이것이 제가 초기 조사 후 모델에 포함하는 매니페스트 변수의 수를 줄이고 지연 변수를 포함하지 않기로 결정한 이유입니다.
그렇다면 지연 변수란 무엇이고 여기서 왜 그렇게 큰 문제가 될까요? 기본적으로 화학적 공정은 일반적으로 연속적이므로 공정을 통해 리소스가 지속적으로 흐릅니다. 또한 이는 데이터 포인트의 현재 값과 이전 값 사이에 강력한 상관 관계가 있음을 의미합니다. 이는 온도 증가 오류를 포함하면 온도가 새 값으로 바로 점프하는 대신 새로운 평형 값으로 꾸준히 증가하기 때문에 말이 됩니다. 화학 공정에서 변화가 발생하는 데는 시간이 걸리고 관찰된 변화는 마지막으로 관찰된 값과 관련이 있습니다. 이전 데이터 포인트가 다음 데이터 포인트에 얼마나 영향을 미치는지를 자기 상관이라고 하며 JMP 시계열 플랫폼에서 분석할 수 있습니다.
좋아요, 이 아이디어에 대한 서론이 많으니 문제를 간단히 설명하겠습니다. 아래는 가능한 가장 간단한 자기상관의 형태이며, 한 변수를 사용하고 두 개의 지연이 있습니다.
그렇게 나쁘지 않아 보입니다. 이는 각 지연 변수 간의 모든 상관 관계를 보여줍니다. 따라서 SEM의 맥락에서 각 지연에 대한 명백한 변수가 있습니다. 이 예에서 계산할 상관 계수는 3개뿐입니다. 시스템에 추가 변수를 하나 더 추가해 보고 얼마나 복잡해 보이는지 살펴보겠습니다.
여기서 우리는 엄청난 수의 상관관계를 얻기 시작하고 있다는 것을 알 수 있으며, 그것은 단지 두 개의 매니페스트 변수에 대한 것입니다. 2개의 래그와 2개의 변수만 있는 이 모델에서 우리는 15개의 상관관계를 계산해야 합니다! 이것은 이전 모델에 비해 엄청나게 증가한 것이므로 3개 또는 4개의 변수만 있는 모델에서 얼마나 많은 상관관계를 계산해야 할지 상상할 수 있을 것입니다. TES에는 52개의 변수가 있습니다! 분명히 이것을 수동으로 시도하는 것은 불가능하지는 않더라도 우스꽝스러울 것입니다.
저는 JMP의 시계열 플랫폼을 활용했는데, 이는 제 데이터에 자기상관이 있다는 것을 식별하는 데 정말 도움이 되었습니다. 안타깝게도 이러한 원칙을 그렇게 큰 데이터 세트에 적용하는 데 어려움이 있어서 지연 변수를 포함하지 않기로 설계 결정을 내려야 했습니다. 분명히 이는 최종 모델의 품질에 영향을 미칠 것입니다. 이전 게시물을 보면 최종 모델이 결코 완벽하지 않다는 것을 알 수 있으며 이것이 그 이유 중 하나입니다. 자기상관에 대해 자세히 알아보려면 SEM 사용 사례에 대한 Laura의 게시물을 확인하세요. 여기서 그녀는 개념을 더 자세히 설명합니다.
내 SEM의 한계
모델에 대해 현실적으로 생각하고 그 용량을 정직하게 평가하는 것이 중요합니다. TES를 위한 SEM을 만드는 과정에서 저는 다양한 설계 결정을 내려야 했고, 이는 궁극적으로 최종 모델의 효과성에 영향을 미쳤습니다. 주로 이는 두 가지 주요 선택을 통해 이루어졌습니다. 첫 번째는 제가 이미 논의한 모델에 지연 변수를 포함하지 않기로 한 결정이었습니다. 두 번째는 한 번에 하나의 오류만 식별하려고 한 선택이었습니다. 이 두 번째 설계 선택은 모델을 간단하고 이해하기 쉽게 유지하려는 필요성에서 비롯되었지만, 이 결정은 궁극적으로 모델의 적용성을 희생하는 것을 의미했습니다. 기본적으로 이 SEM을 실제 화학 공정에 구현하여 오류를 식별하려고 하면 비참하게 실패할 것입니다. 예상된 오류 외의 다른 오류가 발생하면 감지되지 않기 때문입니다. 이는 이 방법이 모든 편차를 감지할 수 있는 프로세스 제어의 모델 기반 다변량 관리도(MDMCC)를 대체하는 데 사용될 수 없음을 분명히 의미합니다. MDMCC의 이점을 더 자세히 알아보려면 Jeremy Ash의 MDMCC 게시물을 추천하고 싶습니다.
그럼에도 불구하고, 이 프로젝트를 진행하는 동안 SEM이 매우 흥미로운 아이디어라는 것을 알게 되었고, 여기서 만든 모델을 개선할 여지가 분명히 보입니다. 다음 달에는 프로젝트 중에 생각했던 몇 가지 아이디어를 제안하고 탐구하여 모델을 개선할 수 있을 것입니다. 이러한 개선 사항은 프로젝트에 훨씬 더 많은 시간을 할애해야 했고 잠재적으로 매우 복잡한 솔루션이었기 때문에 이 첫 번째 디자인에서는 제외되었습니다.
이 프로세스 제어 SEM에 대한 직접적인 개선 외에도 화학 공학의 다양한 분야에서 SEM이라는 개념을 탐구할 수 있는 여지가 있다는 것을 알 수 있습니다. 엔지니어링 맥락에서 SEM을 사용할 때 개인적으로 겪었던 핵심 문제는 잠재 변수의 정의였습니다. 엔지니어링에서는 많은 변수가 측정되므로 이미 데이터가 있고 프로세스가 잘 이해되어 있으므로 이들 간의 경험적 상관관계가 이미 있습니다. 이러한 이유로 다른 예비 작업에서 알 수 있듯이 좋은 잠재 요인 세트를 정하는 것이 특히 어려웠습니다. 따라서 잠재 요인을 식별하는 것이 엔지니어링에서 SEM을 완벽하게 사용하는 데 중요한 열쇠라고 생각하므로 이 아이디어를 탐구하고 어떤 잠재 변수가 잘 작동했는지 알려주시기 바랍니다!
