398679_ko-KR

liliconcom

Re: JMP Pro 16의 예측 프로파일러에서 외삽 제어(2021-US-45MP-838)

@MC17 이 중요한 질문을 해주셔서 기쁩니다.나는 강연에서 이것에 대해 약간 언급했지만 나는 아마도 이것을 충분히 강조하지 않았을 것입니다.

 

그래서 내가 생각하는 것은 PCA/PLS 모델에서 흔히 볼 수 있는 것처럼 DModX가 아닌 T2만 제어하는 이유입니다.이것은 우리가 MDMCC에서 하는 일입니다. 예를 들어( https://www.jmp.com/support/help/en/16.1/index.shtml#page/jmp/model-driven-multivariate-control-charts.shtml ). 비슷한 접근 방식을 취한다면 훈련 데이터가 모두 DModX > 0을 가질 것이기 때문에 DModX에 제어 제한을 둘 것입니다. 따라서 트릭은 예측이 훈련 데이터가 수행하는 방식을 벗어나지 않도록 허용하는 것입니다. .DModX = 0을 원하면 Isaac Himanga의 접근 방식을 취할 수 있습니다( https://community.jmp.com/t5/Discovery-Summit-Americas-2021/Optimizing-Multivariate-Models-From-Data-Collection-to-Optimal/ta-p/398760 ).

 

짧은 대답은 정규화된 T2가 원래 예측 변수에서 계산되며 데이터를 모델 구성 요소와 오류 구성 요소로 분할할 필요가 없다는 것입니다.PCA/PLS 모델의 경우 정규화로 인해 T2 및 DModX를 제어하는 것과 유사한 제약 조건이 발생하지만 하나의 메트릭으로 수행할 수 있으므로 더 간단하고 해석하기 쉽습니다.

 

PCA/PLS 모델에서 T2는 모델 평면 내에서 훈련 데이터와의 큰 편차가 있는 예측에 플래그를 지정하는 반면 DModX는 시나리오에 설명된 대로 모델 평면에서 큰 편차가 있는 예측에 플래그를 지정합니다. 이는 모델링 방법이 데이터의 저차원 선형 투영을 가정할 때 의미가 있습니다.그러나 대부분의 모델링 방법은 이러한 투영을 수행하지 않습니다. 우리는 다양한 이유로(앙상블 등) 플랫폼 간에 일관된 접근 방식을 원합니다. 변수, 범주형 변수 등 사이에 비선형 관계가 있는 경우 선형 투영을 수행하는 것이 합리적이지 않을 수 있습니다. 또한 이러한 모델의 구성 요소 수를 어떻게 선택했습니까? 우리는 평가에서 선형 투영이 데이터에 적합하지 않은 경우 오류가 DModX 제어 한계를 확장하고 외삽에 대한 보호가 제대로 되지 않는다는 것을 발견했습니다. 우리는 더 나은 일반적인 접근 방식이 데이터의 모든 방향에서 상관 구조의 위반을 방지하는 원래 예측자 공간에 T2를 사용하여 외삽 제약을 두는 것임을 발견했습니다.

 

T2의 정규화는 외삽을 제어할 때 높은 상관 변수에 큰 중요성을 두고 낮은 상관 변수에 낮은 중요성을 두며 p>n일 때 작동합니다.이는 PCA 및 PLS 모델의 T2 및 DModX와 유사한 제약을 초래합니다. 첨부된 백서에서 방법이 어떻게 작동하는지 보여주는 시뮬레이션 결과가 있습니다.곧 T2 및 DModX 접근 방식과의 비교로 이를 업데이트하고 더 많은 논의를 추가할 수 있기를 바랍니다.나는 우리의 방법이 효과가 있다는 것을 보여주는 것으로 시작했고, 그 논문은 여전히 진행 중인 작업입니다.

 

이게 말이 돼? 더 많은 논의를 하고 이에 대한 귀하의 의견/우려를 듣게 되어 기쁩니다.

JMP Pro 16의 예측 프로파일러에서 외삽 제어(2021-US-45MP-838)

레벨: 중급

 

Laura Lancaster, JMP 수석 연구 통계 개발자, SAS
Jeremy Ash, JMP 분석 소프트웨어 테스터, SAS
Christopher Gotwalt, JMP 통계 연구 및 개발 이사, SAS

 

제어되지 않은 모델 외삽은 두 가지 심각한 오류를 발생시킵니다. (1) 모델이 데이터에서 멀리 떨어져 완전히 유효하지 않을 수 있고, (2) 변수 값의 조합이 물리적으로 실현 가능하지 않을 수 있습니다. 프로파일러를 사용하여 관측 데이터에 맞는 모델을 최적화하면 경고 없이는 실제로 사용되지 않는 외삽 솔루션이 생성될 수 있습니다. JMP Pro 16은 많은 예측 모델링 플랫폼과 프로파일러 플랫폼 자체에 외삽 제어를 도입했습니다. 예측 프로파일러의 이 새로운 기능은 가능한 외삽에 대해 사용자에게 경고하거나 모델이 유효하지 않을 수 있는 외삽 포인트 그리기를 완전히 방지합니다. 또한 사용자는 외삽을 피하는 제한된 영역에 대해 최적화를 수행할 수 있습니다. 이 프레젠테이션에서는 외삽 제어의 동기와 유용성에 대해 논의하고 JMP에서 쉽게 사용할 수 있는 방법을 보여주고 방법에 대해 자세히 설명합니다.

 

 

자동 생성된 대본...

 

스피커	성적 증명서
팀 피어스	가다.
	맞습니다. 음소거하겠습니다.
	안녕하세요, 크리스 갓월트입니다. 공동 발표자인 Laura Lancaster와 Jeremy Ash와 저는 외삽 제어라는 유용한 새 JMP Pro 기능을 발표하고 있습니다.
	예측하려는 거의 모든 모델에는 적용 범위가 있습니다.
	그들의 예측이 다음과 같이 간주되는 입력 공간의 영역
	충분히 신뢰할 수 있습니다. 해당 영역 외부에서 모델을 맞추는 데 사용된 데이터에서 멀리 떨어진 두 점을 모델로 외삽하기 시작합니다. 해당 지점에서 해당 모델의 예측을 사용하면 완전히 신뢰할 수 없는 예측이 될 수 있습니다.
외삽의 두 가지 주요 소스가 있습니다.	통계적 외삽 및 도메인 기반 외삽. 두 유형 모두 새로운 기능이 적용됩니다.
	통계적 외삽은 해당 모델을 훈련하는 데 사용된 값에 가깝지 않은 X에서 모델을 사용하여 예측을 시도할 때 발생합니다.
	도메인 기반 외삽은 과학적으로 불가능한 X에서 평가하려고 할 때 발생합니다.
	또는 엔지니어링 기반 제약 조건. 여기의 예는 한 예에서 두 종류의 외삽을 보여줍니다. 여기에서 야금 생산 공정 모델의 프로파일러를 볼 수 있습니다.
	예측은 불가능한 온도와 압력의 조합에서 평가하고 있다는 표시 없이 -2.96에서 판독됩니다.
	도메인 의미에서 이 기계에 대해 달성할 수 있습니다. 또한 사용된 데이터와 거리가 멀기 때문에 통계적 외삽법을 사용합니다.
	오른쪽에 있는 훈련 데이터의 산점도에서 볼 수 있듯이 모델에 적합합니다. JMP Pro 16에서 Jeremy, Laura 및 저는 프로파일러가 사용자가 외삽하고 있다고 생각할 때 경고를 줄 수 있는 새로운 기능을 추가하기 위해 협력했습니다.
	또는 외삽 제어를 켜면 외삽이라고 생각하지 않는 점으로만 표시되는 점 집합이 제한됩니다.
	외삽 제어에는 두 가지 유형이 있습니다.
	하나는 레버리지 개념을 기반으로 하며 최소 제곱 모델을 사용합니다. 이 첫 번째 유형은 적합 모델 최소 제곱의 Pro 버전에서만 사용할 수 있습니다.
	우리가 일반 기계 학습 외삽 제어라고 부르는 다른 유형은 프로파일러 플랫폼과 JMP Pro의 가장 일반적인 기계 학습 플랫폼에서 사용할 수 있습니다.
	요청 시 mor에 추가할 수도 있습니다. 최소 제곱 외삽 제어는 예측 분산의 축소된 버전과 같은 레버리지 개념을 사용합니다. 모델 기반이므로
	외삽을 결정하기 위해 주효과 상호작용 및 고차 항에 대한 정보를 사용합니다.
	일반적인 기계 학습 외삽 제어 사례의 경우 자체 접근 방식을 마련해야 합니다. 우리는 결측값에 강건한 방법을 원했습니다.
	선형 종속성, 더 빠른 계산은 연속 및 범주형 입력 변수의 혼합을 처리할 수 있으며 데이터를 맞추는 데 사용된 모델에서 외삽 모델을 명시적으로 분리하고 싶었습니다.
	따라서 일반 외삽 제어를 켜면 프로파일러 추적에서 볼 수 있는 응답에 입력 변수를 맞추는 감독된 모델이 하나만 있습니다.
	훈련 세트 X를 설명하기 위해 빠르고 더러운 비지도 모델을 제공하는 프로파일과 이 비지도 모델은 외삽 제어 제약 조건을 결정하기 위해 프로파일러에서 배후에서 사용됩니다.
	어떤 이유로 내 카메라가 지금 당장은 PowerPoint에서 작동하지 않기 때문에 전환해야 합니다.
	우리는 데이터 과학 분야에서 일하는 사람들이 매일 위험한 외삽을 하고 있다는 것을 알고 있으며 외삽을 사용하면 예측이 좋지 않고 궁극적으로 비즈니스 결과가 좋지 않다고 확신합니다.
	외삽 제어는 모델 예측에 가드레일을 배치하고 JMP Pro 사용자가 정량적으로 더 나은 결정을 내릴 수 있도록 합니다.
	사용자가 외삽이 발생하는 것을 볼 때 사용자는 자신의 도메인 지식과 당면한 문제에 대한 친숙도를 기반으로 예측을 사용해야 하는지 여부를 결정해야 합니다.
	외삽 제어 경고가 발생하기 시작하면 입력 분포가 훈련 데이터의 분포에서 멀어지기 때문에 해당 모델의 수명 주기가 끝나고 새 데이터에 다시 맞출 시간이 될 가능성이 매우 높습니다.
	우리는 데이터 과학 커뮤니티에서 외삽 식별의 필요성을 더 잘 인식하지 못한다는 사실에 솔직히 매우 놀라고 놀랐습니다.
	외삽 제어를 가능한 한 쉽고 자동으로 만들었습니다. JMP Pro에서 개발한 Laura는 다음에 옵션을 시연할 것입니다. 그런 다음 우리 팀에서 많은 연구를 수행한 Jeremy가 접근 방식에 대한 수학 세부 사항과 통계적 동기에 대해 설명합니다.
	안녕하세요. 제 이름은 Laura Lancaster이고 JMP Pro 16에 추가된 외삽 제어의 데모를 하기 위해 왔습니다. 저는 적합 모델 최소 제곱 플랫폼을 사용하여 상당히 간단한 예제로 시작하고 싶었습니다.
	익숙한 데이터를 사용하겠습니다. 샘플 데이터에 있는 피트니스 데이터입니다.
	그리고 산소 섭취량을 반응 및 실행 시간으로 사용하고 맥박수와 최대 맥박수를 예측 변수로 사용할 것입니다. 그리고 저는 적합 모델 적합 최소 제곱에서 사용되는 외삽 메트릭이 레버리지라는 점을 반복하고 싶었습니다. JMP를 시작하겠습니다.
	이제 JMP에 피트니스 데이터가 열려 있고 데이터 테이블에 저장하여 최적의 최소 제곱 모델을 자동으로 실행하는 스크립트가 있습니다.
	그래서 계속해서 스크립트를 실행하겠습니다. 최소제곱 플랫폼을 시작합니다.
	프로파일러가 자동으로 열리면 프로파일러가 항상 과거처럼 보이는 것을 볼 수 있습니다.
	여기서 요소 경계는 각 요소의 범위에 의해 개별적으로 정의되어 직사각형 경계 제약 조건을 제공합니다.
	그리고 내가 요인 설정을 변경했을 때 이러한 제약 조건 때문에 데이터의 상관 관계 구조를 훨씬 벗어나 있는지 여부를 구분하기가 정말 어려울 수 있습니다.
	이것이 우리가 외삽 제어를 추가하려는 이유입니다. 따라서 이것은 JMPs Pro 16의 여러 플랫폼에 추가되었습니다.
	적합 최소제곱을 포함합니다. 그리고 외삽 제어로 이동하려면 프로파일러 메뉴 아래의 메뉴로 이동합니다. 여기를 보면 외삽 제어라는 새로운 옵션이 있다는 것을 알 수 있습니다.
	기본적으로 꺼짐으로 설정되어 있지만 켜짐 또는 경고 켜짐으로 설정하여 외삽 제어를 켤 수 있습니다. 이 기능을 켜면 내 프로필 추적이 내가 외삽하지 않는 값으로만 이동하도록 제한됩니다.
	경고를 켜면 전체 프로필 추적이 표시되지만 외삽으로 간주되는 영역으로 이동하면 경고가 표시됩니다.
	또한 외삽 세부정보를 켤 수 있습니다. 이 기능은 매우 유용합니다.
	그러면 더 많은 정보를 얻을 수 있습니다. 우선, 외삽을 정의하는 데 사용하는 메트릭이 최소 제곱 맞춤 플랫폼에서 사실인 레버리지라는 것을 알려줍니다.
	초기에 기본적으로 사용되는 임계값은 최대 레버리지가 될 것이지만 이것은 제가 변경할 수 있으며 잠시 후에 보여드리겠습니다.
	또한 현재 설정에 대한 외삽 메트릭이 무엇인지 확인할 수 있습니다. 이것이 바로 여기 이 숫자이며, 요인 설정을 변경함에 따라 변경됩니다.
	이 숫자가 임계값보다 클 때마다 외삽할 수 있다는 경고가 표시됩니다. 아래로 내려가면 더 이상 해당 경고를 받지 않습니다.
	이 임계값은 메뉴에서 임계값을 조정하기 위해 무언가를 변경하지 않는 한 변경되지 않습니다. 그러니 지금 당장 하도록 합시다. 메뉴판으로 가볼게요
	임계값 기준을 설정하겠습니다. 따라서 적합 최소 제곱에서는 임계값에 대해 두 가지 옵션이 있습니다. 처음에는 최대 레버리지로 설정되어 데이터의 볼록한 구멍 안에 있게 됩니다.
	또는 관찰에 대한 평균 레버리지 또는 모델 항의 승수로 전환할 수 있습니다. 임계값으로 전환하고 싶으므로 3으로 설정합니다.
	기본적으로 승수로 사용되므로 평균 레버리지의 3배가 됩니다. 확인을 클릭하고 임계값이 변경될 것임을 확인합니다. 실제로 더 작아졌기 때문에 이것은 외삽에 대한 보다 보수적인 정의입니다.
	내 프로필 추적을 제한하기 위해 다시 켜고 이제 지역으로만 이동할 수 있습니다.
	평균 레버리지의 3배 이내입니다.
	이제 우리는 외삽 제약 조건을 준수하는 최적화도 구현했습니다. 그럼 이제 내가 원하는 설정을 켜면
	최적화를 수행하고
	외삽 제약 조건을 만족하는 최적의 값을 얻습니다. 이 메트릭은 임계값보다 작거나 같습니다.
	이제 그래프(산점도 행렬)에서 비교할 다음 슬라이드로 이동하면 외삽 제어가 켜진 상태와 꺼진 상태의 최적 값의 차이가 나타납니다.
	이것은 내가 JMP로 만든 산점도 행렬이며 원래 예측 변수 데이터와 예측 변수 값을 보여줍니다.
	파란색은 외삽 제어를 사용하지 않는 최적의 솔루션이고 빨간색은 외삽 제어를 사용하는 최적의 솔루션입니다. 그리고 파란색으로 표시된 제약 없는 솔루션을 확인하십시오.
	여기에서 런 펄스 및 최대 펄스에 대한 원본 데이터의 상관 구조를 위반하여 이 예측의 불확실성을 증가시키는 반면, 외삽 제어를 사용한 최적 솔루션은 원본 데이터와 훨씬 더 일치합니다.
	이제 정규화된 T 제곱 방법이라고 하는 보다 일반화된 외삽 제어 방법을 사용하는 예를 살펴보겠습니다.
	Chris가 앞서 언급했듯이 최소 제곱 모델 이외의 모델에 대해 이 방법을 개발했습니다. 샘플 데이터에도 있는 당뇨병 데이터에 대한 신경 모델을 살펴보겠습니다.
	반응은 질병 진행의 척도이고 예측 변수는 기준 변수입니다. 다시 한 번, 이 예제에 사용된 외삽 메트릭은 Jeremy가 몇 분 안에 더 자세히 설명할 정규화된 T 제곱입니다.
	그래서 JMP에 당뇨병 데이터가 열려 있고 신경 모델 적합에 대한 스크립트가 저장되어 있습니다. 계속해서 해당 스크립트를 실행하겠습니다.
	신경 플랫폼을 시작합니다. 그리고 유효성 검사 방법 random hold back을 사용하고 있습니다. 유효성 검사 방법을 사용할 때마다 외삽 제어는 훈련 데이터에만 기반한다는 점에 유의하고 싶었습니다.
	검증 또는 테스트 데이터가 아닙니다.
	그래서 프로파일러가 열려 있고 전체 추적을 사용하고 있음을 알 수 있습니다. 외삽 제어가 켜져 있지 않습니다.
	계속해서 전원을 켭니다.
	그리고 나는 또한 세부 사항을 켤 것입니다.
	추적이 제한되고 메트릭이 정규화된 T 제곱임을 알 수 있습니다.
	임계값은 정규화된 샘플 T 제곱의 표준 편차의 3배입니다. Jeremy는 이 모든 것이 정확히 무엇을 의미하는지 몇 분 안에 더 자세히 이야기할 것입니다.
	그리고 저는 정규화된 T 제곱 방법을 사용할 때 임계값에 대해 하나의 선택만 가능하지만 승수를 조정할 수 있다는 점을 언급하고 싶었습니다. 그래서 가시면
	외삽 제어, 임계값 설정, 이 승수를 조정할 수 있지만 3으로 두겠습니다. 이제 다음을 사용하여 최적화를 실행하고 싶습니다.
	외삽 제어, 그래서 나는 단지 최대화하고 기억할 것입니다. 이제 외삽 제어가 켜진 최적의 솔루션이 있습니다.
	이제 원본 데이터와 외삽 제어를 포함하거나 포함하지 않은 최적 값을 사용하여 이전에 본 것처럼 산점도 행렬을 살펴보겠습니다.
	이것은 제가 JMP에서 만든 당뇨병 데이터의 산점도 행렬입니다. 원래 예측 변수 값이 있습니다.
	빨간색은 외삽 제어를 사용한 최적해, 파란색은 외삽 제어가 없는 최적해. 그리고 당신은 그것을 볼 수 있습니다
	빨간색 점은 파란색보다 원본 데이터의 상관 구조 내에서 훨씬 더 많이 나타납니다. 이 LDL 대 총 콜레스테롤을 볼 때 특히 그렇습니다.
	이제 그래프 메뉴 아래에 있는 프로파일러를 사용하는 예를 살펴보겠습니다. 이를 그래프 프로파일러라고 합니다.
	또한 정규화된 T 제곱 방법을 사용하며 JSL 공식으로 생성 및 저장할 수 있는 모든 유형의 모델에 대한 외삽 제어를 사용할 수 있습니다. 또한 한 번에 둘 이상의 모델에 대한 외삽 제어를 할 수 있습니다.
	이제 분말 야금 기술을 사용하여 자동차 산업을 위한 강철 구동축을 생산하는 회사의 예를 살펴보겠습니다.
	그들은 수축을 최소화하고 나쁜 표면 조건으로 인한 고장을 최소화하는 생산을 위한 최적의 설정을 찾을 수 있기를 원합니다. 그래서 우리는 두 가지 응답을 가지고 있습니다
	수축은 연속적이며 이에 대한 최소 자승 모델을 적용할 것이고 표면 조건은 합격/불합격이며 이에 대한 명목 로지스틱 모델을 적용할 것입니다.
	그리고 우리의 예측 변수는 생산의 일부 주요 프로세스 변수일 뿐입니다. 그리고 다시 한 번, 외삽 메트릭은 정규화된 T 제곱입니다.
	그래서 JMP에 분말 야금 데이터가 열려 있고 수축 응답에 대한 최소 제곱 모델을 이미 적합했습니다.
	그리고 나는 이미 표면 조건 합격/불합격 응답에 대한 명목 로지스틱 모델을 맞추었습니다. 그리고 그래프 프로파일러에서 사용할 수 있도록 예측 공식을 데이터 테이블에 저장했습니다.
	따라서 그래프 메뉴 프로파일러로 이동하면 수축에 대한 예측 공식을 로드할 수 있으며 내 예측 공식은 표면 상태에 대한 것입니다.
	확인을 클릭합니다.
	이제 두 모델 모두 그래프 프로파일러에 실행되었습니다.
	그리고 외삽 제어를 켜기 전에 전체 프로필 추적을 볼 수 있습니다. 외삽 제어를 켜면
	흔적이 약간 줄어드는 것을 볼 수 있습니다. 또한 세부 정보를 켤 것입니다.
	실제로 이 방법에서 정규화된 T 제곱을 사용하고 있음을 보여주기 위해서입니다.
	그래서 제가 정말 하고 싶은 것은 수축을 최소화하고 실패를 최소화하는 최적의 조건을 찾는 것입니다.
	외삽 제어가 켜진 상태에서 내가 외삽하지 않았는지 확인하고 싶습니다. 유용한 솔루션을 찾고 싶습니다.
	그리고 최적화를 수행하기 전에 실제로 내 만족도를 설정해야 합니다. 나는 set desirabilities를 할 것입니다. 수축에 대해서는 이미 맞지만 표면 상태에 맞게 설정해야 합니다.
	나는 통과를 최대화하고 실패를 최소화하려고 노력할 것입니다.
	좋아요.
	이제 외삽 제어를 켜고 최적화를 수행하고 최대화하고 기억할 수 있어야 합니다.
	이제 최적의 솔루션이 있습니다.
	외삽 제어가 켜진 상태에서 이제 원본 데이터의 산점도 행렬을 외삽 제어가 켜진 솔루션과 외삽 제어가 꺼진 솔루션과 함께 다시 한 번 살펴보겠습니다.
	그래서 이것은 내가 JMP에서 만든 분말 야금 데이터의 산점도 행렬이며 최적의 솔루션도 가지고 있습니다.
	외삽 제어를 빨간색 점으로 사용하고 외삽 제어가 없는 최적 솔루션을 파란색 점으로 사용합니다. 그리고 다시 한 번, 우리가 외삽 제어를 시행하지 않을 때,
	최적의 솔루션은 데이터의 상관 관계 구조를 훨씬 벗어나 있습니다. 우리는 여기서 특히 압축 압력에 대한 비율을 볼 수 있습니다.
	이제 제레미에게 프레젠테이션을 넘겨 우리 방법에 대해 더 자세히 설명하겠습니다.
	안녕하세요. 그래서 여기에 우리가 프로젝트 초기에 제시한 외삽 제어를 위한 여러 목표가 있습니다.
	우리는 많은 수의 관측치와 변수로 빠르게 계산할 수 있는 외삽 메트릭이 필요했고 메트릭이 외삽을 나타내는지 여부를 평가할 빠른 방법이 필요했습니다. 이것은 프로파일러 추적의 상호 작용을 유지하고
	최적화를 수행하기 위해 이것이 필요했습니다.
	프로파일러에서 사용할 수 있는 다양한 변수 유형을 지원할 수 있기를 바랍니다. 이들은 본질적으로 연속적이고 범주형이며 순서형입니다.
	일부 모델링 방법에는 이러한 관찰과 ???가 포함될 것이기 때문에 누락된 셀이 있는 관찰을 활용하고 싶었습니다.
	우리는 데이터의 선형 종속성에 대해 강력한 방법을 원했습니다. 예를 들어, 변수의 수가 관측치의 수보다 클 때 이러한 현상이 발생합니다.
	그리고 우리는 많은 사용자 입력 없이 자동화하기 쉬운 무언가를 원했습니다.
	최소 제곱 모델의 경우 선형 모델에서 이상값을 식별하는 데 자주 사용되는 레버리지를 사용했습니다.
	새로운 예측 포인트에 대한 레버리지는 이 공식에 따라 계산됩니다. 레버리지에 대한 해석은 많습니다. 한 가지 해석은
	훈련 데이터의 중심에서 예측 지점까지의 다변량 거리입니다. 또 다른 해석은 스케일링된 예측 분산이므로 예측점이 데이터의 중심에서 멀어질수록 예측의 불확실성이 증가한다는 것입니다.
	그리고 우리는 이 거리가 너무 큰지 판단하기 위해 통계 문헌에서 두 가지 공통 임계값을 사용합니다.
	첫 번째는 최대 레버리지입니다. 이 임계값을 초과하는 예측 지점은 훈련 데이터의 볼록 구멍 외부에 있습니다.
	그리고 두 번째는 레버리지 평균의 3배입니다. 이는 모형 항 수를 관측 수로 나눈 값의 3배에 해당함을 알 수 있습니다.
	그리고 Laura가 앞서 설명한 것처럼 이러한 임계값의 승수를 변경할 수 있습니다.
	마지막으로, 바람직함이 최적화될 때 외삽 제약은 비선형 제약입니다. 그리고 이전에 프로파일러는 선형 제약 조건으로 제약 최적화를 허용했습니다.
	그러나 이러한 유형의 최적화는 더 어렵기 때문에 Laura는 유전 알고리즘을 구현했습니다. 그리고 이것들에 익숙하지 않다면 유전 알고리즘은 분자 진화의 원리를 사용하여 복잡한 비용 함수를 최적화합니다.
	다음으로 선형 모델이 아닌 두 가지 모델을 외삽 제어를 일반화하는 데 사용하는 접근 방식에 대해 이야기하겠습니다.
	JMP에서 예측 모델을 구성할 때 예측 변수 세트와 응답 변수 세트로 시작합니다.
	일부 지도 모델이 훈련된 다음 프로파일러를 사용하여 모델 표면을 시각화할 수 있습니다.
	JMP의 프로파일러에는 다양한 변형이 있습니다. 모델링 플랫폼에서 내부적으로 프로파일러를 사용할 수 있으며 예측 공식을 출력하고 빌드할 수 있습니다.
	Laura가 시연한 것처럼 여러 모델에 대한 프로파일러입니다. 앙상블 모델에 대한 프로파일러를 구성할 수 있습니다. 우리는 이러한 모든 시나리오에 일반화되는 외삽 제어 방법을 원했기 때문에 방법을 특정 모델에 묶는 대신 비지도 접근 방식을 사용할 것입니다.
	그리고 예측 지점이 예측 공간에서 데이터가 집중된 곳에서 멀리 떨어져 있는 경우에만 예측 지점을 외삽으로 표시할 것입니다. 그리고 이를 통해 우리의 외삽 제어 방법이 모든 프로파일러에 연결되도록 프로파일러 간에 일관성을 유지할 수 있습니다.
	레버리지의 다변량 거리 해석은 일반적인 외삽 제어를 위한 거리로 Hotelling의 T 제곱을 제안했습니다. 사실, 일부 대수적 조작은 Hotelling의 T 제곱이 단지 레버리지가 이동되고 조정되었음을 보여줍니다.
	이 그림은 Hotelling의 T 제곱이 관측치가 있는 타원을 측정하는 방법을 보여줍니다. 여기서 타원은 데이터 평균의 중심에 있고 모양은 공분산 행렬에 의해 정의됩니다.
	더 이상 선형 모델이 아니므로 이 메트릭은 예측 분산과 동일한 연결이 없습니다. 따라서 선형 모델에서 다시 사용된 임계값에 의존하는 대신 다음을 결정하기 위해 몇 가지 분포 가정을 할 것입니다.
	예측 지점에 대한 T 제곱은 외삽으로 간주되어야 합니다.
	여기에서는 Hotelling의 T 제곱에 대한 공식을 보여주고 있습니다. 평균 및 공분산 행렬은 모델에 대한 훈련 데이터를 사용하여 추정됩니다.
	P가 N보다 작은 경우(여기서 P는 예측 변수의 개수이고 N은 관측값의 개수입니다.)
	예측자가 다변량 정상이면 예측 점에 대한 T 제곱은 F 분포를 갖습니다. 그러나 우리는 방법을 원했습니다.
	연속 및 범주형 데이터 세트의 혼합과 같은 복잡한 데이터 유형으로 데이터 세트를 일반화합니다. 여기서 P는 N보다 큽니다.
	결측값이 있는 데이터 세트. 따라서 각 경우에 분포를 분석적으로 계산하는 대신 실제로 잘 작동하는 간단한 보수 관리 한계를 사용합니다.
	이것은 훈련 데이터에서 제곱된 T의 경험적 분포를 사용하는 3시그마 제어 한계이며 Laura가 언급했듯이 이 승수를 조정할 수도 있습니다.
	한 가지 합병증은 P가 N보다 클 때 Hotelling의 T 제곱이 정의되지 않는다는 것입니다. 공분산 행렬에 사용 가능한 데이터로 추정할 수 있는 매개변수가 너무 많습니다.
	그리고 이것은 부분 최소 제곱과 같은 외삽 제어의 일반적인 사용 사례에서 자주 발생합니다. 그래서 우리는 이러한 경우를 다루는 Hotelling의 T 제곱을 계산하는 새로운 접근 방식을 결정했으며 이를 정규화된 T 제곱이라고 부릅니다.
	공분산 행렬을 계산하기 위해 원래 Schafer와 Strimmer가 고차원 게놈 데이터에 대해 개발한 정규화된 추정기를 사용합니다. 이것은 전체 표본 공분산 행렬(여기서 U)과 제약 대상 행렬(D)의 가중치 조합일 뿐입니다.
	Lambda 가중치 매개변수의 경우 Schafer와 Strimmer는 추정량인 MSE를 점근적으로 최소화하는 분석식을 도출했습니다.
	Schafer와 Strimmer는 몇 가지 가능한 목표 행렬을 제안했습니다. 우리가 선택한 목표 행렬은 예측 변수의 표본 분산이 대각선에 있는 대각 행렬이었습니다. 이 목표 행렬에는 외삽 제어에 대한 많은 이점이 있습니다.
	첫째, 우리는 데이터를 보기 전에 변수 간의 상관 구조를 가정하지 않습니다. 이는 일반적인 사전과 마찬가지로 잘 작동합니다.
	또한 N이 작거나 누락된 부분이 많기 때문에 공분산 행렬을 추정할 데이터가 거의 없는 경우
	타원형 제약 조건은 대각 행렬의 큰 가중치에 의해 확장되며, 이는 외삽 제어에 대한 보다 보수적인 테스트를 초래합니다. 우리는 이것이 위양성 비율의 합리적인 제어를 얻기 위해 필요하다는 것을 발견했습니다.
	더 간단히 말해서, 제한된 훈련 데이터가 있을 때 정규화된 T 제곱은 예측에 외삽으로 레이블을 지정할 가능성이 적습니다. 이는 우연히 공분산을 관찰할 가능성이 더 높기 때문에 원하는 것입니다.
	이러한 세부 사항을 보여주는 시뮬레이션 결과가 몇 가지 있지만 그 모든 것을 설명할 시간이 없습니다. 대신 커뮤니티 웹 페이지에 아카이브에 있는 논문에 대한 링크를 추가하고 이를 Journal of Computational Graphical Statistics에 제출할 계획입니다.
	이 다음 슬라이드에서는 고려해야 할 다른 중요한 세부 정보를 보여줍니다. 범주형 변수를 처리하는 방법을 알아야 했습니다.
	우리는 그것들을 지표로 코딩된 더미 변수로 변환하고 있습니다. 이것은 다중 대응 분석과 유사합니다.
	또 다른 복잡성은 누락된 데이터가 있을 때 Hotelling의 T 제곱을 계산하는 방법입니다. 여러 JMP 예측 모델링 플랫폼은 데이터가 누락된 관찰을 사용하여 모델을 훈련합니다.
	여기에는 나이브 베이즈(Naive Bayes)와 부트스트랩 포레스트(bootstrap forest)가 포함되며 이러한 공식은 공분산 행렬을 추정하는 데 사용하는 쌍별 삭제 방법을 보여줍니다.
	행별 삭제를 사용하는 것이 더 일반적입니다. 즉, 공분산 행렬을 계산하기 전에 결측값이 있는 모든 관측값이 삭제됩니다. 그리고 이것은 가장 간단하지만 훈련 데이터의 샘플 크기가 작으면 유용한 데이터를 버릴 수 있습니다.
	쌍별 삭제를 사용하면 해당 항목을 계산하는 데 사용되는 변수 쌍에 결측값이 있는 경우에만 관측치가 삭제됩니다.
	그리고 그것이 이 공식들이 보여주는 것입니다. 사용 가능한 모든 데이터를 사용하는 것처럼 보이지만 실제로는 각 항목을 계산하는 데 사용되는 다른 관찰이 있기 때문에 많은 문제가 발생할 수 있습니다.
	이로 인해 음수 고유값이 있는 공분산 행렬과 같은 이상한 일이 발생할 수 있습니다. 이는 우리가 처리해야 하는 문제였습니다.
	다음은 평가에서 다른 방법과 비교할 때 발견한 정규화된 T 제곱의 몇 가지 장점입니다.
	하나는 정규화가 정상적으로 작동하는 방식으로 작동한다는 것입니다. 이는 훈련 데이터를 과적합하는 것과 추정기를 과도하게 편향시키는 것 사이의 균형을 유지합니다. 이것은 추정기가 잡음 및 모델 오명에 대해 더 강력하게 만듭니다.
	다음으로 Schafer와 Strimmer는 논문에서 정규화가 고차원 설정에서 더 정확한 추정기를 생성한다는 것을 보여주었습니다. 이것은 외삽 제어를 위한 대부분의 거리 기반 방법을 괴롭히는 차원의 저주에 도움이 됩니다.
	그리고 외삽제어 방법론을 개발한 분야에서는
	종종 그들은 고차원 데이터와 상관관계가 높은 예측변수를 모두 가지고 있습니다. 예를 들어 화학 정보학 및 화학 메트릭스에서 화학적 특징은 종종 높은 상관 관계가 있습니다.
	외삽 제어는 종종 T 제곱 및 DModX가 상관 구조 위반을 감지하는 데 사용되는 PCA 및 PLS 모델과 함께 사용됩니다. 이것은 모델 기반 다변수 관리 차트에서 수행하는 작업과 유사합니다.
	이것은 일반적인 사용 사례이므로 이러한 방법에서 너무 벗어나지 않는 옵션을 원했습니다.
	정규화된 T 제곱은 다음을 제공합니다.
	동일한 유형의 외삽 제어이지만 몇 가지 장점이 있는 투영 단계가 필요하지 않습니다.
	우리는 이것이 우리가 다른 유형의 예측 모델로 더 잘 일반화할 수 있게 한다는 것을 발견했습니다.
	또한 평가에서 예측 변수 간에 비선형 관계가 있는 것처럼 선형 투영이 데이터에 대해 잘 작동하지 않는 경우,
	오류는 투영 기반 방법의 제어 한계를 부풀릴 수 있으며, 이는 외삽에 대한 보호가 제대로 이루어지지 않게 하며 우리의 접근 방식은 이보다 더 강력합니다.
	그리고 또 다른 중요한 점은 우리가
	단일 외삽 메트릭은 사용 및 해석이 훨씬 간단했습니다.
	다음은 외삽 제어 기능에 대한 간략한 요약입니다. 이 방법은 실현 가능한 영역의 더 나은 시각화를 제공합니다.
	프로파일러의 고차원 모델. 유연한 제약 최적화를 위해 새로운 유전 알고리즘이 구현되었습니다.
	그리고 정규화된 T 제곱은 P가 N보다 크고 연속 및 범주형 변수와 같은 경우 지저분한 관측 데이터를 처리합니다.
	이 방법은 JMP 16 Pro의 대부분의 예측 모델에서 사용할 수 있으며 많은 특징을 지원합니다. 그래프의 프로파일러에서도 사용할 수 있습니다. 이는 모든 예측 공식에서 작동할 수 있기 때문에 실제로 유용합니다.
	그런 다음 미래 방향으로 현재 상관 구조 제약 조건을 넘어서는 K-최근접 이웃 기반 제약 조건을 구현하는 것을 고려하고 있습니다.
	종종 예측 변수는 예측 변수 공간에서 클러스터링을 초래하는 다중 분포에 의해 생성되며 K-최근접 이웃 기반 접근 방식을 사용하면 클러스터 간의 외삽을 제어할 수 있습니다.
	시청에 관심을 가져주신 모든 분들께 감사드리며 추가 질문이 있는 경우 이메일을 보내드리겠습니다.
제레미 애쉬, JMP	아직 거기에 있어.
크리스 고트월트	그래요.
로라 랭커스터	단지.

정상회의 최고브레이크아웃데이터 시각화통계 및 모델링Re: JMP Pro 16의 예측 프로파일러에서 외삽 제어(2021-US-45MP-838)

왜 엄격하게 Hotelling T2 값이 예측 무결성을 보장하는지에 대한 질문이 있습니까?우리는 Hotelling T2가 모델에서 사용한 데이터의 디자인 공간을 실제로 정의한다는 데 동의해야 합니다.데이터 구조 자체가 올바른 상관 구조를 가지고 있다는 의미는 아닙니다.Hotelling T2 디자인 영역 내에서 예측 값을 갖게 되는 경우를 종종 봅니다. 그러나 값을 예측하는 데 사용되는 데이터 구조가 원래 모델의 데이터 구조와 일치하지 않습니다.따라서 예측이 매우 의심스럽습니다.이에 대한 간단한 예는 들어오는 오렌지를 기반으로 오렌지 주스를 예측하는 간단한 모델입니다.그러나 누군가 실수로 레몬을 줄에 놓으면 모델은 여전히 오렌지 주스를 예측합니다.주스의 양은 여전히 Hotelling T2 지역 범위 내에 있을 것입니다.그러나 우리는 그것이 우리가 얻는 오렌지 주스가 아니라는 것을 알고 있습니다.데이터 구조가 변경되었습니다.이것이 PLS 유형의 모델에서 미래의 최적화 값이 사용된 원래 모델 데이터 구조 내에 유지되도록 DmodX = 0을 유지해야 하는 이유입니다.

 

정규화된 T2가 모델 데이터 영역이 아닌 사용된 모델 데이터 구조를 어떻게 충족하는지 설명할 수 있다면 이 새로운 도구를 사용하는 것이 더 자신 있을 것입니다.