398679_ko-KR

liliconcom

JMP Pro 16(2021-US-45MP-838)의 예측 프로파일러에서 외삽 제어

레벨: 중급

 

Laura Lancaster, JMP 수석 연구 통계 개발자, SAS
Jeremy Ash, JMP 분석 소프트웨어 테스터, SAS
Christopher Gotwalt, SAS 통계 연구 및 개발 JMP 이사

 

제어되지 않은 모델 외삽법은 두 가지 심각한 오류로 이어집니다. (1) 모델이 데이터와 멀리 떨어져 있으면 완전히 유효하지 않을 수 있고 (2) 변수 값의 조합이 물리적으로 실현 가능하지 않을 수 있습니다. 프로파일러를 사용하여 관찰 데이터에 맞는 모델을 최적화하면 경고 없이는 실용적이지 않은 외삽 솔루션으로 이어질 수 있습니다. JMP Pro 16은 많은 예측 모델링 플랫폼과 프로파일러 플랫폼 자체에 외삽 제어를 도입합니다. Prediction Profiler의 이 새로운 기능은 가능한 외삽을 사용자에게 경고하거나 모델이 유효하지 않을 수 있는 외삽 포인트를 그리는 것을 완전히 방지합니다. 또한 사용자는 외삽을 피하는 제한된 영역에 대해 최적화를 수행할 수 있습니다. 이 프레젠테이션에서는 외삽 제어의 동기와 유용성에 대해 논의하고, JMP에서 쉽게 사용할 수 있는 방법을 시연하고, 우리 방법의 세부 사항을 설명합니다.

 

 

자동 생성된 성적표...

 

스피커	성적 증명서
팀 피어스	가다.
	음소거하겠습니다.
	안녕하세요, 저는 Chris Gotwalt입니다. 저의 공동 발표자인 Laura Lancaster와 Jeremy Ash는 외삽 제어라는 유용한 새 JMP Pro 기능을 발표하고 있습니다.
	예측하려는 거의 모든 모델에는 적용 범위가 있습니다.
	그들의 예측이 고려되는 입력 공간의 영역
	충분히 신뢰할 수 있습니다. 해당 지역 밖에서는 모델을 맞추는 데 사용된 데이터에서 멀리 떨어진 모델 두 지점을 외삽하기 시작합니다. 해당 지점에서 해당 모델의 예측을 사용하면 완전히 신뢰할 수 없는 예측으로 이어질 수 있습니다.
두 가지 주요 외삽 소스가 있습니다.	통계적 외삽 및 도메인 기반 외삽. 두 유형 모두 새 기능에 포함됩니다.
	통계적 외삽은 해당 모델을 교육하는 데 사용되는 값에 가깝지 않은 X에서 모델을 사용하여 예측을 시도할 때 발생합니다.
	도메인 기반 외삽법은 과학적 이유로 불가능한 X에서 평가하려고 할 때 발생합니다.
	또는 엔지니어링 기반 제약. 여기의 예는 하나의 예에서 두 종류의 외삽을 보여줍니다. 여기서 야금 생산 공정 모델의 프로파일러를 볼 수 있습니다.
	불가능한 온도와 압력의 조합에서 평가하고 있다는 표시 없이 예측값이 -2.96으로 표시됩니다.
	도메인 의미에서 이 기계에 대해 달성합니다. 우리는 또한 사용된 데이터와 거리가 멀기 때문에 통계적 외삽법을 사용합니다.
	오른쪽 훈련 데이터의 산점도에서 볼 수 있듯이 모델에 적합합니다. JMP Pro 16에서 Jeremy, Laura와 저는 협력하여 프로파일러가 사용자가 추정하고 있다고 생각할 때 경고를 줄 수 있는 새로운 기능을 추가했습니다.
	또는 외삽 제어를 켜면 외삽이라고 생각하지 않는 점으로만 표시되는 점 집합을 제한합니다.
	두 가지 유형의 외삽 제어가 있습니다.
	하나는 레버리지 개념을 기반으로 하며 최소 제곱 모델을 사용합니다. 이 첫 번째 유형은 적합 모델 최소 제곱의 Pro 버전에서만 사용할 수 있습니다.
	일반 기계 학습 외삽 제어라고 하는 다른 유형은 프로파일러 플랫폼과 JMP Pro의 가장 일반적인 여러 기계 학습 플랫폼에서 사용할 수 있습니다.
	요청 시 mor에 추가할 수도 있습니다. 최소 제곱 외삽 제어는 예측 분산의 스케일 버전과 같은 레버리지 개념을 사용합니다. 모델 기반이므로
	외삽을 결정하기 위해 주효과 상호 작용 및 고차 항에 대한 정보를 사용합니다.
	일반적인 기계 학습 외삽 제어 사례의 경우 자체 접근 방식을 제시해야 합니다. 우리는 누락된 값에 대해 강력한 방법을 원했습니다.
	선형 종속성, 더 빠른 계산, 연속 및 범주 입력 변수의 혼합을 처리할 수 있으며 데이터를 맞추는 데 사용되는 모델에서 외삽 모델을 명시적으로 분리하기를 원했습니다.
	따라서 일반 외삽 제어를 켠 경우 프로파일러 추적에서 볼 수 있는 응답에 입력 변수를 맞추는 단 하나의 감독 모델만 있습니다.
	트레이닝 세트 X를 설명하기 위해 빠르고 지저분한 감독되지 않은 모델과 함께 제공되는 프로파일과 이 감독되지 않은 모델은 외삽 제어 제약 조건을 결정하기 위해 프로파일러에 의해 배후에서 사용됩니다.
	어떤 이유에서인지 PowerPoint 내 카메라가 제대로 작동하지 않아 전환해야 합니다.
	우리는 데이터 과학 분야에서 일하는 사람들이 매일 위험한 외삽법을 사용하고 있다는 것을 알고 있으며 외삽법의 사용이 잘못된 예측으로 이어지고 궁극적으로 좋지 않은 비즈니스 결과로 이어진다고 확신합니다.
	외삽 제어는 모델 예측에 난간을 두어 JMP Pro 사용자가 정량적으로 더 나은 결정을 내릴 수 있도록 합니다.
	사용자는 외삽이 발생하는 것을 볼 때 도메인 지식과 당면한 문제에 대한 친숙도를 기반으로 예측을 사용해야 하는지 여부를 결정해야 합니다.
	외삽 제어 경고가 발생하기 시작하면 입력 분포가 교육 데이터의 분포에서 벗어나 이동했기 때문에 해당 모델의 수명 주기가 끝나고 새 데이터에 다시 맞출 시간이 될 가능성이 높습니다.
	우리는 데이터 과학 커뮤니티에서 외삽 식별의 필요성이 더 잘 인식되지 않는다는 사실에 솔직히 상당히 놀랐고 놀랐습니다.
	외삽 제어를 가능한 한 쉽고 자동으로 만들었습니다. JMP Pro에서 이를 개발한 Laura가 다음에 이 옵션을 시연할 것입니다. 그런 다음 우리 팀에서 많은 연구를 수행한 Jeremy가 접근 방식에 대한 수학적 세부 사항과 통계적 동기에 대해 설명합니다.
	안녕하세요. 제 이름은 Laura Lancaster이고 JMP Pro 16에 추가된 외삽 제어의 데모를 하기 위해 왔습니다. 적합 모델 최소 제곱 플랫폼을 사용하는 상당히 간단한 예제로 시작하고 싶었습니다.
	익숙한 데이터를 사용하겠습니다. 샘플 데이터에 있는 피트니스 데이터입니다.
	그리고 반응과 실행 시간으로 산소 섭취량을 사용하고 예측 변수로 실행 맥박과 최대 맥박을 사용할 것입니다. 적합 모형 적합 최소 제곱에서 사용되는 외삽 메트릭은 레버리지이므로 JMP를 시작하겠습니다.
	이제 JMP에서 피트니스 데이터를 열었고 최소 제곱 적합 모델을 자동으로 시작하기 위해 데이터 테이블에 저장할 스크립트가 있습니다.
	그래서 계속해서 그 스크립트를 실행할 것입니다. 최소 제곱 플랫폼을 시작합니다.
	프로파일러가 자동으로 열려 있고 프로파일러가 과거에 항상 그랬던 것처럼 보이는 것을 볼 수 있습니다.
	여기에서 요인 경계는 각 요인의 범위에 의해 개별적으로 정의되며 직사각형 경계 제약 조건을 제공합니다.
	그리고 내가 요인 설정을 변경했을 때 이러한 제한 제약 때문에 데이터의 상관 관계 구조를 훨씬 벗어나고 있는지 확인하기가 정말 어려울 수 있습니다.
	그리고 이것이 우리가 외삽 제어를 추가하고 싶었던 이유입니다. 그래서 이것은 JMPs Pro 16의 여러 플랫폼에 추가되었습니다.
	적합 최소 제곱을 포함합니다. 외삽 컨트롤을 사용하려면 프로파일러 메뉴 아래의 메뉴로 이동합니다. 여기를 보면 외삽 제어라는 새로운 옵션이 있습니다.
	기본적으로 꺼짐으로 설정되어 있지만 켜거나 경고를 켜서 외삽 제어를 켤 수 있습니다. 이 기능을 켜면 내 프로필 추적이 외삽하지 않는 값으로만 이동하도록 제한됩니다.
	경고를 켜면 전체 프로필 추적이 표시되지만 외삽으로 간주되는 지역으로 이동하면 경고가 표시됩니다.
	외삽 세부 정보를 켤 수도 있는데 정말 유용합니다.
	더 많은 정보를 얻을 수 있습니다. 우선, 외삽법을 정의하는 데 사용하는 메트릭이 레버리지라는 것을 알려줍니다. 이는 적합 최소 제곱 플랫폼에서 사실입니다.
	처음에 기본적으로 사용되는 임계값은 최대 레버리지가 될 것입니다. 하지만 이것은 제가 변경할 수 있는 것이며 잠시 후에 보여드리겠습니다.
	또한 현재 설정에 대한 외삽 메트릭이 무엇인지 확인할 수 있습니다. 이것이 바로 여기 이 숫자입니다. 요인 설정을 변경하면 변경됩니다.
	이 숫자가 임계값보다 클 때마다 내가 외삽할 수 있다는 경고가 표시됩니다. 아래로 내려가면 더 이상 해당 경고가 표시되지 않습니다.
	내 임계값을 조정하기 위해 메뉴에서 무언가를 변경하지 않는 한 이 임계값은 변경되지 않습니다. 그러니 지금 당장 그렇게 하도록 하죠. 메뉴판으로 가볼게요
	임계값 기준 설정으로 이동하겠습니다. 따라서 최소 제곱에 적합하면 임계값에 대한 두 가지 옵션이 있습니다. 처음에는 최대 레버리지로 설정되어 데이터의 볼록한 구멍 안에 있게 됩니다.
	또는 관측치에 대한 평균 레버리지 또는 모형 항을 곱한 승수로 전환할 수 있습니다. 이 임계값으로 전환하고 싶으므로 3으로 설정합니다.
	기본적으로 승수이므로 평균 레버리지의 3배가 됩니다. 확인을 클릭하고 내 임계값이 변경되는 것을 확인합니다. 실제로 더 작아졌으므로 이것은 외삽의 보다 보수적인 정의입니다.
	그리고 프로필 추적을 제한하기 위해 다시 켜겠습니다. 이제 지역만 갈 수 있습니다.
	평균 레버리지의 3배 이내입니다.
	이제 외삽 제약 조건을 준수하는 최적화도 구현했습니다. 이제 선호도 설정을 켜면
	최적화를 수행합니다.
	외삽 제약 조건을 만족하는 최적의 값을 얻을 것입니다. 이 지표는 임계값보다 작거나 같습니다.
	이제 그래프(산점도 행렬)에서 비교할 다음 슬라이드로 이동하면 외삽 컨트롤이 켜진 상태와 꺼진 상태의 최적 값 사이의 차이가 표시됩니다.
	이것이 제가 JMP로 만든 산점도 행렬입니다. 원본 예측 변수 데이터와 예측 변수 값을 보여줍니다.
	파란색은 외삽 제어를 사용하지 않는 최적 솔루션과 빨간색은 외삽 제어를 사용하는 최적 솔루션입니다. 여기 파란색으로 표시된 비제약 솔루션을 주목하세요.
	여기서 실행 펄스 및 최대 펄스에 대한 원래 데이터의 상관 관계 구조를 위반하므로 이 예측의 불확실성이 증가하는 반면 외삽 제어를 사용한 최적의 솔루션은 원래 데이터와 훨씬 더 일치합니다.
	이제 정규화된 T 제곱 방법이라고 하는 보다 일반화된 외삽 제어 방법을 사용하는 예를 살펴보겠습니다.
	앞서 Chris가 언급한 것처럼 최소 제곱 모델 이외의 모델에 대해 이 방법을 개발했습니다. 샘플 데이터에도 있는 당뇨병 데이터에 대한 신경 모델을 살펴보겠습니다.
	반응은 질병 진행의 척도이며 예측 변수는 기준 변수입니다. 다시 한 번, 이 예제에 사용된 외삽 메트릭은 Jeremy가 몇 분 안에 자세히 설명할 정규화된 T 제곱입니다.
	JMP에서 열린 당뇨병 데이터가 있고 내 신경 모델에 맞는 스크립트가 저장되어 있습니다. 계속해서 해당 스크립트를 실행하겠습니다.
	신경 플랫폼을 시작합니다. 그리고 유효성 검사 방법 임의 보류를 사용하고 있음을 알 수 있습니다. 유효성 검사 방법을 사용할 때마다 외삽 제어는 훈련 데이터에만 기반한다는 점에 주목하고 싶었습니다.
	검증 또는 테스트 데이터가 아닙니다.
	그래서 프로파일러를 열었고 전체 추적을 사용하고 있음을 알 수 있습니다. 보외 제어가 켜져 있지 않습니다.
	계속해서 전원을 켭니다.
	그리고 나는 또한 세부 사항을 켤 것입니다.
	추적이 제한되었고 메트릭이 정규화된 T 제곱임을 알 수 있습니다.
	임계값은 샘플 정규화 T 제곱의 표준 편차의 3배입니다. Jeremy는 정확히 몇 분 안에 그 모든 것이 의미하는 바에 대해 더 이야기할 것입니다.
	정규화된 T 제곱 방법을 사용할 때 임계값에 대한 선택은 하나뿐이지만 승수는 조정할 수 있습니다. 그래서 당신이 간다면
	외삽 제어, 임계값 설정, 이 승수를 조정할 수 있지만 3으로 두겠습니다. 이제 다음을 사용하여 최적화를 실행하고 싶습니다.
	외삽 제어이므로 최대화하고 기억하겠습니다. 이제 외삽 제어가 켜진 최적의 솔루션이 있습니다.
	그래서 이제 산점도 행렬을 살펴보겠습니다. 이전에 원본 데이터와 외삽 제어가 있거나 없는 최적의 값을 살펴봤던 것과 같습니다.
	이것은 제가 JMP에서 만든 당뇨병 데이터의 산점도 행렬입니다. 원래 예측 변수 값이 있습니다.
	빨간색은 외삽 제어를 사용한 최적 솔루션과 파란색은 외삽 제어를 사용하지 않은 최적 솔루션입니다. 그리고 당신은 그것을 볼 수 있습니다
	빨간색 점은 파란색보다 원본 데이터의 상관 관계 구조 내에 훨씬 더 많이 있는 것으로 보입니다. 특히 이 LDL 대 총 콜레스테롤을 보면 더욱 그렇습니다.
	이제 그래프 메뉴 아래에 있는 프로파일러를 사용하는 예를 살펴보겠습니다. 이 프로파일러를 그래프 프로파일러라고 합니다.
	또한 정규화된 T 제곱 방법을 사용하며 JSL 수식으로 만들고 저장할 수 있는 모든 유형의 모델에서 외삽 제어를 사용할 수 있습니다. 또한 한 번에 둘 이상의 모델에 대한 외삽 제어를 할 수 있습니다.
	따라서 분말 야금 기술을 사용하여 자동차 산업용 강철 드라이브 샤프트를 생산하는 회사의 예를 살펴보겠습니다.
	그들은 수축을 최소화하고 열악한 표면 상태로 인한 고장을 최소화하는 생산을 위한 최적의 설정을 찾을 수 있기를 원합니다. 그래서 우리는 두 가지 반응이 있습니다
	수축은 연속적이며 이를 위해 최소 제곱 모델을 맞출 것입니다. 표면 상태는 합격/불합격이고 이에 대한 명목 물류 모델을 맞출 것입니다.
	그리고 우리의 예측 변수는 생산의 일부 핵심 프로세스 변수일 뿐입니다. 그리고 다시 한 번 외삽 메트릭은 정규화된 T 제곱입니다.
	그래서 저는 JMP에서 열린 분말 야금 데이터를 가지고 있고 수축 반응에 대한 최소 제곱 모델을 이미 적합시켰습니다.
	그리고 나는 표면 상태 합격/불합격 응답에 대한 명목 물류 모델을 이미 적합시켰습니다. 그리고 그래프 프로파일러에서 사용할 수 있도록 예측 공식을 데이터 테이블에 저장했습니다.
	따라서 그래프 메뉴 프로파일러로 이동하면 수축에 대한 예측 공식을 로드할 수 있으며 예측 공식은 표면 상태에 대한 것입니다.
	확인을 클릭합니다.
	이제 두 모델 모두 그래프 프로파일러에 실행되었습니다.
	그리고 외삽 제어를 켜기 전에 전체 프로필 추적이 있는 것을 볼 수 있습니다. 외삽 제어를 켜면
	흔적이 약간 줄어드는 것을 볼 수 있습니다. 그리고 세부 정보도 켜겠습니다.
	실제로 이 방법에서 정규화된 T 제곱을 사용하고 있음을 보여주기 위해서입니다.
	그래서 제가 정말로 하고 싶은 것은 수축을 최소화하고 실패를 최소화하는 최적의 조건을 찾고 싶습니다.
	외삽 제어를 켠 상태에서. 외삽하지 않는지 확인하고 싶습니다. 유용한 솔루션을 찾고 싶습니다.
	최적화를 수행하기 전에 실제로 바람직함을 설정해야 합니다. 나는 바람직함을 설정할 것입니다. 수축에 대해서는 이미 맞지만 표면 상태에 맞게 설정해야 합니다.
	패스를 최대화하고 실패를 최소화하려고 노력할 것입니다.
	좋아요.
	이제 외삽 컨트롤을 켜고 최대화하고 기억하여 최적화를 수행할 수 있어야 합니다.
	이제 최적의 솔루션이 있습니다.
	외삽 제어를 켠 상태에서. 이제 외삽 제어가 설정된 솔루션과 외삽 제어가 해제된 솔루션과 함께 원본 데이터의 산점도 행렬을 다시 한 번 살펴보겠습니다.
	이것은 제가 JMP에서 생성한 분말 야금 데이터의 산점도 매트릭스이며 최적의 솔루션도 있습니다.
	외삽 제어가 있는 경우는 빨간색 점으로, 외삽 제어가 없는 최적 솔루션은 파란색 점으로 표시됩니다. 그리고 다시 한 번 외삽 제어를 시행하지 않을 때
	최적의 솔루션은 데이터의 상관 관계 구조를 상당히 벗어납니다. 우리는 특히 여기에서 압축 압력에 대한 비율을 볼 수 있습니다.
	이제 Jeremy에게 프레젠테이션을 넘겨 우리 방법에 대해 더 자세히 설명하겠습니다.
	안녕. 따라서 프로젝트 초기에 제시한 외삽 제어를 위한 여러 가지 목표가 있습니다.
	우리는 많은 관찰과 변수로 빠르게 계산할 수 있는 외삽 메트릭이 필요했고 메트릭이 외삽을 나타내는지 여부를 빠르게 평가할 방법이 필요했습니다. 이는 프로파일러 추적과
	최적화를 수행하려면 이것이 필요했습니다.
	프로파일러에서 사용할 수 있는 다양한 변수 유형을 지원할 수 있기를 바랍니다. 이들은 본질적으로 연속적이고 범주적이며 서수입니다.
	일부 모델링 방법에는 이러한 관찰과 ???가 포함되기 때문에 누락된 셀이 있는 관찰을 활용하고 싶었습니다.
	우리는 데이터의 선형 종속성에 대해 강력한 방법을 원했습니다. 예를 들어 변수의 수가 관측치의 수보다 클 때 이러한 현상이 발생합니다.
	그리고 우리는 많은 사용자 입력 없이 쉽게 자동화할 수 있는 것을 원했습니다.
	최소 제곱 모델의 경우 선형 모델에서 이상값을 식별하는 데 자주 사용되는 레버리지를 사용했습니다.
	새로운 예측 포인트에 대한 레버리지는 이 공식에 따라 계산됩니다. 레버리지에 대한 많은 해석이 있습니다. 한가지 해석은
	훈련 데이터의 중심에서 예측 지점까지의 다변량 거리입니다. 또 다른 해석은 스케일링된 예측 분산이므로 예측점이 데이터 중심에서 멀어질수록 예측의 불확실성이 커진다는 것입니다.
	그리고 이 거리가 너무 큰지 판단하기 위해 통계 문헌에서 두 가지 공통 임계값을 사용합니다.
	첫 번째는 최대 레버리지입니다. 이 임계값을 초과하는 예측 지점은 훈련 데이터의 볼록한 구멍 밖에 있습니다.
	두 번째는 레버리지 평균의 3배입니다. 이는 모델 항 수를 관측치 수로 나눈 값의 3배에 해당함을 알 수 있습니다.
	Laura가 앞에서 설명한 것처럼 이러한 임계값의 승수를 변경할 수 있습니다.
	마지막으로 바람직함을 최적화할 때 외삽 제약 조건은 비선형 제약 조건입니다. 그리고 이전에는 프로파일러가 선형 제약 조건이 있는 제한된 최적화를 허용했습니다.
	그러나 이러한 유형의 최적화는 더 어렵기 때문에 Laura는 유전 알고리즘을 구현했습니다. 그리고 만약 당신이 이것들에 익숙하지 않다면 유전 알고리즘은 복잡한 비용 함수를 최적화하기 위해 분자 진화의 원리를 사용합니다.
	다음으로 선형 모델이 아닌 두 모델의 외삽 제어를 일반화하는 데 사용하는 접근 방식에 대해 이야기하겠습니다.
	JMP에서 예측 모델을 구성할 때 일련의 예측 변수와 반응 변수로 시작합니다.
	일부 감독 모델을 훈련한 다음 프로파일러를 사용하여 모델 표면을 시각화할 수 있습니다.
	JMP의 프로파일러에는 다양한 변형이 있습니다. 모델링 플랫폼에서 내부적으로 프로파일러를 사용할 수 있으며, 예측 공식을 출력하고 빌드할 수 있습니다.
	Laura가 시연한 것처럼 여러 모델에 대한 프로파일러입니다. 앙상블 모델에 대한 프로파일러를 구성할 수 있습니다. 우리는 이러한 모든 시나리오에 일반화되는 외삽 제어 방법을 원했기 때문에 방법을 특정 모델에 연결하는 대신 감독되지 않은 접근 방식을 사용할 것입니다.
	그리고 예측 변수 공간에서 데이터가 집중되어 있는 위치를 훨씬 벗어나 있는 경우에만 예측 지점을 외삽으로 표시할 것입니다. 이를 통해 프로파일러 간에 일관성을 유지할 수 있으므로 외삽 제어 방법이 모든 프로파일러에 연결됩니다.
	레버리지의 다변량 거리 해석은 일반 외삽 제어를 위한 거리로 Hotelling의 T 제곱을 제안했습니다. 사실, 일부 대수적 조작은 Hotelling의 T 제곱이 단지 레버리지 이동 및 크기 조정임을 보여줍니다.
	이 그림은 Hotelling의 T 제곱이 관찰이 있는 타원을 측정하는 방법을 보여줍니다. 여기서 타원은 데이터의 평균을 중심으로 하고 모양은 공분산 행렬에 의해 정의됩니다.
	더 이상 선형 모델이 아니기 때문에 이 지표는 예측 분산과 동일한 연결을 갖지 않습니다. 따라서 선형 모델에서 다시 사용되는 임계값에 의존하는 대신 몇 가지 분포 가정을 만들어 다음을 결정합니다.
	예측점에 대한 T 제곱은 외삽으로 간주되어야 합니다.
	여기 호텔링의 T 제곱에 대한 공식이 나와 있습니다. 평균 및 공분산 행렬은 모델의 학습 데이터를 사용하여 추정됩니다.
	P가 N보다 작은 경우, 여기서 P는 예측 변수의 수이고 N은 관측치의 수입니다.
	예측 변수가 다변량 정규에 있는 경우 예측 지점에 대한 T 제곱은 F 분포를 갖습니다. 그러나 우리는 다음과 같은 방법을 원했습니다.
	P가 N보다 큰 연속 및 범주 데이터 세트의 혼합과 같은 복잡한 데이터 유형으로 데이터 세트를 일반화합니다.
	누락된 값이 있는 데이터 세트. 따라서 각각의 경우에 분석적으로 분포를 계산하는 대신 실제로 잘 작동하는 간단한 보수적 제어 한계를 사용합니다.
	이것은 교육 데이터에서 T 제곱의 경험적 분포를 사용하는 3시그마 제어 한계이며 Laura가 언급한 것처럼 이 승수를 조정할 수도 있습니다.
	한 가지 복잡한 점은 P가 N보다 크면 Hotelling의 T 제곱이 정의되지 않는다는 것입니다. 사용 가능한 데이터로 추정하기에는 공분산 행렬에 매개변수가 너무 많습니다.
	그리고 이것은 부분 최소 제곱과 같은 외삽 제어의 일반적인 사용 사례에서 종종 발생합니다. 그래서 우리는 이러한 경우를 다루는 Hotelling의 T 제곱 계산에 대한 새로운 접근 방식을 결정했으며 이를 정규화된 T 제곱이라고 합니다.
	공분산 행렬을 계산하기 위해 원래 Schafer와 Strimmer가 고차원 유전체학 데이터를 위해 개발한 정규화된 추정기를 사용합니다. 이것은 전체 샘플 공분산 행렬(여기서 U)과 제한 목표 행렬(D)의 가중 조합일 뿐입니다.
	Lambda 가중치 매개변수의 경우 Schafer와 Strimmer는 추정량인 MSE를 점근적으로 최소화하는 분석식을 도출했습니다.
	Schafer와 Strimmer는 몇 가지 가능한 대상 행렬을 제안했습니다. 우리가 선택한 대상 행렬은 예측 변수의 표본 분산이 대각선에 있는 대각 행렬이었습니다. 이 대상 행렬은 외삽 제어에 많은 이점이 있습니다.
	첫째, 우리는 데이터를 보기 전에 변수 사이의 상관 구조를 가정하지 않습니다. 이는 일반 사전으로 잘 작동합니다.
	또한 작은 N 또는 큰 부분 누락으로 인해 공분산 행렬을 추정할 데이터가 거의 없는 경우
	타원 제약 조건은 대각 행렬에서 큰 가중치로 확장되며 이로 인해 외삽 제어에 대한 보다 보수적인 테스트가 생성됩니다. 위양성률을 합리적으로 제어하려면 이것이 필요하다는 것을 알았습니다.
	더 간단하게 설명하면 훈련 데이터가 제한적일 때 정규화된 T 제곱은 예측을 외삽으로 표시할 가능성이 적습니다. 이는 우연히 공분산을 관찰할 가능성이 더 높기 때문에 원하는 것입니다.
	이러한 세부 사항을 보여주는 몇 가지 시뮬레이션 결과가 있지만 모든 것을 살펴볼 시간이 없습니다. 대신 커뮤니티 웹 페이지에 보관 중인 논문에 대한 링크를 넣고 이를 Journal of Computational Graphical Statistics에 제출할 계획입니다.
	다음 슬라이드는 우리가 고려해야 할 몇 가지 다른 중요한 세부 사항을 보여줍니다. 범주형 변수를 처리하는 방법을 알아내야 했습니다.
	우리는 그것들을 지표로 코딩된 더미 변수로 변환하고 있을 뿐입니다. 이는 다중 대응 분석과 유사합니다.
	또 다른 복잡한 문제는 누락된 데이터가 있을 때 Hotelling의 T 제곱을 계산하는 방법입니다. 여러 JMP 예측 모델링 플랫폼은 누락된 데이터가 있는 관측치를 사용하여 모델을 교육합니다.
	여기에는 Naive Bayes 및 부트스트랩 포레스트가 포함되며 이러한 공식은 공분산 행렬을 추정하는 데 사용하는 쌍별 삭제 방법을 보여줍니다.
	행 단위 삭제를 사용하는 것이 더 일반적입니다. 이는 공분산 행렬을 계산하기 전에 누락된 값이 있는 모든 관측치가 삭제됨을 의미합니다. 그리고 이것은 가장 간단하지만 학습 데이터의 샘플 크기가 작을 경우 유용한 데이터를 버릴 수 있습니다.
	쌍별 삭제를 사용하면 해당 항목을 계산하는 데 사용되는 변수 쌍에 누락된 값이 있는 경우에만 관측치가 삭제됩니다.
	그리고 그것이 이 공식들이 보여주는 것입니다. 사용 가능한 모든 데이터를 사용하는 것처럼 간단해 보이지만 각 항목을 계산하는 데 사용되는 관찰이 다르기 때문에 실제로 많은 문제가 발생할 수 있습니다.
	이로 인해 음의 고유값이 있는 공분산 행렬과 같은 이상한 일이 발생할 수 있습니다. 이는 우리가 처리해야 하는 문제입니다.
	다음은 평가에서 다른 방법과 비교할 때 발견한 정규화된 T 제곱의 몇 가지 장점입니다.
	하나는 정규화가 정상적으로 작동하는 방식으로 작동한다는 것입니다. 훈련 데이터의 과적합과 추정기의 과편향 사이의 균형을 맞춥니다. 이렇게 하면 추정기가 잡음 및 잘못된 모델 사양에 대해 더 견고해집니다.
	다음으로, Schafer와 Strimmer는 논문에서 정규화가 고차원 설정에서 더 정확한 추정기를 만든다는 것을 보여주었습니다. 이는 외삽 제어를 위한 대부분의 거리 기반 방법을 괴롭히는 차원의 저주에 도움이 됩니다.
	그리고 외삽제어 방법론을 개발한 분야에서는
	종종 그들은 고차원 데이터와 고도로 상관된 예측 변수를 모두 가지고 있습니다. 예를 들어 화학 정보학 및 화학 메트릭스에서 화학적 특징은 종종 높은 상관 관계가 있습니다.
	외삽 제어는 T 제곱 및 DModX를 사용하여 상관 구조의 위반을 감지하는 PCA 및 PLS 모델과 함께 자주 사용됩니다. 이는 모델 기반 다변량 관리도에서 수행하는 작업과 유사합니다.
	이것은 일반적인 사용 사례이므로 이러한 방법에서 크게 벗어나지 않는 옵션을 원했습니다.
	정규화된 T 제곱은 다음을 제공합니다.
	동일한 유형의 외삽 제어이지만 몇 가지 장점이 있는 투영 단계가 필요하지 않습니다.
	이를 통해 다른 유형의 예측 모델을 더 잘 일반화할 수 있습니다.
	또한 평가에서 예측 변수 간에 비선형 관계가 있는 것처럼 데이터에 대해 선형 프로젝션이 제대로 작동하지 않는 경우
	오류는 투영 기반 방법의 제어 한계를 부풀려 외삽에 대한 보호를 저하시킬 수 있으며 우리의 접근 방식은 이보다 더 강력합니다.
	그리고 또 다른 중요한 점은 우리가
	단일 외삽 메트릭은 사용하고 해석하기가 훨씬 더 간단했습니다.
	다음은 외삽 제어 기능에 대한 간략한 요약입니다. 이 방법은 가능한 영역의 더 나은 시각화를 제공합니다.
	프로파일러의 고차원 모델. 유연한 제약 최적화를 위해 새로운 유전자 알고리즘이 구현되었습니다.
	정규화된 T 제곱은 N보다 큰 P와 연속 및 범주형 변수와 같은 경우 지저분한 관찰 데이터를 처리합니다.
	이 방법은 JMP 16 Pro의 대부분의 예측 모델에서 사용할 수 있으며 많은 특이성을 지원합니다. 또한 그래프의 프로파일러에서도 사용할 수 있으며 모든 예측 공식에서 작동할 수 있기 때문에 실제로 그 유용성을 열어줍니다.
	그리고 향후 방향으로 현재의 상관 구조 제약을 넘어서는 K-최근접 이웃 기반 제약을 구현하는 것을 고려하고 있습니다.
	종종 예측 변수는 예측 변수 공간에서 클러스터링을 초래하는 다중 분포에 의해 생성되며 K-최근접 이웃 기반 접근 방식을 사용하면 클러스터 간의 외삽을 제어할 수 있습니다.
	시청해 주신 모든 분들께 감사드리며 추가 질문이 있는 경우 이메일을 보내드립니다.
제레미 애쉬, JMP	너희들은 아직 거기 있어.
크리스 갓월트	네, 그렇습니다.
로라 랭커스터	단지.

베스트 오브 서밋탈주데이터 시각화통계 및 모델링Re: JMP Pro 16의 예측 프로파일러에서 외삽 제어(2021-US-45MP-838)

@MC17 이 중요한 질문을 제기하게 되어 기쁩니다.나는 강연에서 이것에 대해 약간 언급했지만 아마도 이것을 충분히 강조하지 않았을 것입니다.

 

PCA/PLS 모델에서 흔히 볼 수 있듯이 DModX가 아닌 T2만 제어하는 이유는 무엇입니까?이것은 예를 들어 MDMCC에서 우리가 하는 일입니다( https://www.jmp.com/support/help/en/16.1/index.shtml#page/jmp/model-driven-multivariate-control-charts.shtml ). 유사한 접근 방식을 취한다면 훈련 데이터가 모두 DModX > 0을 가지므로 DModX에 제어 제한을 둘 것입니다. .DModX = 0을 원하는 경우 Isaac Himanga의 접근 방식( https://community.jmp.com/t5/Discovery-Summit-Americas-2021/Optimizing-Multivariate-Models-From-Data-Collection-to-Optimal/ta-p/398760 ).

 

짧은 대답은 정규화된 T2가 원래 예측 변수에서 계산되며 데이터를 모델 구성 요소와 오류 구성 요소로 분할할 필요가 없다는 것입니다.PCA/PLS 모델의 경우 정규화로 인해 T2 및 DModX를 제어하는 것과 유사한 제약 조건이 발생하지만 더 간단하고 해석하기 쉬운 하나의 메트릭으로 수행할 수 있습니다.

 

PCA/PLS 모델에서 T2는 모델 평면 내에서 훈련 데이터와 큰 편차가 있는 예측에 플래그를 지정하고 DModX는 시나리오에서 설명한 대로 모델 평면에서 큰 편차가 있는 예측에 플래그를 지정합니다. 이는 모델링 방법이 데이터의 저차원 선형 프로젝션을 가정할 때 의미가 있습니다.그러나 대부분의 모델링 방법은 이러한 프로젝션을 수행하지 않습니다. 우리는 다양한 이유(앙상블 등)로 인해 플랫폼 간에 일관된 접근 방식을 원합니다. 변수, 범주형 변수 등 사이에 비선형 관계가 있는 경우 선형 프로젝션을 수행하는 것이 합리적이지 않을 수 있습니다. 또한 이러한 모델에 대한 구성 요소 수를 어떻게 선택합니까? 우리는 평가에서 선형 프로젝션이 데이터에 적합하지 않은 경우 오류로 인해 DModX 제어 제한이 부풀려지고 외삽에 대한 보호 수준이 저하된다는 사실을 발견했습니다. 데이터의 모든 방향에서 상관 관계 구조의 위반을 방지하는 원래 예측자 공간에 T2를 사용하여 외삽 제약 조건을 배치하는 것이 더 나은 일반적인 접근 방식이라는 것을 알았습니다.

 

T2의 정규화는 외삽을 제어할 때 상관관계가 높은 변수에 큰 중요성을 부여하고 상관관계가 낮은 변수에 낮은 중요성을 부여하며 p>n일 때 작동합니다.이로 인해 PCA 및 PLS 모델의 T2 및 DModX와 유사한 제약 조건이 발생합니다. 첨부된 백서에 방법이 어떻게 작동하는지 보여주는 몇 가지 시뮬레이션 결과가 있습니다.곧 T2 및 DModX 접근 방식과 비교하여 이를 업데이트하고 더 많은 논의를 추가하기를 바랍니다.나는 우리의 방법이 효과가 있다는 것을 보여주는 것으로 시작했고 그 논문은 여전히 진행 중인 작업입니다.

 

이게 말이 돼? 더 많은 논의를 하고 이에 대한 귀하의 의견/우려 사항을 듣게 되어 기쁩니다.

Re: JMP Pro 16의 예측 프로파일러에서 외삽 제어(2021-US-45MP-838)

Hotelling T2 값이 예측 무결성을 보장하는 이유에 대해 질문이 있습니다.우리는 Hotelling T2가 실제로 모델에서 사용한 데이터의 디자인 공간을 정의한다는 데 동의해야 합니다.데이터 구조 자체가 올바른 상관 구조를 갖는다는 의미는 아닙니다.Hotelling T2 디자인 영역 내에서 예측 값을 갖게 되는 경우를 종종 봅니다. 그러나 값을 예측하는 데 사용되는 데이터 구조가 원래 모델의 데이터 구조와 일치하지 않습니다.따라서 예측은 매우 의심 스럽습니다.이에 대한 간단한 예는 들어오는 오렌지를 기반으로 오렌지 주스를 예측하는 간단한 모델입니다.그러나 누군가 실수로 레몬을 줄에 넣으면 모델은 여전히 오렌지 주스를 예측합니다.주스의 양은 여전히 Hotelling T2 영역 범위 내에 있을 수 있습니다.그러나 우리 모두는 우리가 받고 있는 것이 오렌지 주스가 아니라는 것을 압니다.데이터 구조가 변경되었습니다.그렇기 때문에 PLS 유형의 모델에서 DmodX = 0을 유지하여 향후 최적화 값이 사용된 원래 모델 데이터 구조 내에 유지되도록 해야 합니다.

 

정규화된 T2가 모델 데이터 영역이 아닌 사용된 모델 데이터 구조를 어떻게 충족하는지 설명할 수 있다면 이 새로운 도구를 사용하는 데 더 자신이 있을 것입니다.