756832_ko-KR

liliconcom

JMP Pro 16(2021-US-45MP-838)의 예측 프로파일러에서 외삽 제어

Laura Lancaster, JMP 수석 연구 통계 개발자, SAS
Jeremy Ash, SAS의 JMP 분석 소프트웨어 테스터
Christopher Gotwalt, SAS 통계 연구 개발 부문 JMP 이사

통제되지 않은 모델 외삽은 두 가지 심각한 오류를 초래합니다. (1) 모델이 데이터에서 멀리 떨어져 있을 경우 완전히 유효하지 않을 수 있으며, (2) 변수 값의 조합이 물리적으로 실현 가능하지 않을 수 있습니다. 프로파일러를 사용하여 관측 데이터에 적합한 모델을 최적화하는 경우, 아무런 경고 없이 실질적으로 사용할 수 없는 외삽 솔루션이 생성될 수 있습니다. JMP Pro 16은 많은 예측 모델링 플랫폼과 프로파일러 플랫폼 자체에 외삽 제어 기능을 도입합니다. 예측 프로파일러의 이 새로운 기능은 사용자에게 외삽 가능성을 경고하거나 모델이 유효하지 않을 수 있는 외삽 지점을 그리는 것을 완전히 방지합니다. 또한, 사용자는 외삽을 피하는 제한된 영역에 대해 최적화를 수행할 수 있습니다. 이 프레젠테이션에서는 외삽 제어의 동기와 유용성에 대해 논의하고, JMP에서 외삽 제어를 쉽게 사용하는 방법을 보여주며, 본 방법의 세부 사항을 설명합니다.

자동 생성된 대본...

스피커	성적 증명서
팀 피어스	가다.
	네, 저는 음소거로 갈게요.
	안녕하세요, 저는 크리스 갓월트입니다. 공동 발표자인 로라 랭커스터, 제레미 애쉬, 그리고 저는 JMP Pro의 유용한 새 기능인 외삽 제어(Extrapolation Control)에 대해 발표할 예정입니다.
	예측하고자 하는 거의 모든 모델은 적용 범위가 다양합니다.
	예측이 고려되는 입력 공간의 영역
	충분히 신뢰할 수 있습니다. 그 영역 밖에서는 모델을 적합하는 데 사용된 데이터에서 멀리 떨어진 두 지점에서 모델을 외삽하기 시작합니다. 해당 지점에서 모델의 예측을 사용하면 완전히 신뢰할 수 없는 예측이 나올 수 있습니다.
외삽의 주요 소스는 두 가지가 있습니다.	통계적 외삽법과 도메인 기반 외삽법이 있습니다. 두 가지 유형 모두 새로운 기능으로 지원됩니다.
	통계적 외삽법은 모델을 훈련하는 데 사용된 값과 가깝지 않은 X에서 모델을 사용하여 예측을 시도할 때 발생합니다.
	도메인 기반 외삽법은 과학적 이유로 불가능한 X에서 평가하려고 할 때 발생합니다.
	또는 엔지니어링 기반 제약 조건입니다. 이 예는 두 가지 유형의 외삽법을 하나의 예로 보여줍니다. 여기에서는 야금 생산 공정 모델의 프로파일러를 볼 수 있습니다.
	예측은 -2.96으로 읽히지만 불가능한 온도와 압력의 조합에서 평가하고 있다는 표시는 없습니다.
	이 기계가 달성해야 할 도메인적 의미에서. 또한 사용된 데이터에서 멀리 떨어져 있기 때문에 통계적 외삽법도 있습니다.
	오른쪽의 훈련 데이터 산점도에서 볼 수 있듯이 모델을 적합하는 데 사용됩니다. JMP Pro 16에서 Jeremy, Laura, 그리고 저는 프로파일러가 외삽법을 사용한다고 판단할 때 경고를 표시하는 새로운 기능을 추가하기 위해 협력했습니다.
	또는 외삽 제어를 켜면 외삽하지 않는다고 생각되는 점만 표시됩니다.
	외삽 통제에는 두 가지 유형이 있습니다.
	하나는 레버리지 개념을 기반으로 하며 최소제곱 모형을 사용합니다. 이 첫 번째 유형은 적합 모델 최소제곱의 Pro 버전에서만 사용할 수 있습니다.
	다른 유형은 일반 머신 러닝 외삽 제어라고 부르며, 프로파일러 플랫폼과 JMP Pro의 가장 일반적인 머신 러닝 플랫폼 중 몇 가지에서 사용할 수 있습니다.
	요청에 따라 mor에 추가할 수도 있습니다. 최소제곱 외삽 제어는 레버리지 개념을 사용하는데, 이는 예측 분산의 스케일된 버전과 같습니다. 모델 기반이므로
	이는 주요 효과 상호 작용과 고차 항에 대한 정보를 사용하여 외삽법을 결정합니다.
	일반적인 머신 러닝 외삽 제어 사례의 경우, 자체적인 접근 방식을 고안해야 합니다. 결측값에 강인한 방법을 원했습니다.
	선형 종속성, 더 빠른 계산, 연속형 및 범주형 입력 변수의 혼합을 처리할 수 있으며, 또한 데이터에 맞추는 데 사용된 모델에서 외삽 모델을 명확하게 분리하고 싶었습니다.
	따라서 일반적인 외삽 제어를 켜면 프로파일러 추적에서 볼 수 있는 응답에 입력 변수를 맞추는 감독 모델이 하나뿐입니다.
	훈련 세트 Xs를 기술하기 위해 빠르고 간단한 비지도 모델을 제시하는 프로파일이며, 이 비지도 모델은 프로파일러에 의해 백그라운드에서 사용되어 외삽 제어 제약 조건을 결정합니다.
	그래서 파워포인트를 바꿔야 하는데, 지금 제 카메라가 어떤 이유에서인지 잘 작동하지 않거든요.
	우리는 데이터 과학 분야에서 일하는 사람들이 매일 위험한 외삽법을 사용하고 있다는 사실을 알고 있으며, 외삽법을 사용하면 잘못된 예측이 이루어지고 궁극적으로는 좋지 않은 사업 성과로 이어질 것이라고 확신합니다.
	외삽 제어는 모델 예측에 가드레일을 설치하여 JMP Pro 사용자가 정량적으로 더 나은 결정을 내릴 수 있도록 해줍니다.
	사용자가 외삽법이 발생하는 것을 보면 사용자는 자신의 도메인 지식과 해당 문제에 대한 익숙함에 따라 예측을 사용할지 여부를 결정해야 합니다.
	외삽 제어 경고가 나타나기 시작하면 대개 해당 모델의 수명 주기가 끝나고 새로운 데이터에 맞게 다시 조정할 때가 되었을 가능성이 높습니다. 입력 분포가 훈련 데이터 분포와 달라졌기 때문입니다.
	우리는 데이터 과학 커뮤니티에서 외삽법 식별의 필요성을 더 잘 인식하지 못한다는 사실에 솔직히 매우 놀랐고 경악했습니다.
	외삽법 제어를 최대한 쉽고 자동화할 수 있도록 했습니다. JMP Pro에서 이 기능을 개발한 Laura가 다음 시간에 해당 옵션을 시연할 예정입니다. 이어서 저희 팀에서 많은 연구를 진행한 Jeremy가 이 접근 방식의 수학적 세부 사항과 통계적 동기를 설명할 것입니다.
	안녕하세요. 저는 로라 랭커스터입니다. JMP Pro 16에 추가된 외삽 제어 기능을 시연해 드리려고 합니다. 적합 모델 최소제곱 플랫폼을 사용하는 간단한 예제로 시작해 보겠습니다.
	익숙할 만한 데이터를 몇 가지 사용해보겠습니다. 샘플 데이터에 있는 적합도 데이터입니다.
	산소 섭취량을 반응 변수로, 실행 시간, 실행 맥박, 최대 맥박을 예측 변수로 사용할 것입니다. 그리고 적합 모형의 최소제곱법에서 사용되는 외삽 지표는 레버리지라는 점을 다시 한번 강조하고 싶습니다. 그럼 JMP를 시작해 볼까요?
	이제 JMP에서 적합도 데이터를 열었고, 데이터 테이블에 저장하여 최소 제곱 모델을 자동으로 실행하기 위한 스크립트가 있습니다.
	그럼 스크립트를 실행해 보겠습니다. 최소제곱 플랫폼이 실행됩니다.
	그리고 프로파일러를 자동으로 열어 놓았고 프로파일러가 과거와 항상 같은 모습을 보이는 것을 볼 수 있습니다.
	여기서 요인 경계는 각 요인의 범위에 따라 개별적으로 정의되므로 직사각형 경계 제약 조건이 제공됩니다.
	그리고 요인 설정을 변경했을 때, 이러한 경계 제약 조건 때문에 데이터의 상관 관계 구조에서 크게 벗어나고 있는지 알아내기가 정말 어려울 수 있습니다.
	이것이 바로 외삽 제어 기능을 추가하고자 했던 이유입니다. JMP Pro 16의 여러 플랫폼에 이 기능이 추가되었습니다.
	최소제곱 적합도 포함됩니다. 외삽 제어를 사용하려면 프로파일러 메뉴 아래 메뉴로 이동하세요. 여기를 보면 외삽 제어라는 새로운 옵션이 있습니다.
	기본적으로 꺼져 있지만, 켜기 또는 경고 켜기로 설정하여 외삽 제어를 켤 수 있습니다. 켜면 외삽하지 않는 값으로만 프로파일 추적이 제한됩니다.
	경고를 켜면 전체 프로필 추적이 표시되지만 외삽으로 간주되는 영역으로 이동하면 경고를 받게 됩니다.
	또한 외삽 세부 정보를 켤 수도 있는데, 이것이 정말 도움이 됩니다.
	그러면 훨씬 더 많은 정보를 얻을 수 있습니다. 우선, 제가 외삽법을 정의하는 데 사용하는 지표가 레버리지라는 것을 알 수 있는데, 이는 적합 최소제곱 플랫폼에서 참입니다.
	그리고 처음에 기본적으로 사용되는 임계값은 최대 레버리지가 될 것입니다. 하지만 이는 제가 변경할 수 있는 부분이며, 잠시 후에 보여드리겠습니다.
	또한, 현재 설정에 대한 외삽 지표를 확인할 수 있습니다. 바로 여기 보이는 숫자인데, 계수 설정을 변경하면 이 숫자도 변경됩니다.
	이 숫자가 임계값보다 클 때마다 제가 추정한 것일 수 있는 경고가 표시됩니다. 임계값보다 낮으면 더 이상 경고가 표시되지 않습니다.
	이 임계값은 메뉴에서 임계값을 조정하기 위해 무언가를 변경하지 않는 한 변경되지 않습니다. 지금 바로 설정해 보겠습니다. 메뉴로 가서
	임계값 기준을 설정하겠습니다. 최소제곱 적합에서는 임계값에 두 가지 옵션이 있습니다. 처음에는 최대 레버리지로 설정되어 데이터의 볼록한 구멍 안에 머무르게 됩니다.
	또는 관측치에 대한 평균 레버리지 또는 모델 용어에 곱하는 승수로 전환할 수 있습니다. 그리고 저는 그 임계값으로 전환하고 싶습니다. 그래서 3으로 설정했습니다.
	기본적으로 승수로 적용되므로 평균 레버리지의 3배가 됩니다. 확인을 클릭하면 임계값이 변경되는 것을 확인할 수 있습니다. 임계값이 실제로 더 작아졌으므로 이는 외삽법에 대한 보다 보수적인 정의입니다.
	그리고 프로필 추적을 제한하기 위해 다시 켜려고 합니다. 이제 지역으로만 이동할 수 있습니다.
	제가 평균 레버리지의 3배 이내인 곳이에요.
	이제 외삽 제약 조건을 따르는 최적화도 구현했습니다. 이제 선호도 설정을 켜면
	그리고 최적화를 내가 해요.
	외삽 제약 조건을 충족하는 최적의 값을 얻게 됩니다. 이 지표는 임계값보다 작거나 같습니다.
	그럼 이제 다음 슬라이드로 넘어가서, 그래프(산점도 행렬)로 비교해보겠습니다. 외삽 제어를 켰을 때와 껐을 때의 최적값의 차이를요.
	따라서 이것은 제가 JMP로 만든 산점도 행렬이며 원래 예측 변수 데이터와 예측 변수 값을 보여줍니다.
	파란색은 외삽 제어를 사용하지 않은 최적 해이고, 빨간색은 외삽 제어를 사용한 최적 해입니다. 그리고 파란색은 제약 조건이 없는 해입니다.
	여기에서는 런 펄스와 최대 펄스에 대한 원본 데이터의 상관관계 구조를 위반하여 예측의 불확실성을 증가시키는 반면, 외삽 제어를 사용한 최적 솔루션은 원본 데이터와 훨씬 더 일치합니다.
	이제 보다 일반화된 외삽 제어 방법, 즉 정규화된 T 제곱 방법을 사용한 예를 살펴보겠습니다.
	크리스가 앞서 언급했듯이, 저희는 최소제곱 모델 이외의 다른 모델에 대해서도 이 방법을 개발했습니다. 샘플 데이터에도 포함된 당뇨병 데이터에 대한 신경망 모델을 살펴보겠습니다.
	반응은 질병 진행을 측정하는 지표이고 예측 변수는 기준 변수입니다. 다시 한번 말씀드리지만, 이 예시에 사용된 외삽 지표는 정규화된 T 제곱이며, 제레미가 몇 분 후에 더 자세히 설명하겠습니다.
	JMP에 당뇨병 데이터가 열려 있고, 신경망 모델 적합 스크립트도 저장되어 있습니다. 이 스크립트를 실행해 보겠습니다.
	신경망 플랫폼을 실행합니다. 그리고 제가 무작위 홀드백 검증 방법을 사용하고 있다는 점에 유의하세요. 검증 방법을 사용할 때마다 외삽 제어는 훈련 데이터만을 기반으로 한다는 점을 알려드리고 싶었습니다.
	검증이나 테스트 데이터가 아닙니다.
	프로파일러를 열어보니 전체 트레이스를 사용하고 있는 걸 볼 수 있습니다. 외삽 제어는 켜져 있지 않습니다.
	계속해서 켜보겠습니다.
	그리고 세부 사항도 밝혀보겠습니다.
	추적이 제한되었고 메트릭이 정규화된 T 제곱인 것을 볼 수 있습니다.
	임계값은 표본 정규화 T 제곱의 표준 편차의 3배입니다. 제레미가 몇 분 안에 이 모든 것이 정확히 무엇을 의미하는지 자세히 설명하겠습니다.
	그리고, 정규화된 T 제곱법을 사용할 때는 임계값 선택지가 하나뿐이지만, 승수는 조정할 수 있다는 점을 말씀드리고 싶습니다.
	외삽 제어, 임계값 설정, 이 승수를 조정할 수 있지만 3으로 두겠습니다. 이제 다음을 사용하여 최적화를 실행하려고 합니다.
	외삽 제어를 사용했으니, 최대화하고 기억해 두겠습니다. 이제 외삽 제어를 켠 상태에서 최적해를 얻었습니다.
	이제 원래 데이터에서 살펴본 것과 같은 방식으로 산점도 행렬을 살펴보고, 외삽 제어를 적용한 최적값과 적용하지 않은 최적값을 살펴보겠습니다.
	이건 제가 JMP에서 만든 당뇨병 데이터의 산점도 행렬입니다. 원래 예측 변수 값들이 있고,
	외삽 제어를 사용한 최적 해는 빨간색이고 외삽 제어를 사용하지 않은 최적 해는 파란색입니다.
	빨간색 점은 파란색 점보다 원본 데이터의 상관관계 구조에 훨씬 더 부합하는 것으로 보입니다. 특히 LDL과 총 콜레스테롤을 비교하면 더욱 그렇습니다.
	그럼 이제 그래프 메뉴 아래에 있는 프로파일러를 사용하는 예를 살펴보겠습니다. 이를 그래프 프로파일러라고 부르겠습니다.
	또한 정규화된 T 제곱법을 사용하며, JSL 수식으로 생성 및 저장할 수 있는 모든 유형의 모델에 외삽 제어를 적용할 수 있습니다. 또한 한 번에 두 개 이상의 모델에 대한 외삽 제어도 가능합니다.
	그러면 자동차 산업용 강철 구동축을 생산하기 위해 분말 야금 기술을 사용하는 회사의 사례를 살펴보겠습니다.
	그들은 수축을 최소화하고 표면 상태 불량으로 인한 고장을 최소화하는 최적의 생산 조건을 찾고 싶어합니다. 따라서 두 가지 대응 방안이 있습니다.
	수축은 연속적이기 때문에 최소 제곱 모델을 적용할 것이고, 표면 상태는 합격/불합격이기 때문에 명목 로지스틱 모델을 적용할 것입니다.
	그리고 우리의 예측 변수들은 생산 과정의 핵심 공정 변수들일 뿐입니다. 그리고 다시 한번, 외삽 지표는 정규화된 T 제곱입니다.
	그래서 저는 JMP에서 분말 야금 데이터를 열어두었고 수축 반응에 대한 최소 제곱 모델을 이미 맞춰두었습니다.
	그리고 이미 표면 상태 합격/불합격 반응에 대한 명목 로지스틱 모델을 적용했습니다. 그리고 그래프 프로파일러에서 사용할 수 있도록 예측 공식을 데이터 테이블에 저장했습니다.
	따라서 그래프 메뉴 프로파일러로 가면 수축에 대한 예측 공식을 불러올 수 있고, 내 예측 공식은 표면 상태에 대한 것입니다.
	확인을 클릭하세요.
	이제 두 모델 모두 그래프 프로파일러에 적용되었습니다.
	그리고 외삽 제어를 켜기 전에 전체 프로파일 트레이스가 있는 것을 볼 수 있습니다. 외삽 제어를 켜면
	흔적이 조금 줄어든 것을 볼 수 있습니다. 그리고 디테일도 켜보겠습니다.
	실제로 이 방법에서는 정규화된 T 제곱을 사용하고 있다는 것을 보여드리려고 합니다.
	그래서 제가 정말로 하고 싶은 것은 수축을 최소화하고 실패를 최소화하는 최적의 조건을 찾는 것입니다.
	외삽 제어를 켠 상태에서 외삽하지 않도록 하고, 유용한 해결책을 찾고 싶습니다.
	최적화를 시작하기 전에, 먼저 선호도를 설정해야 합니다. 선호도를 설정할 겁니다. 수축에 대해서는 이미 올바른 설정이지만, 표면 상태에 대해서도 설정을 해야 합니다.
	패스 횟수를 최대화하고 실패 횟수를 최소화하려고 노력할 거예요.
	좋아요.
	이제는 외삽 제어를 켜고 최적화를 실행하고, 최대화하고 기억할 수 있어야 합니다.
	이제 최적의 솔루션이 생겼습니다.
	외삽 제어를 켠 상태에서. 이제 원본 데이터의 산점도 행렬과 외삽 제어를 켠 후의 결과, 그리고 외삽 제어를 끄고 결과를 다시 한번 살펴보겠습니다.
	따라서 이것은 제가 JMP에서 생성한 분말 야금 데이터의 산점도 행렬이며 또한 최적 솔루션을 가지고 있습니다.
	외삽 제어를 적용한 결과는 빨간색 점으로, 외삽 제어를 적용하지 않은 최적해는 파란색 점으로 표시됩니다. 그리고 다시 한번, 외삽 제어를 적용하지 않았을 때를 확인할 수 있습니다.
	최적 해는 데이터의 상관 관계 구조에서 상당히 벗어나 있습니다. 특히 압축 압력 대비 비율에서 이를 확인할 수 있습니다.
	그럼 이제 제레미에게 프레젠테이션을 넘겨서 우리의 방법에 대해 더 자세히 설명하겠습니다.
	안녕하세요. 프로젝트 초기에 제시했던 외삽 제어에 대한 몇 가지 목표를 알려드리겠습니다.
	우리는 많은 관측치와 변수를 사용하여 빠르게 계산할 수 있는 외삽 지표가 필요했고, 지표가 외삽을 나타내는지 여부를 빠르게 평가할 수 있는 방법이 필요했습니다. 이는 프로파일러 추적의 상호 작용을 유지하기 위한 것이었습니다.
	최적화를 위해 이것이 필요했습니다.
	프로파일러에서 사용 가능한 다양한 변수 유형을 지원할 수 있기를 바랍니다. 이러한 변수 유형은 기본적으로 연속형, 범주형, 순서형입니다.
	일부 모델링 방법에는 이러한 관찰과 ???가 포함되기 때문에 우리는 누락된 세포가 있는 관찰을 활용하고 싶었습니다.
	우리는 데이터의 선형 종속성에 강인한 방법을 원했습니다. 선형 종속성은 예를 들어 변수의 개수가 관측치의 개수보다 많을 때 발생합니다.
	그리고 우리는 많은 사용자 입력이 필요 없이 쉽게 자동화할 수 있는 것을 원했습니다.
	최소 제곱 모형의 경우, 우리는 레버리지를 선택했는데, 이는 선형 모형에서 이상치를 식별하는 데 자주 사용됩니다.
	새로운 예측 지점에 대한 레버리지는 이 공식에 따라 계산됩니다. 레버리지에 대한 해석은 여러 가지가 있습니다. 한 가지 해석은 다음과 같습니다.
	이는 예측 지점과 훈련 데이터 중심 사이의 다변량 거리입니다. 또 다른 해석은 이것이 스케일링된 예측 분산이라는 것입니다. 즉, 예측 지점이 데이터 중심에서 멀어질수록 예측의 불확실성이 증가합니다.
	그리고 우리는 통계 문헌에서 두 가지 일반적인 임계값을 사용하여 이 거리가 너무 큰지 여부를 판단합니다.
	첫 번째는 최대 레버리지입니다. 이 임계값을 초과하는 예측 지점은 훈련 데이터의 볼록한 구멍 밖에 있습니다.
	두 번째는 레버리지 평균의 세 배입니다. 이는 모델 항 수를 관측치 수로 나눈 값의 세 배와 동일함을 보일 수 있습니다.
	그리고 로라가 앞서 설명했듯이, 이러한 임계값의 배수를 변경할 수 있습니다.
	마지막으로, 바람직성이 최적화될 때 외삽 제약 조건은 비선형 제약 조건입니다. 이전에는 프로파일러가 선형 제약 조건을 사용한 제약 조건 최적화를 허용했습니다.
	하지만 이러한 유형의 최적화는 더 어렵기 때문에 로라는 유전 알고리즘을 구현했습니다. 유전 알고리즘에 익숙하지 않으시다면, 유전 알고리즘은 분자 진화의 원리를 이용하여 복잡한 비용 함수를 최적화합니다.
	다음으로 선형 모델이 아닌 두 가지 다른 모델을 일반화하여 외삽 제어를 수행하는 데 사용하는 접근 방식에 대해 설명하겠습니다.
	JMP에서 예측 모델을 구성할 때는 먼저 예측 변수 집합과 응답 변수 집합으로 시작합니다.
	일부 지도 학습 모델을 학습한 후 프로파일러를 사용하여 모델 표면을 시각화할 수 있습니다.
	JMP에는 다양한 프로파일러가 있습니다. 모델링 플랫폼에서 내부적으로 프로파일러를 사용할 수 있으며, 예측 공식을 출력하고 빌드할 수 있습니다.
	로라가 시연했듯이, 여러 모델에 대한 프로파일러를 구축할 수 있습니다. 앙상블 모델에 대한 프로파일러를 구축할 수도 있습니다. 저희는 이러한 모든 시나리오에 일반화할 수 있는 외삽 제어 방법을 원했기 때문에, 특정 모델에 방법을 적용하는 대신 비지도 학습 방식을 사용할 것입니다.
	예측 변수 공간에서 데이터가 집중되는 지점에서 매우 멀리 떨어진 경우에만 예측 지점을 외삽으로 표시합니다. 이를 통해 프로파일러 간 일관성을 유지할 수 있으므로 외삽 제어 방법을 모든 프로파일러에 적용할 수 있습니다.
	레버리지의 다변량 거리 해석은 호텔링의 T 제곱을 일반적인 외삽 제어를 위한 거리로 제시했습니다. 실제로, 일부 대수적 조작을 통해 호텔링의 T 제곱은 레버리지가 이동되고 확장된 것일 뿐임을 알 수 있습니다.
	이 그림은 호텔링의 T 제곱이 관측치가 어느 타원에 있는지 측정하는 방식을 보여줍니다. 여기서 타원의 중심은 데이터 평균에 위치하고 모양은 공분산 행렬에 의해 정의됩니다.
	더 이상 선형 모델이 아니므로 이 지표는 예측 분산과 동일한 연관성을 갖지 않습니다. 따라서 선형 모델에서 사용했던 임계값에 의존하는 대신, 몇 가지 분포 가정을 통해 다음과 같은 결과를 도출해 보겠습니다.
	예측 지점에 대한 T제곱은 외삽법으로 간주되어야 합니다.
	여기서는 호텔링의 T 제곱 공식을 보여드리겠습니다. 평균과 공분산 행렬은 모델의 학습 데이터를 사용하여 추정됩니다.
	P가 N보다 작은 경우, 여기서 P는 예측 변수의 수이고 N은 관찰치의 수입니다.
	그리고 예측 변수가 다변량 정규 분포를 따르는 경우, 예측 지점에 대한 T 제곱은 F 분포를 갖습니다. 그러나 우리는 다음과 같은 방법을 원했습니다.
	P가 N보다 큰 연속형 및 범주형 데이터 집합이 혼합된 것과 같은 복잡한 데이터 유형으로 데이터 집합을 일반화합니다.
	결측값이 있는 데이터 세트가 있습니다. 따라서 각 사례에서 분포를 분석적으로 계산하는 대신, 실무에서 효과적인 것으로 확인된 간단한 보수적 관리 한계를 사용합니다.
	이는 훈련 데이터에서 T 제곱의 경험적 분포를 사용하는 3시그마 관리 한계이며, 로라가 언급했듯이 이 승수를 조정할 수도 있습니다.
	한 가지 복잡한 문제는 P가 N보다 클 때 호텔링의 T 제곱이 정의되지 않는다는 것입니다. 공분산 행렬에 모수가 너무 많아 사용 가능한 데이터로는 추정하기 어렵습니다.
	이는 외삽 제어의 일반적인 사용 사례, 예를 들어 부분 최소 제곱법에서 자주 발생합니다. 그래서 저희는 이러한 경우를 처리하는 호텔링의 T 제곱을 계산하는 새로운 접근법을 선택했고, 이를 정규화된 T 제곱이라고 부릅니다.
	공분산 행렬을 계산하기 위해, Schafer와 Strimmer가 고차원 유전체학 데이터를 위해 처음 개발한 정규화 추정량을 사용합니다. 이는 전체 표본 공분산 행렬(여기서는 U)과 제약 조건 목표 행렬(D)의 가중 조합입니다.
	람다 가중치 매개변수의 경우, 셰이퍼와 스트리머는 추정량인 MSE를 점근적으로 최소화하는 분석적 표현식을 도출했습니다.
	셰이퍼와 스트리머는 몇 가지 가능한 목표 행렬을 제안했습니다. 우리가 선택한 목표 행렬은 대각선에 예측 변수의 표본 분산을 배치한 대각 행렬이었습니다. 이 목표 행렬은 외삽 제어에 여러 가지 장점이 있습니다.
	첫째, 우리는 데이터를 보기 전에는 변수들 사이에 상관관계 구조가 없다고 가정하는데, 이는 일반적인 사전 지식으로 적합합니다.
	또한, N이 작거나 많은 부분이 누락되어 공분산 행렬을 추정할 데이터가 거의 없는 경우
	타원형 제약 조건은 대각 행렬에 큰 가중치를 부여하여 확장되며, 이는 외삽 제어에 대한 보다 보수적인 검정 결과를 가져옵니다. 이는 위양성률을 합리적으로 제어하는 데 필수적임을 확인했습니다.
	더 간단히 말해서, 훈련 데이터가 제한적일 때 정규화된 T 제곱은 예측을 외삽법으로 분류할 가능성이 낮습니다. 이는 우연히 공분산을 관찰할 가능성이 더 높기 때문에 원하는 바입니다.
	이러한 세부 사항을 보여주는 시뮬레이션 결과가 몇 가지 있지만, 모든 내용을 다룰 시간이 없습니다. 대신 커뮤니티 웹페이지에 보관된 논문 링크를 게시하고, 이 논문을 Journal of Computational Graphical Statistics에 제출할 계획입니다.
	다음 슬라이드에서는 고려해야 할 몇 가지 중요한 세부 사항을 보여줍니다. 범주형 변수를 처리하는 방법을 알아내야 했습니다.
	우리는 단지 지표로 코딩된 더미 변수로 변환할 뿐입니다. 이는 다중 대응 분석과 유사합니다.
	또 다른 문제는 결측 데이터가 있을 때 호텔링의 T 제곱을 계산하는 방법입니다. 여러 JMP 예측 모델링 플랫폼은 결측 데이터가 있는 관측값을 사용하여 모델을 학습합니다.
	여기에는 나이브 베이즈와 부트스트랩 포레스트가 포함되며, 이러한 공식은 공분산 행렬을 추정하는 데 사용하는 쌍별 삭제 방법을 보여줍니다.
	행 단위 삭제(row-wise delete)를 사용하는 것이 더 일반적입니다. 이는 공분산 행렬을 계산하기 전에 결측값이 있는 모든 관측치를 삭제한다는 것을 의미합니다. 이 방법은 가장 간단하지만, 훈련 데이터의 표본 크기가 작으면 유용한 데이터가 삭제될 수 있습니다.
	쌍별 삭제를 사용하면 해당 항목을 계산하는 데 사용된 변수 쌍에 누락된 값이 있는 경우에만 관찰값이 삭제됩니다.
	이 공식들이 보여주는 것이 바로 그것입니다. 사용 가능한 모든 데이터를 활용하는 간단한 작업처럼 보이지만, 각 항목을 계산하는 데 사용되는 관측치가 서로 다르기 때문에 실제로는 여러 가지 문제가 발생할 수 있습니다.
	이로 인해 음의 고유값을 갖는 공분산 행렬과 같은 이상한 일이 발생할 수 있는데, 이는 우리가 처리해야 할 부분입니다.
	우리가 평가 과정에서 다른 방법과 비교했을 때 정규화된 T제곱의 몇 가지 장점을 다음과 같이 발견했습니다.
	하나는 정규화가 일반적인 정규화 방식대로 작동한다는 것입니다. 정규화는 훈련 데이터에 대한 과적합과 추정량에 대한 과편향 사이의 균형을 유지합니다. 이를 통해 추정량은 노이즈와 모델 오류에 더욱 강건해집니다.
	다음으로, Schafer와 Strimmer는 논문에서 정규화가 고차원 환경에서 더 정확한 추정량을 생성함을 보였습니다. 이는 대부분의 거리 기반 외삽 제어 방법에서 발생하는 차원의 저주(curse of dimensionality) 문제를 해결하는 데 도움이 됩니다.
	그리고 외삽제어를 위한 방법론을 개발한 분야에서는,
	종종 고차원 데이터와 높은 상관관계를 갖는 예측 변수를 모두 갖습니다. 예를 들어, 화학정보학과 화학계량학에서 화학적 특성은 종종 높은 상관관계를 갖습니다.
	외삽 제어는 종종 PCA 및 PLS 모형과 함께 사용되며, T 제곱과 DModX를 사용하여 상관관계 구조 위반을 탐지합니다. 이는 모형 기반 다변량 관리도에서 수행하는 작업과 유사합니다.
	이는 일반적인 사용 사례이므로, 우리는 이러한 방법과 크게 다르지 않은 옵션을 원했습니다.
	우리의 정규화된 T 제곱은 다음을 제공합니다.
	동일한 유형의 외삽 제어이지만 투영 단계가 필요하지 않아 몇 가지 장점이 있습니다.
	이를 통해 다른 유형의 예측 모델에 더 잘 일반화할 수 있다는 것을 발견했습니다.
	또한 평가에서 우리는 예측 변수 간에 비선형 관계가 있는 것처럼 선형 투영이 데이터에 적합하지 않은 경우를 관찰했습니다.
	오류는 투영 기반 방법의 통제 한계를 부풀려 외삽법에 대한 보호가 제대로 이루어지지 않는 결과를 초래할 수 있지만, 우리의 접근 방식은 이보다 더 강력합니다.
	그리고 또 다른 중요한 점은 우리가 발견했다는 것입니다.
	단일 외삽법 지표는 사용과 해석이 훨씬 간단했습니다.
	외삽 제어의 특징을 간략하게 요약하면 다음과 같습니다. 이 방법은 실행 가능한 영역을 더 잘 시각화합니다.
	프로파일러의 고차원 모델. 유연한 제약 조건 최적화를 위해 새로운 유전 알고리즘이 구현되었습니다.
	그리고 우리의 정규화된 T 제곱은 P가 N보다 큰 경우와 연속형 변수와 범주형 변수와 같은 복잡한 관찰 데이터를 처리합니다.
	이 방법은 JMP 16 Pro의 대부분의 예측 모델에서 사용 가능하며, 각 모델의 고유한 특징을 지원합니다. 또한 그래프의 프로파일러에서도 사용할 수 있어 모든 예측 공식에 적용할 수 있어 활용도가 매우 높습니다.
	그리고 미래의 방향으로는 현재의 상관관계 구조 제약을 넘어서는 K-최근접 이웃 기반 제약을 구현하는 것을 고려하고 있습니다.
	종종 예측 변수는 여러 분포에 의해 생성되어 예측 변수 공간에서 클러스터링을 발생시키고, K-최근접 이웃 기반 접근 방식을 통해 클러스터 간의 외삽을 제어할 수 있습니다.
	이 영상을 시청해 주신 모든 분들께 감사드리며, 추가 질문이 있으시면 이메일로 문의해 주세요.
제레미 애쉬, JMP	여러분 아직 거기 계시네요.
크리스 갓월트	네, 그렇습니다.
로라 랭커스터	단지.

고급 통계 모델링기본 데이터 분석 및 모델링소비자 및 시장 조사데이터 탐색 및 시각화실험 설계예측 모델링 및 머신 러닝품질 및 공정 엔지니어링신뢰성 분석