예측 프로파일러(Prediction Profiler)는 모델과 적합한 표면을 탐색하기 위한 JMP의 대표적인 기능으로 오랫동안 사용되어 왔습니다. 프로파일러를 사용하면 표면의 수직 단면을 취하고 해당 단면을 취하는 위치를 대화형으로 변경할 수 있으므로 가장 복잡한 모델도 탐색하고 특성화할 수 있습니다.
우리가 가장 좋아하는 샘플 데이터 테이블 중 하나는 Tiretread.jmp입니다. 이는 프로파일러의 기능을 보여주는 데 적합합니다. 여기에서는 응답 표면 모델에 맞는 응답 HARDNESS에 대한 프로파일러를 볼 수 있습니다.
그림: HARDNESS 응답에 대한 예측 프로파일러
프로파일러는 수년에 걸쳐 여러 세대에 걸쳐 개선되었으며 JMP 18에는 훨씬 더 많은 특징과 기능이 추가되었습니다.
저는 Xan Gregg와 John Sall이라는 두 명의 개발자에게 Prediction Profiler의 새로운 기능에 대해 물었습니다.
가장 기대되는 변화 중 일부를 설명해 주실 수 있나요?
Xan: 프로파일러에 중첩된 상호 작용 곡선과 데이터 포인트를 플롯하는 기능입니다.
Overlaid Interactions 옵션은 각 프로파일러 프레임에 페이드 곡선을 추가하여 다른 요소 중 하나를 변경하는 동안 해당 요소의 프로필이 어떻게 보이는지 보여줍니다. 해당 모드에서는 (Interaction Profiler와 같은 특수 목적 도구가 아닌) 일반 모델 컨텍스트에서 2단계 상호 작용을 평가할 수 있는 보기를 생성합니다.
데이터 포인트 옵션은 현재 요인 평면 내부 또는 근처의 데이터 값만 눈에 띄고 다른 데이터 값은 희미해지는 방식으로 각 프로필 내에서 데이터 값을 표식으로 표시합니다. 포인트를 통해 모델이 데이터에 의해 더 잘 지원되는 위치 또는 더 많은 변형이 있는 위치를 확인할 수 있습니다.
JMP가 프로파일러에 상호 작용 추적 및 데이터 포인트를 추가한 이유는 무엇입니까? 그들은 어떤 추가 정보를 제공합니까?
Xan: 중첩된 상호 작용은 모델 표면을 탐색하기 위해 각 요인의 설정을 수동으로 조정하여 얻을 수 있는 것과 동일한 정보를 제공하지만, 도중에 진행하는 대신 한 번에 모두 사용할 수 있습니다. 수동 조정을 통해 추가 탐색을 위한 힌트를 제공합니다.
프로파일러에서는 모델이 주요 매력이지만, 특히 데이터가 희박하거나 불규칙하고 일부 요인 조합에 데이터 지원이 거의 없는 경우 데이터 포인트는 모델을 해석하는 데 유용한 컨텍스트를 제공할 수 있습니다.
언제 어떻게 사용해야 합니까?
Xan: Overlaid Interactions의 기본 설정은 가장 일반적이고 이해하기 쉬운 양방향 상호 작용을 보는 것을 목표로 합니다. 그러나 기능을 켜면 다자간 상호 작용이나 기타 세부 정보를 볼 수 있는 더 많은 설정을 사용할 수 있습니다.
데이터 포인트의 경우 마커는 JMP 그래프에서처럼 데이터 테이블에 연결되지만 한 가지 변형이 있습니다. 모델을 탐색하는 데 일반 마우스 동작이 사용되므로 데이터 포인트를 클릭하고 선택하려면 브러시 도구를 사용해야 합니다.
Tiretread.jmp 예제로 돌아가서 여기서는 HARDNESS 응답에 대해 중첩된 양방향 상호 작용 추적 및 데이터 포인트를 볼 수 있습니다. 다른 요인의 설정을 변경함에 따라 반응에 대한 SILANE의 효과가 어떻게 변경되는지 쉽게 확인할 수 있으며 이는 중요한 상호 작용을 명확하게 나타냅니다. 또한 현재 설정에서 데이터 요소가 다양한 요소에 어떻게 분포되어 있는지 확인할 수도 있습니다.
그림: 데이터 포인트와의 중첩된 상호 작용
상호작용 추적 및 데이터 포인트 추가에 대한 귀하의 반응은 어땠나요?
John: 상호 작용 추적은 마음에 들었지만 데이터 포인트를 표시하는 데는 회의적이었습니다.
이전에 프로파일러를 사용하면서 한 가지 아쉬운 점은 상호 작용을 보려면 요인 설정을 이동해야 한다는 것이었습니다. 그렇지 않으면 이를 놓칠 수 있습니다. 그러나 이제 새 옵션을 사용하면 표시되므로 반응 표면을 훨씬 더 완벽하게 묘사할 수 있습니다.
그러나 데이터 포인트를 표시하는 것은 오해의 소지가 있습니다. 데이터가 거의 완벽하게 일치할 수 있지만 프로파일러의 점을 보면 점이 잘 맞지 않는다고 오해할 수 있습니다. 이는 포인트가 하나의 요인 값만 표시하고 다른 요인의 요인 값이 프로파일러의 현재 설정과 일치하는 경우에만 프로파일러 곡선에 대한 적합성을 나타내기 때문입니다. 하지만 다행스럽게도 Xan은 나보다 두 단계 앞서 있었습니다. 축외 요인 데이터 값이 현재 Profiler 요인 설정과 크게 다른 경우 마커가 흐리게 표시되므로 흐리게 표시되지 않은 점만 보면 좋은 그림을 얻을 수 있습니다. 맞다. 나는 Xan에게 처음보다 더 어둡게 해달라고 요청했습니다. 이제 그들은 오해를 불러일으키는 대신 가치를 더합니다.
적합성에 대한 각 포인트의 기여도를 확인하려면 적합 모델의 레버리지 플롯이 이를 위해 고안되었습니다.
JMP 18에서는 프로파일러에 예측 간격 옵션이 추가되었습니다. 예측 구간과 JMP에 이 옵션을 추가한 이유에 대해 좀 더 말씀해 주시겠어요?
John: 프로파일러의 전통적인 "신뢰 구간"은 개별 값이 아닌 기대 값에 대한 신뢰 구간입니다. 이는 표본을 채취하고 피팅하는 여러 번의 반복을 통해 신뢰 구간에 95%의 시간 동안 해당 요인 설정에 대한 실제 기대값이 포함된다는 것을 의미합니다(모델이 참이라고 가정 등). 그러나 이것이 실제 값의 95%를 포함한다는 의미는 아닙니다.
예측 구간은 개인차로 인한 불확실성을 모델 적합의 불확실성에 추가합니다. 이러한 간격은 더 넓으며 때로는 훨씬 더 넓습니다.
데이터 행이 많으면 모델의 모수 추정치가 높은 정밀도로 적합하며 모델에 잔차 오류가 많더라도 신뢰 한계가 작을 수 있습니다. 이 경우 예측 한계가 훨씬 더 넓어집니다.
데이터 양이 적어서 모델의 매개변수의 정밀도가 높지 않으면 신뢰한계가 넓어집니다. 예측 한계는 여전히 더 넓지만, 잔차 오차가 작은 경우에는 그다지 크지 않습니다.
프로파일러가 처음 개발되었을 때 우리는 예측 한계가 아닌 신뢰 한계를 강조하기로 결정했습니다. 왜냐하면 다른 요인의 설정을 고려하여 각 요인이 통계적으로 유의미한지 여부에 대한 증거를 보여주고 싶었기 때문입니다. 어떤 요인이 중요한지 선별하기 위해 설계된 실험을 수행할 때 신뢰 구간은 프로필이 "평탄선"에서 얼마나 분리되는지와 함께 판단을 내리는 데 도움이 됩니다.
그러나 프로파일러는 예측에도 사용되며, 포함된 신뢰 한계는 주어진 요인 설정에 대한 예측 값을 중심으로 개별 값의 범위가 어떻게 달라질 수 있는지 보여주는 데 유용하지 않습니다.
Tiretread.jmp 데이터 테이블에는 행이 20개만 있고 특히 MODULUS 응답의 경우 적합성이 좋지 않습니다. 여기서는 더 어두운 음영의 신뢰 한계와 더 밝은 음영의 예측 한계, 훨씬 더 넓은 간격을 볼 수 있습니다. 나는 대부분의 실험이 이 예보다 더 좁은 한계 대역에 더 잘 맞기를 바랍니다. 특정 요인 설정을 사용하여 또 다른 실험을 실행하는 경우 새 반응이 포함될 가능성이 있는 것은 신뢰 구간이 아니라 예측 구간입니다.
그림: Tiretread, 신뢰 한계(기대값)와 예측 한계를 모두 포함하는 3가지 요인에 대한 4가지 반응.
그래프 메뉴에서 저장된 수식 열을 사용하는 프로파일링은 어떻습니까? 이것도 바뀌었나요?
John: 프로파일러에서 저장된 수식 열에 대한 신뢰 구간이나 예측 구간을 원하는 경우 데이터 테이블에서 찾을 수 있도록 더 많은 수식 열을 저장해야 합니다.
이전 릴리스에서는 수식 열에 신뢰 한계를 정렬하는 것이 어색했습니다. "StdErr Prediction Formula"와 같은 피팅 개체에서 명령을 사용한 다음 이를 프로파일러에서 선택한 열에 포함하고 신뢰 구간에 사용할지 여부에 대한 프롬프트에 응답해야 합니다.
JMP 18에서는 이 작업이 훨씬 쉬워졌습니다. 새로운 명령 "예측 및 간격 공식"은 5개의 공식 열을 저장합니다. 하나는 예측 값용이고, 2개는 하한 및 상한 신뢰 한계용이고, 나머지 두 개는 하한 및 상한 예측 한계용입니다. 게다가 이를 프로파일러에 지정할 필요도 없습니다. 프로파일러는 데이터 테이블을 조사하여 자동으로 찾습니다. 저장된 열은 ID 번호가 포함된 열 속성과 함께 저장되므로 이름을 바꾸더라도 해당 열을 찾아 올바른 응답 열과 연결할 수 있습니다. Tiretread 예제에는 4개의 응답이 있으므로 해당 명령을 Ctrl 키를 누른 채 클릭하여 4개의 핏 모두에 브로드캐스트하면 20개의 새로운 열이 생성됩니다.
그래프 메뉴에서 JMP 18의 프로파일러를 실행하면 데이터 테이블 목록의 모든 열을 표시하는 대신 자격을 갖춘 열, 즉 공식 열만 표시합니다. 또한 신뢰 한계 열은 예측 열과 연관되어 자동으로 발견되므로 표시되지 않습니다. 이 추가된 기능을 사용하면 JMP 18에서 신뢰도와 예측 한계를 쉽게 사용할 수 있습니다.
그림: 하나의 명령으로 생성된 20개의 새 열, 숨겨진 간격 열, 간격 열이 아닌 수식 열만 표시하는 프로파일러에 유의하세요.
"예측 구간"이라는 용어는 개별 예측이 아닌 예상 값에 대한 "평균 신뢰 구간"과 달리 "개별 신뢰 구간"과 같은 의미로 사용됩니다.
노이즈 요인과 관련된 시작 대화 상자에 다른 변경 사항을 적용했습니다. 역할 목록으로 사용하는 대신 이제 "잡음 요인 지정"을 선택하여 메시지를 표시한 다음 예측 공식에서 찾은 요인만 표시할 수 있습니다. 이렇게 하면 더 간단해지고 오류가 방지됩니다.
JMP 18의 예측 프로파일러에 다른 변경 사항이 있나요?
John: 예, X축이 선형이 아닌 경우 더 부드러운 곡선 그리기, 제약 조건 사양 개선, k-최근접 이웃 추정 제어 추가 등 프로파일러에 많은 개선 사항이 있었습니다.
마지막으로 예측 프로파일러는 JMP의 129개 컨텍스트에서 사용되며, 여기에는 디자인 공간 프로파일러와 같은 다른 종류의 프로파일러와 파생 프로파일러도 포함되지 않습니다. JMP 18의 추가 기능을 통해 프로파일러는 적합한 표면을 탐색하고 이해하는 데 더욱 강력해졌습니다.
