758525_ko-KR

liliconcom

21세기 스크리닝 디자인(2020-US-45MP-538)

브래들리 존스, SAS JMP 명예 연구원

JMP는 스크리닝 실험 설계 및 분석 혁신의 선두에 서 있습니다. 지난 10년간의 발전 사례로는 확정적 스크리닝 설계, 계수 추정치의 평균 분산을 최소화하는 A-최적 설계, 그리고 군직교 과포화 설계 등이 있습니다. 이 튜토리얼에서는 여러 요인을 스크리닝하는 이러한 각 접근 방식의 예를 제시하고, 특정 문제 유형에 적용할 방법을 선택하는 데 필요한 경험적 규칙을 제시합니다.

자동 생성된 대본...

스피커	성적 증명서
브래들리 존스	참여해 주셔서 감사합니다.
	저는 21세기 스크리닝 디자인에 관해 발표하겠습니다.
	지난 20년 동안 스크리닝 디자인의 주제가 바뀌었습니다.
	저는 JMP에서 모두 사용할 수 있는 세 가지 유형의 스크리닝 디자인에 대해 말씀드리고 싶습니다.
	A-최적 스크리닝 설계, 확정적 스크리닝 설계(DSD), 그룹 직교 초포화 스크리닝 설계(GO SSD).
	사용자 정의 디자이너의 기본값은 약 20년 동안 D-최적이었기 때문에 이는 여러분에게 약간 놀라운 일일 수 있습니다.
	하지만 지난 몇 년 동안 저는 A-최적 설계가 D-최적 설계보다 더 우수하다는 결론에 도달했습니다. 이 강연의 첫 번째 부분에서 이 점을 자세히 설명하겠습니다.
	제가 비교하는 세 가지 설계는 다음과 같습니다. A-최적 설계부터 시작해 보겠습니다. 제 슬라이드에는 A-최적 설계가 D-최적 스크리닝 설계보다 왜 더 나은지 보여주는 그래프가 있습니다.
	이 예시는 네 개의 연속 요인의 모든 주효과와 모든 2요인 상호작용을 적합하기 위한 4요인 12회 반복 설계입니다. A-최적 설계의 경우를 여기에서 확인할 수 있습니다...
	상관관계 셀 그림에서 0이 아닌 상관관계가 있는 셀은 세 개뿐임을 보여드립니다. 나머지 쌍별 상관관계는 A-최적 설계의 경우 모두 0입니다.
	D-최적 설계의 경우, 곳곳에 상관관계가 많아 모델 선택이 더 어렵습니다.
	이것으로 첫 번째 예시를 마칩니다. A-optimal이 무엇인지 궁금하실 겁니다. A-optimality의 "A"는 무슨 뜻일까요?
	A는 모델의 매개변수 추정치의 평균 분산을 나타냅니다.
	모수 추정치는 네 가지 주효과와 여섯 가지 2요인 상호작용에 대한 추정치입니다. 이들의 평균을 최소화하면 모든 효과를 상당히 낮추는 데 도움이 되며, 적어도 다른 접근법보다는 나은 결과를 보입니다.
	A-최적의 의미를 기억하는 방법은 "A"가 평균, 즉 매개변수 추정치의 평균 분산을 의미한다는 것입니다.
	브래들리 존스
브래들리 존스	A-최적성 기준은 이해하기 쉽습니다. 평균이 무엇인지는 누구나 알고 있죠. 우리는 이 모든 추정치를 가지고 있습니다. 우리는 그 추정치들의 분산이 전반적으로 작기를 원하며, A-최적성 기준은 바로 이 점을 직접적으로 충족합니다.
	A-최적 설계의 또 다른 장점은 가중치를 부여하여 매개변수 그룹에 다른 강조점을 둘 수 있다는 것입니다.
	이제 D-최적 설계에 가중치를 둘 수 있지만, D-최적 설계에 대한 가중치는 설계를 변경하지 않으므로 쓸모가 없습니다.
	반면 A-최적 설계에 가중치를 주면 매개변수에 차등 가중치가 적용됩니다. "주효과가 2요인 상호작용보다 더 중요하니까 더 높은 가중치를 주고 싶다"라고 말할 수도 있습니다. JMP에는 바로 그런 기능을 제공하는 피처들이 있습니다.
	두 가지 A-최적 설계 데모가 있습니다. 하나는 방금 보여드린 것입니다.
	즉, 4요인, 12회 반복 실험, 모든 2요인 상호작용과 주효과에 대한 D-최적 대비 A-최적의 출력입니다. 두 번째 예시는 20회 반복 실험과 주효과 및 모든 2요인 상호작용을 포함하는 모형을 사용한 5요인 실험입니다.
	D-최적화와 가중 A-최적화를 비교했는데, 저는 주효과에 A-최적화 설계의 가중치를 더 많이 두었습니다. JMP로 전환해 보겠습니다.
	4개 요인과 12회 실행에 대한 D-최적 설계는 다음과 같고, 같은 문제에 대한 A-최적 설계는 다음과 같습니다. 이제 두 설계를 비교해 보겠습니다.
	상대적 추정 효율성을 살펴보면, A-최적 설계는 모든 매개변수에 대해 더 높은 추정 효율성을 보입니다.
	X1과 X3 사이의 상호 작용인 매개변수를 제외하고요.
	A-최적 설계의 평균 상관관계를 살펴보면, 평균 상관관계는 0.02에 불과한 반면...
	D-최적 설계의 경우 평균 절대 상관관계는 0.116입니다. 따라서 D 최적 설계의 상관관계는 A-최적 설계의 상관관계보다 거의 6배 높습니다.
	A-최적 설계는 D만큼 효율적이지 않습니다.
	D-최적 설계로서. 물론, D-최적 설계는 가능한 가장 높은 D 효율을 달성하기 위해 선택되었습니다. A-최적 설계가 여전히
	97% 이상의 D 효율은 정말 좋습니다. 하지만 A 최적 설계는 D 최적 설계보다 G 효율이 87.5% 더 높습니다. 즉, A 최적 설계는 예측의 최악의 분산을 줄이는 것입니다.
	물론, A 최적 설계의 A 효율은 D 최적 설계의 A 효율보다 14.5% 더 효율적입니다.
	그리고 A-최적 설계의 I 효율은 D-최적 설계보다 16% 더 효율적입니다. 이 모든 효율 측정과 모든 상관관계는
	이 경우 A-최적 설계가 D-최적 설계보다 훨씬 우수하다는 것을 확실히 알 수 있었습니다. 이것이 JMP 16에서 2요인 상호작용을 포함하는 스크리닝의 기본 설정으로 A-최적성이 적용된 이유 중 하나입니다.
	두 번째 예를 살펴보겠습니다. 여기 5요인 실험이 있습니다. 5요인 20회 반복 D-최적 설계와 5요인
	20회 가중 A-최적 설계입니다. 이제 이 설계를 생성하는 JMP 스크립트를 보여드리겠습니다. 제가 강조하는 것은 매개변수 가중치입니다. 이 가중치 계수는 절편과 5개의
	주요 효과
	100배 더 높은
	10가지 2단계 상호작용. 디자인에 어떤 영향을 미치는지 살펴보겠습니다. 이제 디자인을 비교해 보겠습니다.
	그리고 여기서는 가중치 A에 대한 D-최적 설계의 효율성을 볼 수 있으며 가중치 A는 D-최적 설계보다 5가지 주요 효과를 모두 더 잘 추정합니다. 왜냐하면 D-최적 설계가
	브래들리 존스
브래들리 존스	이 97%에서 99%까지
	주효과를 추정할 때 D 최적값과 가중 A 최적값의 상대적 효율성입니다. 주효과에 가중치를 주면 좋은 결과가 약간 줄어듭니다.
	두 요인 상호작용에 대한 분산입니다. 여기서는 두 요인 상호작용에 대한 추정치를 약간 악화시키는 대신 주효과에 대한 추정치를 개선하고 있습니다. 하지만 주효과에 그렇게 높은 가중치를 부여함으로써 원하는 바를 달성할 수 있었습니다.
	다시 말해서, 여기서는 평균 절대 쌍별 상관관계가 다음과 같습니다.
	가중치 A의 경우 D 최적 설계의 경우보다 약 50% 더 우수합니다. 다시 한번, A 최적 상관 셀 플롯과 D 최적 상관 셀 플롯을 비교해 보면, 훨씬 더 많은
	A-최적 플롯에는 백혈구가 훨씬 더 많습니다. 즉,
	이 쌍별 상관관계는 0입니다. 여기에는 0이 많습니다. 즉, 실제 활성 효과와 비활성 효과를 구분하기가 훨씬 쉬워진다는 뜻입니다.
	D-최적 설계는 자체 기준으로도 A-최적 설계보다 0.5%만 더 나았지만 A 효율성은
	공칭값에 정확히 맞고, A-최적 설계는 D-최적 설계보다 G 효율이 더 높고 I 효율도 더 높습니다. 자, 이제 어떤 것을 선택해야 할지 말하기가 조금 더 어려울 수 있습니다. 저는...
	저는 주효과를 더 잘 추정할 수 있기를 원한다고 말씀드렸고, 그렇게 할 수 있습니다.
	A-최적 설계에 대한 두 가지 데모는 여기까지입니다. 슬라이드로 돌아가 보겠습니다.
	좋아요, 제가 이 세 가지 디자인 각각에 대해 드리고 싶은 것은 여러분이 어떤 디자인을 다른 디자인보다 선호하게 될지에 대한 아이디어를 제공하는 것입니다.
	A-최적 스크리닝 설계의 경우, A-최적 설계와 커스텀 디자이너에서 지원되는 다른 설계들은 다른 설계들보다 더 유연합니다. 이를 통해 더 다양한 종류의 문제를 해결할 수 있습니다. 특히,
	범주형 요인이 많고, 특히 수준이 두 개 이상인 경우 A-최적 스크리닝 설계를 사용하는 것이 좋습니다.
	모든 요인의 높은 설정을 할 수 없는 경우와 같이 실행 불가능한 특정 요인 수준 조합이 있는 경우
	그러면 다른 두 가지 스크리닝 디자인은 그렇게 할 수 없기 때문에 A-최적의 디자인을 원한다고 말하고 싶겠습니까?
	그리고 주요 효과나 주요 효과에 2인자 상호 작용만 추가한 것이 아닌, 적합시키고 싶은 특정 모델이 있을 때,
	당신은 확정적 스크리닝 설계나 그룹 직교 과포화 설계보다는 A-최적 스크리닝 설계를 사용할 것입니다.
	또한, 다른 효과 그룹보다 특정 효과 그룹에 더 많은 가중치를 두고 싶다면 A-최적 설계를 사용할 수 있으며, 저는 주요 효과에 더 많은 가중치를 두고 싶었던 그 예를 보여드렸습니다.
	2가지 요인의 상호작용보다는.
	이제 확정적 스크리닝 설계로 넘어가 보겠습니다. 확정적 스크리닝 설계는 출판된
	2011년 저널 기사에 실렸고 JMP에도 실렸습니다.
	거의 같은 시간.
	매우 흥미로운 디자인입니다. 여기 상관 관계 셀 플롯을 보면 알 수 있습니다.
	확정적 선별 설계에서 주효과는 모두 서로 직교합니다. 즉, 주효과 쌍 사이에는 쌍별 상관관계가 없지만, 주효과는
	모든 2요인 상호작용 및 모든 2차 효과와 상관관계가 없습니다. 따라서 어떤 주효과가 중요한지 쉽게 파악할 수 있습니다.
	확정적 화면 설계는 반응 표면 설계보다 실행 횟수가 훨씬 적기 때문에 2인자 상호 작용 간에 상관 관계가 있습니다.
	그리고 2요인 상호작용과 2차 효과 사이, 그리고 2차 효과들 사이에서도 마찬가지입니다. 하지만 각 2차 효과는 모든 2요인 상호작용과 상관관계가 없다는 점에 유의하세요...
	이것은 X1의 제곱의 2차 효과입니다.
	브래들리 존스
브래들리 존스	그 효과는 2요인 상호작용에 X1을 포함하는 모든 효과와 완전히 직교합니다. 그리고 이는 모든 요인에 대해서도 동일합니다. X2의 제곱 항은 X2를 포함하는 모든 효과와 직교하며, 나머지도 마찬가지입니다.
	꽤 유용한 흥미로운 속성이네요. DSD는 어떻게 생겼을까요? 음,
	제가 여러분께 말씀드리고 싶은 세 가지 주요 특징이 있습니다. 첫 번째 특징은 1차와 2차에서 확인할 수 있습니다.
	런 1에서 런 2에 +1이 있을 때마다 -1이 있고 그 반대도 마찬가지입니다. 런 1에 -1이 있을 때마다 런 2에 +1이 있으므로
	1번째 코스와 2번째 코스는 서로 거울상과 같습니다.
	Run 3과 Run 4, Run 5와 Run 6, Run 7과 Run 8, Run 9와 10, 11과 12에도 동일한 것이 적용됩니다. 따라서 이 디자인은 폴드오버 디자인이라고 불리는 것이며,
	주효과가 2요인 상호작용과 상관관계를 갖지 않게 만드는 요인입니다. 물론, 저는 이런 설계를 가지고 있습니다.
	당신이 볼 수 있도록 정렬
	이 구조는 맞지만, 이 디자인을 실행할 때는 실제로 실행 순서를 무작위로 지정해야 합니다.
	두 번째로 지적하고 싶은 점은 각 요인마다 두 개의 센터 런이 있다는 것입니다.
	어떤 런 쌍에서는. 예를 들어, 첫 번째 런 쌍에서는 A가 중앙 레벨에 있고, 두 번째 런 쌍에서는 B가 중앙 레벨에 있습니다.
	그리고 세 번째 런 세트에서는 C가 중앙 레벨에 있고, 네 번째 런 세트에서는 D가 중앙 레벨에 있습니다.
	마지막으로 눈여겨봐야 할 점은 전체적인 중심선이 하나라는 것입니다. 요인 A부터 F까지 총 여섯 개의 요인이 있습니다.
	그리고 실행 횟수는 2x6+1입니다. 그리고 이 설계에 적용할 수 있는 모델 중 하나는 절편, 6개의 주효과, 그리고 6개의
	이차 효과입니다. 즉, 13회 실행 설계에서 13가지 효과가 나타나는 거죠. 효과에 실행을 할당하는 측면에서 놀라울 정도로 효율적입니다.
	그렇다면 확정적 선별 설계의 긍정적인 결과는 무엇일까요? 첫째, 활성적인 2요인 상호작용은 상관관계가 없기 때문에 주효과 추정치에 영향을 미치지 않습니다.
	즉, 단일 활성 2요소 상호 작용은 고유하게 식별될 수 있다는 것입니다.
	잡음에 비해 이차 효과가 큰 한, 모든 단일 이차 효과에도 동일한 것이 적용됩니다.
	그리고 정말 흥미로운 결과 중 하나는 만약... 만약 세 가지 요인만 활성화된다면, 예를 들어 요인 A, C, E가 활성화된다면,
	그러면 완전 이차 모형과 그 세 가지 요인을 적용할 수 있습니다. 완전 이차 모형은 반응 표면 분석이나 RSM 방법을 적용할 때 적용하는 모형입니다.
	그리고 어떤 세 요인이 활성 요인인지는 중요하지 않습니다. DSD는 어떤 세 요인이 활성 요인인지와 관계없이 항상 완전한 이차 모형을 적합할 수 있습니다.
	정말 강력한 기능입니다. 6가지 요소 중 3가지 요소만 중요하다면, 경우에 따라 RSM 단계를 건너뛰고 RSM과 스크리닝을 한꺼번에 진행할 수 있습니다.
	DSD의 좋은 점들은 다 말씀드렸어요. 하지만 한 가지 나쁜 점, 아니 어쩌면 덜 좋은 점이 있는데, 바로 그 점들 때문에...
	각 열에 0이 있기 때문에, 하나의 중심선이 있는 직교 설계에서처럼 확정적인 화면 설계에서는 주요 효과가 정확하게 추정되지 않습니다.
	결과적으로 DSD의 주효과에 대한 신뢰 구간은 동일한 횟수의 실행을 하는 Plackett-Berman 설계를 실행했을 때보다 10% 또는 약 10% 더 길어질 것입니다.
	내 생각에 그것은 당신이 얻는 모든 혜택, 특히 당신이 할 수 없는 2차 효과를 맞출 수 있는 혜택에 비해 지불해야 할 아주 작은 대가입니다.
	Plackett-Berman 설계는 단일 중심선을 가지고 있습니다. 중심선은 있지만 어떤 요인의 곡률이 높은지 알 수 없기 때문에 이차 효과를 적용할 수 있어야 한다는 것을 알 수 있습니다.
	그럼, 언제 DSD를 사용할까요? 음, 대부분의 요소가 연속적일 때, 즉...
	그리고 만약 그것들이 연속적이라면, 반응에 대한 요인의 효과에 있어서 비선형성이나 곡률이 발생할 가능성이 있다는 점이 우려될 만큼 요인 수준을 충분히 떨어뜨려 놓았을 수도 있습니다.
	그리고 당신은 또한 DSD가 모든 2요소 상호 작용을 충족시킬 수 있다고 약속할 수는 없지만 2요소 상호 작용의 가능성에 대해서도 걱정합니다.
	실행 횟수가 충분하지 않기 때문입니다. 두 가지 요인의 상호작용이 두세 개 정도 있다면 DSD로 식별할 가능성이 높습니다.
	좋습니다. JMP로 돌아가서
	여기서 저널로 돌아가겠습니다.
	브래들리 존스
브래들리 존스	이건 DSD입니다. 6개의 요인을 가진 DSD인데, 13개의 런 대신 8개의 요인으로 구성된 설계를 만들고 마지막 두 요인을 삭제했습니다.
	이제 전체 요인 모델을 맞추면,
	저는 이 문제에 대해 완전 요인 설계를 만들어 적용해 보았습니다.
	브래들리 존스
브래들리 존스	매개변수 추정치를 보여드리겠습니다.
	매개변수 추정치는 다음과 같습니다.
	완전 요인 설계에서 유의미한 요인은 A, B, C, A*B, A*C, B*C, 그리고 A 제곱입니다. 이제,
	Fit Definitive Screening을 통해 얻을 수 있는 분석을 보여드리겠습니다. 시간이 있으면
	내 반응은 A부터 F까지이고 요인은 A부터 F까지입니다.
	그리고 나오는 모델을 살펴보죠.
	이 모형에서 발견되는 것은 A, BC, E입니다. E는 허위 효과입니다. 따라서 이는 제1종 오류이지만, 세 가지 2요인 상호작용과 A의 이차 효과를 모두 확인했습니다. 제가 여기서 보여드린 완전 요인 설계는
	3의 6승은 729점이다.
	이 디자인에는 17개의 런만 있습니다. 훨씬 적은 런으로 모든 올바른 용어를 식별할 수 있었다는 사실은
	는 확정적 스크리닝 설계가 왜 정말 좋은지 눈을 뜨게 해주는 내용입니다.
	슬라이드로 돌아가 보겠습니다.
	DSD는 거의 모든 요소가 연속적일 때 유용합니다. 두세 개의 2단계 범주형 효과를 수용할 수 있습니다. 또한, 확정적인 화면 디자인을 차단하는 것보다 훨씬 더 유연하게 차단할 수 있습니다.
	부분 요인 설계. 6요인 확정적 선별 설계의 경우, 블록을 2개에서 6개까지 자유롭게 사용할 수 있습니다.
	그리고 블록들은 주효과와 직교합니다. 그게 이 디자인의 또 다른 놀라운 점이죠.
	가장 최신의 스크리닝 디자인으로 넘어가 보겠습니다. 이 디자인들은 지난 몇 년 사이에 발견되었고, Technometrics에 게재된 논문도 지난주쯤에 나왔습니다.
	온라인에 올라온 지 1년이 되었지만, 실제 인쇄된 기사는 일주일 전쯤에 우편으로 집에 도착했습니다.
	이것은 군 직교 과포화 설계의 상관 셀 플롯이며, 이 모든 회색 영역이 눈에 띄실 것입니다.
	대부분의 경우 과포화 설계를 살펴보면 상관관계 셀 플롯은 모든 곳에 상관관계를 보입니다.
	여기서는 요인 그룹 내에서만 상관관계를 볼 수 있습니다. 이 요인 그룹은 상관관계가 있습니다. 저 다른 요인 그룹도 상관관계가 있습니다.
	이 요인 그룹은 상관관계가 있고 저 다른 요인 그룹도 상관관계가 있지만, 어떤 요인 그룹 쌍 사이에도 상관관계가 없습니다.
	유일하게 보이는 상관관계는 그룹 간 상관관계가 아니라 그룹 내에서 나타나는 상관관계입니다. 이는 데이터 분석에 도움이 됩니다. 게시된 논문의 첫 페이지 사진은 다음과 같습니다.
	제가 지난주쯤에 인쇄본을 낼 때 말씀드린 내용입니다. 제 공동 저자는 Chris Nachtsheim, 이분입니다.
	미네소타 대학의 저와 JMP의 동료인 라이언 레키베츠, 시카고 일리노이 대학 통계학과의 부학장인 디비엔 마줌다르, 그리고 NC 주립 대학의 교수인 존 스톨리치입니다.
	군 직교 과포화 설계나 과포화 설계에 관심이 있는 이유에 대해 말씀드리겠습니다.
	그리고 군 직교 과포화 설계를 만드는 방법을 보여드리겠습니다. 분석 방법도 알려드리겠습니다. 다만, JMP에는 설계 도구 바로 옆에 자동 분석 도구가 있어서 분석 방법을 따로 배울 필요는 없습니다.
	그리고 우리가 부르는 이러한 �Go SSD�의 2단계 분석이 어떻게 이루어지는지 보여드리겠습니다.
	좀 더 일반적인 분석 방식과 비교해 보겠습니다. 그런 다음 몇 가지 결론을 내리겠습니다.
	초포화 설계란 무엇일까요? 초포화 설계는 런보다 요인이 더 많습니다. 예를 들어, 요인이 약 20개 정도 있는데 이를 조사할 런은 12개뿐이라고 가정해 보겠습니다. 그렇다면 스스로에게 "이게 좋은 생각일까?"라고 자문해 볼 수 있습니다.
	글쎄요, 은퇴한 저의 전 동료가 있는데
	약 15년 전에, 과포화된 디자인은 사악하다고 말했어요.
	브래들리 존스
브래들리 존스	그가 왜 그렇게 생각했는지 이해합니다. 과포화 설계의 문제는 다중 회귀 분석을 할 수 없다는 것입니다.
	더 많은 요소와 실행이 있으므로 역행렬을 구하려는 행렬은 역행렬이 불가능합니다.
	그리고 요인 앨리어싱은 일반적으로 복잡하지만, 이러한 그룹 직교 과포화 설계에서는 훨씬 덜 복잡합니다.
	그리고 공짜로 무언가를 얻을 수는 없다는 일반적인 인식이 있습니다. 디자인에 충분한 자원을 투자하지 않으면 좋은 결과를 얻을 수 없다는 생각이 드는 거죠.
	브래들리 존스
브래들리 존스	과포화 설계는 문헌에서 처음 논의되었습니다.
	수학자에 의해
	새터웨이트의 이름.
	브래들리 존스
브래들리 존스	그의 논문은 당시의 많은 저명한 통계학자들로부터 맹렬히 비난을 받았다.
	심지어 아시다시피, 그를 크게 비웃었고 3년 후에 Booth와 Cox가
	과포화 설계를 체계적으로 생성할 가능성을 논의하고 모든 제곱 쌍을 살펴보라는 선택 기준이 있었습니다.
	상관관계
	그러니까 모두 양수이고, 그 평균을 보고 가능한 한 작게 만드세요.
	설계가 직교할 수 없음에도 불구하고, 직교 설계를 위해서는 요인보다 런의 개수가 많아야 합니다. 부스와 콕스의 기준은 요인보다 런의 개수가 적은 경우, 직교 설계에 가장 가까운 설계를 찾는 것입니다.
	우리는 존 튜키가 1959년 Sattherwaite에 대한 논의에서 "과포화"라는 용어를 처음 사용했다고 생각합니다.
	튜키는 이렇게 말했습니다. "물론 지속적인 균형은 우리를 포화상태로만 이끌 수 있습니다...
	포화(조지 박스가 엄선한 용어 중 하나)는 각 자유도가 주효과(또는 우리가 추정할 준비가 된 다른 것)로 채워지는 상황까지 이어진다."
	결과적으로 포화 설계에서는 분산을 추정할 자유도가 전혀 남지 않습니다. 하지만 튜키는 "과포화 실험을 하는 것은 매우 자연스럽고 현명한 일이라고 생각합니다."라고 말합니다.
	하지만 일반적으로 통계학계에서는 이를 심각하게 받아들이지 않았고 그 후 30년 동안 아무 일도 일어나지 않았습니다.
	30년 후, 현재 Georgia Tech의 교수인 Jeff Wu는 Biometrika에 다음과 같은 논문을 썼습니다.
	과포화 디자인을 만드는 한 가지 방법입니다. 그리고 같은 해에 기술계량학 분야에서 현재 퍼듀 통계학과 학과장인 데니스 린은
	초포화 디자인을 만드는 또 다른 방법에 대한 논문을 썼는데, 두 논문 모두 매우 흥미로웠고 초포화 디자인에 대한 사람들의 의식 속으로 다시 들어왔습니다.
	과포화 디자인은 언제 사용하시나요? 음, 한 가지 예로, 런(run) 가격이 엄청나게 비쌀 때입니다.
	달리기에 백만 달러가 든다면, 너무 많이 달리고 싶지 않을 겁니다. 가능한 한 적게 달리는 게 좋습니다. 그리고 자신이 가진 요인보다 적게 달릴 수 있다면 더 좋겠죠.
	여러분은 모르겠지만 저는 프로세스 이해 관계자들과 함께 많은 브레인스토밍 연습을 했고, 모두가 자신이 생각하기에 다음과 같은 요소가 있는 스티커 메모를 작성하면 매우 쉬웠습니다.
	활성화되면 벽에 36개의 스티커 메모가 붙는데, 모두 다릅니다.
	브래들리 존스
브래들리 존스	그럼 어떻게 해야 할까요? 흔히 일어나는 일은, 사람들이 6, 7, 8, 어쩌면 10개 정도의 요인을 가지고 스크리닝 실험을 하는 데 익숙하다는 것입니다.
	하지만 사람들은 36개의 요소가 포함된 스크리닝 실험을 할 때 정말 긴장합니다. 그래서 브레인스토밍 세션이 끝난 후 엔지니어들은 "음, 이제 이 요소들을 제거해도 되겠다"라고 결정합니다.
	이런 요소들이 20개 정도 있을 거야
	왜냐하면 우리는 그 20가지 요소를 골라낸 사람들보다 더 잘 알고 있기 때문입니다.
	브래들리 존스
브래들리 존스	제가 두려운 것은 그렇게 하면 말하자면 아기와 목욕물을 함께 버리는 셈이 된다는 것입니다.
	가장 중요한 요소는 당신이 무시하기로 결정한 20가지 요소 중 하나일 수도 있습니다.
	결국 여러분이 살펴보게 되는 요소들은 다른 더 중요한 요소가 빠졌다는 점을 고려하지 않았기 때문에 엄청난 노이즈가 있는 것처럼 보일 수 있습니다.
	데이터 없이 요인을 제거하는 것은 원칙에 어긋난다고 생각합니다. 통계적 접근 방식이 전혀 아니죠.
	그러면 이 Go SSD를 어떻게 구성할까요?
	음, 우리는 m차의 Hadamard 행렬로 시작합니다. 이를 H라고 부르고 m은 다음과 같아야 합니다.
	0 mod(4)는 m이 4의 배수여야 한다는 것을 멋지게 표현한 것입니다. 그리고 또 다른 행렬 T를 취합니다. T는 양수와 음수 1의 행렬로, 행은 w개, 열은 q개입니다.
	브래들리 존스
브래들리 존스	그런 다음 H와 T의 크로네커 곱을 구합니다. 참고로, 가운데에 "X"가 있는 0은 크로네커 곱의 기호입니다. 다음 슬라이드에서 설명하겠습니다. 이 연산을 통해 m x w 행의 x에 대한 구조가 생성됩니다.
	m x q 열, 여기서 w는 q보다 작으므로 mw는 mq보다 작습니다. 결과적으로 이는 과포화 설계입니다. T는 행의 절반 미만이 제거된 아다마르 행렬을 권장합니다. 예를 들어 보겠습니다. 제 H는 아다마르 행렬입니다.
	그리고 아다마르 행렬의 특징 중 하나는 아다마르 행렬의 열이 쌍으로 직교한다는 것입니다.
	주요 효과는 쌍으로 직교합니다.
	이 예에서 T는 마지막 행을 제거한 H에 불과합니다. 그리고 이 H는 (크로네커 곱) T와 교차합니다.
	H의 모든 원소 중 플러스 1인 원소는 T로 대체합니다. 그리고 H의 모든 원소 중 마이너스 1인 원소는 -T로 대체합니다. 이제 T는 행렬입니다. 여기 모든 곳에서 하나의 숫자를 3x4 행렬로 대체합니다. H는 4x4이지만, 여기 있는 이 새로운 행렬은
	12 x 16. 이제 이만큼 있어요
	H와 T의 크로네커 곱을 취해 형성한 더 큰 행렬입니다.
	물론, 직접 할 필요는 없습니다. JMP가 GO SSD Designer에서 어떤 옵션을 만들 수 있는지 알려주고, 모든 작업이 자동으로 진행됩니다.
	H와 T의 크로네커 곱을 'X'라고 부르는데, X∈X를 보면 요인들의 상관관계를 이해할 수 있는데, X∈X는 이렇게 생겼습니다. 이게 제가 이전에 보여드린 블록입니다.
	블록 대각선입니다. 첫 번째 요인 그룹은 다른 모든 요인 그룹과 상관관계가 없습니다. 두 번째 요인 그룹은 다른 모든 요인 그룹과 상관관계가 없습니다. 이런 식으로 계속됩니다.
	아주 좋은 속성이네요. 다시 예를 들어 보겠습니다. 4x4 크기의 아다마르 행렬이 있습니다. 따라서 m은 4입니다. 제 행렬 T는
	방금 이야기한 건...제 행렬 T는 3x4이고, H에서 마지막 행을 제거했으므로 w는 3이고 q는 4입니다.
	따라서 행의 개수는 m 곱하기 w, 즉 4 곱하기 3, 즉 12입니다. 그리고 열의 개수는 m 곱하기 q, 즉 4 곱하기 4, 즉 16입니다.
	이제 첫 번째 열은 모두 1이므로, 이것이 호출입니다... 상수 열입니다. 절편을 추정하는 데 사용할 것입니다.
	다음 세 열은 서로 연관되어 있습니다. 다음 네 열, A열부터 D열까지는 서로 연관되어 있지만 다른 열과는 연관되어 있지 않습니다. E열부터
	H는 서로 상관관계가 있지만 다른 것과는 상관관계가 없습니다. 그리고 I부터 L까지는 서로 상관관계가 있지만 다른 것과는 상관관계가 없습니다. 따라서 이러한 블록 대각 상관관계 구조가 나타납니다.
	지금,
	서로 상관관계가 있는 네 가지 요인으로 구성된 세 그룹이 있습니다. 그리고 서로 더 큰 상관관계를 갖는 첫 번째 요인 그룹(A, B, C)이 있는데, 이 두 그룹 모두 불균형 열입니다. 그래서
	저와 동료들이 추천하는 것은 A, B, C에 실제로 요소를 할당하는 대신 자유롭게 두는 것입니다.
	요인을 할당하지 않습니다. 따라서 15개의 요인 대신 12개의 요인만 갖게 됩니다. A, B, C는
	다른 모든 요인과 상관관계가 없다면, A, B, C를 사용하여 오차 분산을 추정할 수 있습니다. 이제 과포화 설계에서
	과포화 설계 내에서 오차 분산을 추정할 방법은 존재하지 않았습니다. 이는 군 직교 과포화 설계의 특성으로, 과포화 설계 영역 어디에도 존재하지 않습니다.
	이제 네 개의 요인으로 구성된 세 개의 독립된 그룹이 있고 각 요인 그룹은 3의 순위를 갖습니다. 이제 세 개의 가짜 요인
	열(AC)의 순위가 2이므로 두 요인 상호 작용이 무시할 수 있다고 가정하고 자유도 2로 시그마 제곱을 추정할 수 있습니다.
	이제 내가 이 Kronecker 제품을 만들 때를 주목하세요.
	이 요인 그룹은 폴드오버입니다. 이것도 폴드오버입니다. 그리고 이것도 폴드오버입니다. 따라서 폴드오버 디자인인 세 가지 요인 그룹이 있습니다.
	DSD는 모든 요소가 폴드오버인 폴드오버 디자인의 예였지만, 이 특정 구조는 몇 가지 흥미로운 속성을 제공합니다.
	동일 그룹의 여러 요인을 포함하는 두 요인 상호작용은 해당 그룹의 주효과와 직교합니다.
	그룹 1의 주효과를 살펴보고 있었는데, 그룹 1의 모든 주효과는 해당 그룹 내 두 요인 상호작용과 상관관계가 없었습니다. 하지만 잠깐, 더 있습니다. 그룹 1의 모든 주효과는
	두 요인 상호 작용 중 하나가 있는 경우 상관 관계가 없습니다.
	한 요인은 그룹 1에 속하고 다른 요인은 그룹 2에 속합니다.
	마지막으로, 그룹 1의 모든 주요 효과는 다른 그룹의 두 요인 간 상호 작용과 상관관계가 없습니다.
	따라서 이 구조는 과포화 설계를 제공하는데, 이는 주요 효과를 추정하는 좋은 방법을 제공할 뿐만 아니라 많은 두 요인 상호 작용으로부터 보호해줍니다.
	그룹 1에 주요 효과가 있고 두 요인 상호 작용이 있는 경우 보호를 받지 못하는 유일한 경우는 다음과 같습니다.
	두 개의 서로 다른 집단에서 주효과가 나타나는 경우 반드시 상관관계가 없다고 할 수는 없습니다.
	이러한 모든 속성을 종합해 보면 요인을 그룹에 어떻게 로드할지 고민하게 됩니다. 한 가지 전략은 "음, 저는
	"제 생각에 가장 중요할 만한 모든 요소를 하나의 그룹으로 묶었습니다."
	이 경우, 해당 요인들은 해당 요인과 관련된 두 요인 상호작용과 상관관계가 없을 것입니다. 좋습니다. 그러면 비활성 집단이 있을 가능성이 더 높아지고, 만약 집단이 비활성이라면, 해당 요인 추정치를 다음과 같이 통합할 수 있습니다.
	시그마 제곱의 추정치를 높이고 시그마 제곱의 추정치에 더 많은 자유도를 제공하면 다른 효과를 감지하는 데 더 많은 능력을 갖게 됩니다.
	두 번째 전략은 가장 활성화될 가능성이 높은 효과를 서로 다른 그룹에 배치하는 것입니다.
	즉, 제가 사전에 생각한 바를 가장 활성적인 효과를 그룹 1에, 두 번째로 활성적인 효과를 그룹 2에, 세 번째로 활성적인 효과를 그룹 3에 넣는 식으로 적는 것입니다.
	이제, 가장 가능성 있는 효과를 별도의 그룹으로 나누면 한 요인의 효과가 다른 요인의 효과와 혼동될 가능성이 줄어듭니다.
	브래들리 존스
브래들리 존스	저와 공동 저자는 두 번째 전략을 추천합니다.
	이것은 방금 출판된 논문의 표이며, 여기에는 다음까지의 모든 그룹 직교 과포화 설계가 표시됩니다.
	128개의 요인과 120개의 실행.
	이제 이러한 것들을 어떻게 분석할 수 있을까요? 가짜 요인들을 활용하여 편향되지 않은 평가 분산을 얻을 수 있습니다.
	먼저 그룹 구조를 사용하여 활성 그룹을 식별한 다음, 어떤 그룹이 활성인지 파악한 후 회귀 분석을 수행하여 각 그룹 내에서 활성 요소를 식별할 수 있습니다.
	그리고 진행하면서 비활성 그룹과 비활성 요인에 대한 제곱합과 자유도를 시그마 제곱 추정치에 통합하여 효과를 탐지하는 데 더 많은 검정력을 얻을 수 있습니다.
	이것은 이것은 수학적입니다
	그냥 건너뛸 수 있는 슬라이드.
	하지만 슬라이드의 의미는 다음과 같습니다.
	각 요인의 효과 방향에 대한 사전 추측을 통해 각 그룹을 테스트할 수 있는 능력을 극대화할 수 있습니다.
	이제, 어떤 요인의 효과가 부정적이라고 생각한다면, 마이너스 1의 부호를 플러스 1로 바꾸고, 플러스 1의 부호를 마이너스 1로 바꾸면 됩니다.
	그러면 그룹 식별 능력이 극대화될 것입니다. 저희는 먼저 그룹을 식별한 후, 그룹 내에서 활성 요소를 식별합니다. 물론, 이 모든 과정은 피팅 과정에서 자동으로 진행됩니다.
	우리는 우리의 분석 방법을 라쏘와 단치히 선택기와 비교하고 있습니다.
	그리고 우리는 다음을 사용하여 전력 및 1형 오류율을 살펴봅니다.
	SSD와 표준 선택기를 비교해 보세요. 저희는 세 가지 과포화 디자인을 선택했고, 각기 다른 개수의 그룹을 활성화했으며,
	신호 대 잡음비는 1:3이었고, 그룹당 활성 요소의 수는 1개 또는 2개였습니다.
	이 경우 활성 요소의 수는 1개에서 14개까지 다양합니다.
	전력 결과 그래프를 살펴보면�
	여기에 Dantzig의 결과가 있고, 여기에 Lasso에 따른 2단계 방법이 있습니다.
	Dantzig와 Lasso의 출력 중 일부는 낮습니다. 실제로 이는 신호 대 잡음비가 1인 경우입니다. 그 외에는 Dantzig 선택기와 Lasso가 매우 잘 작동합니다.
	실제로 신호 대 잡음비가 작은 경우를 제외하고는 2단계 방법만큼 잘 작동합니다. 그러나 2단계 방법은 항상 모든 활성 요소를 찾습니다.
	Marley와 Woods가 베이지안 D-최적 과포화 설계와 다른 종류의 과포화 설계를 살펴보는 시뮬레이션 연구를 수행한 논문에서 그들은 기본적으로 다음과 같이 말했습니다.
	실행 횟수의 3분의 1보다 더 활동적인 요소를 식별할 수 없습니다.
	음, 저희의 경우 12번의 실행에서 12개의 요인이 있으므로 활성 요인은 4개만 식별할 수 있을 것으로 예상합니다. 하지만
	n이 24인 경우, 우리는 14개의 활성 효과를 확인했지만, n/3은 8개에 불과했습니다. Marley와 Woods가 시뮬레이션 연구를 통해 제시한 예상보다 훨씬 더 나은 결과를 얻고 있음을 알 수 있습니다. 이는 GO SSD를 사용했기 때문입니다.
	우리는 JMP의 맞춤형 디자인 도구가 디자인을 생성하는 데 더 오랜 시간이 걸리는 이유를 평가하기 위해 사례 연구를 수행했습니다.
	모델에 2차 항이 있으면 더 느리고, 최적성 기준이 A-최적이면 약간 더 느립니다. 또는 무작위 시작 횟수를 10배 더 늘리면 더 느립니다. 요소가 더 많으면
	그러면 더 느려질 겁니다. 여기 저희 설계가 있고, 여기 분석이 있습니다. 보여드리겠습니다.
	JMP에서 이걸 볼 수 있어요.
	그럼 먼저 보여드리겠습니다.
	디자인 시공 대본.
	나는 할거야...
	이게 스크립트입니다. m은 Hadamard 행렬의 실행 횟수라는 걸 기억하세요. Hadamard라는 새로운 JSL 명령이 있습니다. 새 스크립트를 만들겠습니다.
	이것으로 스크립트를 실행하고 다음을 볼 수 있습니다.
	통나무.
	시작합니다.
	새로운 JMP 16 로그입니다. 이 스크립트에서 처음 세 가지를 실행하면 m은 4, q는 3입니다. 그리고 여기 4x4 아다마르 행렬이 있습니다. 처음 세 행을 사용하여 T와 군 직교 과포화 설계를 생성합니다.
	여기는 12x16 행렬이에요.
	이것이 매트릭스이고, 우리는 이를 바탕으로 표를 만들 수 있습니다.
	그리고 여기에 표가 있습니다.
	이렇게 직접 만드는 건 정말 쉬운데, 굳이 직접 할 필요는 없어요. JMP를 이용하면 됩니다.
	쌍별 상관관계 열 상관관계를 살펴보면, 앞서 보여드린 것과 동일한 패턴이 나타납니다.
	우리가 진행한 사례 연구는 다음과 같습니다. 처음 세 가지 요인을 가짜 요인으로 만들었습니다. 그런 다음 이를 사용하여 분산을 추정합니다.
	모든 실제 요소들. 내가 맞을 때
	군 직교 과포화 설계에서는 두 번째 군에서 활성 요인이 두 개 있습니다. 첫 번째 군은 분산을 추정하는 데 사용됩니다.
	세 번째 그룹에는 요인이 하나, 네 번째 그룹에는 요인이 두 개 있습니다. 총 다섯 개의 활성 요인이 있고, 결과적으로 오차 자유도는 6이 됩니다.
	정말 놀라운 일이죠. JMP에서 어떻게 하는지 보여드리겠습니다. 군직교 과포화 설계는 다음과 같습니다.
	12번 정도 할 수 있을 것 같아요. 8 사이즈 두 그룹이나 4 사이즈 네 그룹으로 나눠서 할 수도 있고요. 방금 했던 디자인과 똑같아요. 이렇게 하면 이런 걸 만드는 게 얼마나 쉬운지 알 수 있고, 분석 도구도 있어요.
	디자이너 바로 아래에 있으므로 그냥 할 수 있습니다.
	요인을 선택하고, 대응 방안을 선택한 다음 진행하면 이전에 제가 얻었던 것과 동일한 분석을 얻을 수 있습니다.
	이제 마무리하겠습니다.
	슬라이드로 돌아가겠습니다.
	Go SSD를 언제 사용하고 싶으신가요? 요인이 많고 실행 비용이 많이 들며 대부분의 요인이 활성화되지 않았다고 생각될 때입니다.
	하지만 어떤 것이 활성화되어 있고 어떤 것이 활성화되어 있지 않은지는 알 수 없습니다.
	마지막으로 드릴 조언은 스크리닝을 할 때 D-optimal을 A-optimal로 대체하는 것입니다. 이전에 D-Optimal을 사용하셨다면 A-optimal이 더 좋습니다.
	대부분 연속적인 요소가 있고 가능한 곡률에 관심이 있는 경우 DSD를 사용하세요.
	그리고 사용할 수 있는 요인 수준에 대한 제한은 없습니다.
	데이터를 가져오기 전에 많은 요소를 제거하는 것보다 Go SSD를 사용하는 것이 좋습니다. 요소가 많고 실행 비용이 많이 드는 경우.

고급 통계 모델링기본 데이터 분석 및 모델링소비자 및 시장 조사실험 설계예측 모델링 및 머신 러닝품질 및 공정 엔지니어링