756640_ko-KR

liliconcom

거짓 효과를 조사하는 데 시간 낭비하지 마세요(2021-EU-30MP-771)

Jose Goncalves, Oxford Biomedica 프로세스 R&D 부서 상류 과학자
Rebecca Clarke, Oxford Biomedica 프로세스 R&D 부서 상류 수석 과학자
George Pamenter, Oxford Biomedica 다운스트림 프로세스 R&D 과학자
Thomas Chippendale, Oxford Biomedica 프로세스 R&D 부서 상류 수석 과학자

최근 몇 년 동안 옥스퍼드 바이오메디카(Oxford Biomedica)에서는 세포 배양 생물공정 데이터 생성량이 크게 증가했습니다. 이러한 데이터 수집 증가는 집중적인 공정 개발 및 특성 분석 연구뿐만 아니라 고처리량 생산 시스템의 도입에도 기인합니다. 세포 배양 공정 전반에 걸쳐 다양한 온라인 및 오프라인 공정 매개변수가 기록됩니다. 그러나 생물학적 시스템의 복잡성으로 인해 공정 성능이나 제품 수율에 영향을 미칠 수 있는 실제 요인을 파악하는 것이 주요 과제 중 하나입니다. 홀드백 검증은 과적합을 방지하고 모델에 비정형 항이 포함되는 것을 방지하기 위해 자주 사용되지만, 단일 검증 열을 사용하는 것은 최적의 모델을 예측하는 데 효과적이지 않을 수 있습니다. 본 발표에서는 여러 검증 열을 사용하여 모델을 재적합함으로써 가장 단순하고 자주 발생하는 모델을 식별하는 방법을 보여줍니다. 20개의 후보 예측 변수를 포함하는 67회의 생물반응기 생산 실행 데이터를 분석에 사용했습니다. JMP® Pro의 시뮬레이션 기능을 사용하여 100개의 검증 열을 무작위로 생성했습니다.

자동 생성된 대본...

스피커	성적 증명서
레베카 클라크	안녕하세요 여러분. 저는 레베카이고, 오늘은 호세와 조지가 함께합니다. 오늘은 JMP Pro 검증 방법을 사용하여 거짓 효과를 조사하는 데 시간을 낭비하지 않는 방법에 대해 이야기해 보겠습니다.
	그럼 먼저 저희 회사와 저희가 하는 일을 소개해 드리겠습니다. 저희는 Oxford Biomedica에서 일하고 있습니다.
	우리는 유전자 및 세포 치료 사업의 선구자이며, 렌티바이러스 벡터 연구, 개발 및 생물공정 분야에서도 선도적인 위치를 차지하고 있습니다.
	저희는 이 분야에서 20년 이상의 경험을 보유하고 있습니다. 렌티바이러스 벡터 기반 치료법으로 사람을 치료한 최초의 회사이기도 합니다.
	우리가 협력하는 지역 파트너는 오른쪽 하단에 나열되어 있습니다. 즉, 우리는 Novartis, Sonofi, Boehringer Ingelheim, Orchard Therapeutics와 협력하고 있으며, 우리가 치료하는 질환에는 암, 중추 신경계 질환, 낭포성 섬유증 등이 있습니다.
	그래서 작년에 옥스포드 바이오미디어도 영국 백신 컨소시엄에 가입하여 COVID-19에 맞서 싸우는 데 동참했습니다.
	그리고 이 컨소시엄은 옥스퍼드 대학의 제너 연구소가 운영했으며, 목표는 COVID-19 백신 후보를 신속하게 개발하는 것이었습니다.
	이 컨소시엄에 참여함으로써 옥스포드 바이오메디카는 컨소시엄이 최첨단 백신 생산 시설을 이용할 수 있도록 허용함으로써 백신의 대량 생산을 가능하게 했습니다. 이후 아스트라제네카와 임상 및 상업 공급 계약을 체결했습니다.
	그리고 이 계약을 통해, 아스트라제네카 코로나19 백신이 임상 시험에서 성공할 경우 공급하기로 했습니다. 아시다시피, 백신은 실제로 성공적이었고 옥스포드 바이오로지카는 현재까지도 코로나19 백신을 생산하고 있습니다.
	그래서 저는 OXB에서 사용하는 프로세스를 간략하게 소개하고 싶습니다.
	따라서 생물공정이란 살아있는 세포나 그 구성 요소를 사용하여 원하는 제품을 얻는 공정이므로 잘 알려져 있습니다.
	이러한 과정의 예로는 알코올 음료의 발효를 들 수 있습니다.
	이 과정에서 효모는 살아있는 성분이며, 효모와 맥주 양조에 필요한 다른 모든 재료들을 바이오리액터에 넣고 효모가 발효라는 화학 반응을 시작합니다. 발효 과정에서 포도당은 에탄올로 전환됩니다.
	그리고 발효 반응이 완료되면 생물 반응기의 내용물을 수확하여 여과를 통해 정제한 후 최종 제품인 맥주를 얻습니다.
	옥스포드 바이오메디카에서 사용하는 공정은 발효와 유사합니다. 따라서 저희 공정의 살아있는 요소는 다음과 같습니다.
	세포 배양과 마찬가지로, 생물반응기를 세포 배양에 넣고 렌티바이러스 요소를 만드는 데 필요한 다른 구성 요소도 넣습니다.
	이러한 생산 과정이 끝나면 생물반응기의 내용물은 하류 공정으로 전달되어 제품이 정제되고 병에 담겨 환자에게 사용되도록 배송됩니다.
	이 슬라이드는 약물 개발의 수명 주기를 보여줍니다. 왼쪽 맨 아래에는 연구 단계가 있습니다.
	질병 메커니즘에 중요한 표적 유전자나 단백질을 식별하는 단계입니다.
	그리고, 우리는 이러한 표적에 대한 약물을 개발하고, 그 약물이 질병을 표적으로 삼는 능력이 있는지 보여줍니다.
	그리고 수명 주기의 맨 마지막에는 상업적 제조가 이루어지는데, 이는 약물이 만들어지고 환자에게 사용되기 위해 병에 담기는 단계입니다.
	그래서 저희 프로세스, 연구 개발 그룹은 이 두 단계 사이에 위치합니다. 생산 프로세스를 설계하고, 최적화하고, 확장하는 것이 저희의 임무입니다.
	연구실에서 생산 단계까지 의약품을 옮깁니다. 저희가 사용하는 공정에는 소규모 진탕 플라스크가 포함되며, 최대 50리터 용량의 생물반응기도 사용합니다.
	따라서 상상할 수 있듯이 우리는 작업 과정에서 많은 데이터를 생성하고, 생물반응기에는 모니터링하고 최적화해야 할 많은 입력 매개변수가 있습니다.
	우리가 생성하는 데이터의 양이 너무 방대해서 최적화 과정에서 어떤 매개변수에 집중해야 할지 파악하기가 매우 어렵습니다.
	그리고 우리가 다루어야 할 매개변수의 수가 너무 많기 때문에 각 매개변수를 개별적으로 최적화하는 것은 상업적으로 실행 가능하지 않습니다. 그래서 이 시점에서는 통계적 모델링을 고려하게 되었습니다.
	그리고 우리는 모델을 사용하여 최적화해야 할 잠재적 매개변수 목록을 좁히려고 노력합니다.
	따라서 이러한 모델이 유용하기는 하지만 작업 과정에서 많은 무작위 노이즈가 발생합니다. 이는 생물학적 처리의 살아있는 특성으로 인한 것이므로 두 문화가 동일할 수 없습니다.
	따라서 이러한 무작위 노이즈는 당연히 통계 모델에 통합되고, 이로 인해 최적화 실험 중에 비정규적인 효과를 살펴보는 데 시간을 낭비하게 될 수 있습니다.
	따라서 우리는 이를 염두에 두고 JMP Pro, 특히 검증 기능을 사용하기로 했습니다.
	이를 통해 우리가 살펴볼 매개변수 목록을 더욱 좁히고 모델에서 비정품 효과를 제거하는 데 도움이 될 것입니다.
	모델이 과적합되는 것을 방지하기 위해서입니다. 이제 Jose에게 데이터 검증 방법 전체를 설명해 드리겠습니다.
호세 곤살베스	네, 저는 호세입니다. 최적화 방법 전반에 대해 말씀드리겠습니다. 이 방법은 JMP Pro에서만 사용할 수 있는 모델링 도구입니다. OXB에서 이 도구를 어떻게 사용할 수 있을지, 얼마나 유용할지 알아보고 싶었습니다.
	그것이 얼마나 유용할 수 있는지 보았습니다
	생물 공정 데이터 모델링을 위해 OXB에 문의했습니다. Rebecca가 말했듯이,
	우리는 프로세스에서 이러한 스테리탱크(?) 반응기를 사용하고 기본적으로 이러한 생물 반응기에서 세포를 성장시키고 이러한 바이러스 벡터를 생산합니다.
	주요 제품입니다. 이건... 이게 우리가 극대화하고 모델링하고 싶은 것인데, 이게 바로 우리의 반응 변수입니다.
	그리고 생물반응기에는 많은 제어 입력이 필요하고 하나의 생산 공정 동안 많은 데이터를 생성하므로 어떤 입력 출력이 조사할 가치가 있는지 결정하는 데 도움이 되는 도구가 필요합니다.
	저희에게 큰 도움이 될 것입니다. 시간을 절약하고, 자원을 확보하고, 더욱 집중적인 조사 진행이 가능해질 것입니다.
	그래서 모델 구축에 들어가기 전에 우리는 과거 배치에서 최대한 많은 데이터를 수집해야 했습니다.
	따라서 이 데이터는 생산 공정이 어떻게 운영되고 있는지에 대한 지표를 제공하며, 데이터에 이상이 있을 경우 벡터 역가에 부정적인 영향을 미칠 수 있습니다. 왼쪽에서 볼 수 있듯이
	우리는 20개 변수로부터 데이터를 수집했습니다. 불행히도 변수의 실제 이름을 보여줄 수 없었고 데이터를 익명화해야 했습니다.
	따라서 X1부터 X20까지 나열해 보겠습니다. 우리의 프로세스는 매우 역동적인 프로세스이기 때문에 예측 변수들 간의 공선성 정도는 예측할 수 없습니다.
	요약하자면, 우리 모델에 20개의 변수 또는 20개의 후보 예측 변수가 포함된 데이터 세트가 있으며, 67개의 과거 배치에서 데이터를 수집했습니다.
	따라서 이것은 JMP Pro 평가판의 일부였기 때문에 처음에는 표준 JMP를 사용하여 모델을 구축한 다음 이를 홀드 아웃 공식화 방법을 사용하여 구축한 다른 모델과 비교하는 것이 좋은 방법이라고 생각했습니다.
	여기서는 검증 방법 없이 모델을 구축하기 위해 JMP의 표준 모델링 플랫폼을 사용합니다.
	여기서 반응 표면 모형을 선택한 이유는 모든 주효과, 상호작용 항, 그리고 제곱항을 모형에 포함시키고 싶었기 때문입니다. 그리고 성격 모형에서는 단계적 진행을 선택했습니다. 오른쪽에 있는
	단계적 회귀 제어 패널이 있고 중지 규칙을 P 값 임계값으로 사용하므로 나머지 매개변수는 기본값으로 두었습니다.
	그리고 단계적 회귀 분석을 실행한 후, 이것이 최종 모델이 생성되었습니다.
	여기서 보시다시피, 모델에 8개의 항이 있고 그중 7개가 실제로 유의미합니다. 따라서 이 처음 세 가지 요인에 주목해 주시기 바랍니다. 왜냐하면 이 세 가지 요인은 모델에서 매우 유의미하며,
	내가 보여줄 몇 장의 슬라이드에서 매우 중요한 것을 볼 수 있습니다.
	결과...결과
	홀드 아웃 검증 방법을 사용할 때, 여기서는 기존 모델이 중요하며 데이터 세트의 변화 중 약 44%를 설명할 수 있습니다.
	그래서 이것이 우리의 초기 접근 방식이었습니다.
	우리는 생성된 첫 번째 모델에 만족했지만, 검증 방법에 대해 더 자세히 알고 싶었습니다.
	이러한 모든 예측 요인을 조사하려면 상당한 시간과 실험실 자원이 필요하므로 다음에 우리는 이런 접근 방식을 취했습니다.
	홀드아웃 검증 방법이 어떻게 작동하는지에 대한 개요는 다음과 같습니다.
	그리고 기본적으로 데이터 세트가 있고, 이 데이터 세트는 무작위로 두 그룹으로 나뉩니다. 왼쪽에는 데이터의 70%가 있습니다.
	모델을 구축하는 데 독점적으로 사용될 데이터의 비율인 훈련 세트에 할당됩니다.
	그리고 여기 오른쪽에는 검증 세트에 할당할 데이터의 30%가 있으며 이는 사용될 데이터의 비율입니다.
	검증 세트의 R 제곱이 최대값일 때 모델 구축 프로세스를 중단합니다. 따라서 여기 아래쪽에서
	우리는 볼 수 있습니다. 이것은 본질적으로 이전에 사용했던 것과 동일한 단계별 회귀 플랫폼의 스크린샷이지만 이것을 보여주는 중지 규칙이 있습니다.
	p 값 임계값 대신 최대 검증 R 제곱을 사용합니다. 그래서 여기, 아래쪽 그래프는 다음과 같습니다.
	여기에는 훈련 세트와 검증 세트가 있는데, 이는 제외됨으로 표시됩니다.
	따라서 모델에 용어를 입력하기 시작하면 훈련 세트에서 볼 수 있듯이
	여기에는 이 규칙, 이 순방향 규칙이 있기 때문에 모델에 0개의 항을 넣은 후 단계적으로 항을 추가합니다.
	우리가 그 용어를 추가하기 시작할 때 R 제곱은 모델에 5개의 용어가 추가될 때까지 매우 빠르게 증가하며 그 이후에는 R 제곱의 개선이 크게 증가하지 않습니다.
	시작할 때... 점점 더 많은 용어를 추가할 때 말이죠. 따라서 이 방법을 사용할 때 중요한 점 중 하나는 검증 세트에 어떤 일이 일어나는지입니다.
	이는 우리의 중지 규칙과 관련이 있기 때문입니다. 따라서 모델에 항을 추가하기 시작하면 기본적으로 동일한 일이 발생합니다.
	R 제곱은 최대 R 제곱에 도달할 때까지 매우 빠르게 증가하다가 그 이후로는 항을 계속 추가할수록 R 제곱이 감소합니다.
	따라서 이 검증 세트가 하는 일은 바로 이 검증 세트를 사용하여 이 단계에서 모델 구축 프로세스를 중지하려는 것입니다. 즉, 데이터 세트의 대부분의 변형을 설명하고 이를 방지할 수 있는 이러한 모든 용어를 여기에 포함할 수 있습니다.
	모델에 이러한 모든 용어를 포함시키면 모델이 과도하게 적합될 수 있고, 전혀 진짜가 아닐 수도 있습니다.
	그래서 단계적 회귀 분석을 실행한 후, 이것이 생성된 최종 모델입니다. 보시다시피, 유의미한 항이 8~7개에서 3개로 줄었습니다. 그리고 기억하시겠지만, 여기 있는 이 항들은 우리가
	홀드 아웃 검증 방법이 사용되었기 때문에 여기서는 전혀 중요하지 않은 것으로 보입니다.
	실제로 이 모델은 데이터 세트의 변화 중 약 4%만 설명할 수 있습니다.
	그래서 이것은 꽤... 우리는 이것이 모델의 용어 수에서 상당히 극적인 감소라고 생각했고 우리는 아마도 우리가 생성된 검증 세트에서 약간 운이 없었을 것이라고 생각하기 시작했습니다.
	이 특정 모델을 구축하기 위해 우리는... JMP Pro의 가장 좋은 점 중 하나는 기본적으로 일반화된 회귀 플랫폼을 사용할 수 있다는 것입니다. 출력은 본질적으로 단계적 회귀와 동일하게 보이지만 이 경우
	일반화 회귀 플랫폼에서 이 시뮬레이션 함수를 사용할 수 있습니다. 이 함수는 기본적으로 모델을 원하는 횟수만큼 반복해서 실행하게 됩니다.
	그리고 생성된 각 모델에 이를 적용하는데, 다른 검증 세트를 사용합니다. 이것이 우리가 다음으로 취한 접근 방식입니다.
	그리고 때문에
	생성한 모든 모델을 나열할 수는 없었습니다. 사실상 저희는 100개의 모델을 생성하거나 100개의 모델 시뮬레이션을 시도했습니다. 그래서 여기에 모두 나열할 수는 없었습니다.
	그리고 우리가 결과를 요약하고자 했던 방법은... 우리는 100번의 시뮬레이션 이후 특정 요인이 모델에 포함되도록 선택된 횟수를 세는 것이었습니다.
	그리고, 이 그래프는 정확히 이것을 보여줍니다. 오른쪽... 왼쪽에
	우리는 방금... 이것들은 단지 매개변수 추정치일 뿐입니다. 이는 데이터의 분산을 관찰하는 데 유용합니다. 그리고 여기서,
	보시다시피 X13과 X8이 있는데, 이 방법을 사용하지 않았을 때 실제로 유의미했던 것은 바로 이 상호작용 항이었습니다. 그리고 X13을 예로 들어보면, 단... 46회만 선택되었습니다.
	모델에 포함될 시간 또는 모델에 포함될 시간의 46%이므로 우리가 예상했던 것보다 훨씬 낮은 숫자입니다.
	여기 있는 이러한 요소들은 우리가 이 방법을 사용하지 않았을 때 매우 중요했습니다. 그래서
	우리가 홀드 아웃 검증 방법을 사용하여 내린 결론은 그것이 과학자들에게, 특히 우리가 모델을 구축할 때 꼭 필요한 좋은 도구라는 것입니다.
	유의미한 것으로 나타나는 변수들이 있는데, 그것들은 우리의 과학적 이해와는 맞지 않습니다. 그래서 또 다른 결론은... 우리가 내리는 또 다른 결론은...
	이 연구에서 특히 중요한 점은 우리가 연구한 공정 속성이 벡터 역가에 큰 영향을 미치지 않는다고 안전하게 가정할 수 있다는 것입니다. 이제 George에게 넘겨드리겠습니다. 그는 자동 검증에 대해 이야기할 것입니다.
조지 파멘터	안녕하세요 여러분, 저는 조지입니다. 옥스포드 바이오메디카의 정제 그룹에서 일하고 있습니다. 오늘은 자동 검증에 대해 간략하게 설명드리겠습니다.
	JMP에서 제안된 방법과 실험 계획법(예: 데이터 구조)에서의 구체적인 활용에 대해 알아보겠습니다. 그리고 이 방법론을 사용하여 바이러스 벡터 정제 최적화 모델에서 변수를 실제로 제거한 방법에 대해서도 간략하게 설명하겠습니다.
	좋아요. 바이러스 벡터 정제에 대해 잘 모르는 사람들을 위해 간략하게 배경 설명을 드리겠습니다.
	따라서 기본적으로 우리는 생물반응기로부터 세포 배양 재료를 받습니다.
	그리고 그 물질은 매우 조악한 물질이므로, 우리의 관심 있는 치료제에는 바이러스성 벡터가 포함되고, 여기에는 수천 개의 다른 종, 오염 물질 종도 포함됩니다.
	그리고 그것은 원치 않는 단백질부터 박테리아 DNA, 심지어 때로는 효과가 없는 바이러스까지 무엇이든 될 수 있습니다.
	따라서 정제의 목적은 순수한 바이러스 벡터 제품을 다양한 오염 물질로부터 분리하는 것입니다.
	하지만 이러한 과정은 엄청나게 복잡할 수 있으며, 크로마토그래피나 효소 처리 등 성능에 영향을 미치는 여러 요인이 관여합니다. 따라서 최고의 순도에 도달하기 위한 최적의 조건을 효율적으로 선택할 방법이 필요합니다.
	그리고 우리가 이를 수행하는 방법은 대부분 실험 설계법을 활용하는 것입니다. 생물 공정 개발 과정 전반에 걸쳐 흔히 사용되는 실험 설계법은,
	우리는 이를 기본적으로 생물학적 과정을 스크리닝하고, 최적화하고, 완전히 특성화하는 데 사용합니다.
	기본적으로 약물 개발 일정을 거치고 상업적 생산으로 옮겨갈수록 실험 규모도 커집니다.
	실제로 우리가 할 수 있는 실험의 수는 줄어들고, 상용 제품에 가까워질수록 우리가 상황을 바꾸기가 점점 더 어려워집니다.
	따라서 우리는 개발 일정의 초기 단계에서 현명한 결정을 내릴 수 있어야 하며 이를 수행하는 방법은 다음과 같습니다.
	효과적인 모델을 개발하는 것이죠. 초기에 효과적인 모델을 구축하면, 절차 규모를 확장해 나가면서 최적의 조건을 선택했다는 확신을 가질 수 있습니다.
	그래서 이 자동 검증 기술을 구체적인 사례에 어떻게 적용했는지 자세히 설명드리겠습니다. 반응 표면 실험 계획을 수행했습니다.
	바이러스 벡터 정제 단계에 있어서도 실제 데이터를 여러분과 공유할 수는 없지만 여기서는 정규화해야 했습니다.
	그래서 이건 3요인 설계 공간이었고, 우리의... 그리고 관심 있는 출력 또는 반응 변수는 바로 이 불순물 수준입니다. 이 불순물 수준은 오염된 DNA 단백질의 양, 그런 설명이 될 수 있습니다.
	따라서 이것의 목표는 가능한 한 가장 낮은 불순물 수준에 맞춰 이러한 모델을 최적화하는 것이었습니다.
	그리고 이것이 처음에 JMP 설정에서 우리가 살펴본 모습인데, 세 개의 입력 변수와 응답 불순도가 있습니다.
	그래서 우리는 처음에 단계적 회귀 플랫폼과 JMP Pro 기능인 라쏘 회귀를 사용하여 몇 가지 모델을 구축했습니다.
	사실, 처음에는 우리가 보고 있는 것에 꽤 만족했기 때문에 많은 데이터를 설명할 수 있었습니다.
	우리는 그것을 아주 잘 설명하고 있는 듯했고, 예상했던 변수들이 나타나기 시작했습니다.
	하지만 우리를 덜 확신하게 만드는 한 가지 변수가 있었는데, 바로 X1 X3 상호 작용이었습니다. 여기서 강조 표시한 것을 볼 수 있습니다.
	화면 오른쪽 상단을 살펴보면 이 X1 프로필이 완전히 바뀌는 것을 볼 수 있습니다.
	X3의 값은 X3의 값이 낮을 때는 솔직히 말해서 실질적인 효과가 없지만, X3의 값이 높을 때는 양의 상관관계가 있습니다.
	그리고 그것이 실제로 우리를 정말 혼란스럽게 했고 약간 걱정스러웠는데, 왜냐하면 실제로 이 X1 X3 상호 작용은 우리가 과학적으로 이해하는 것과는 전혀 맞지 않았기 때문입니다.
	그래서 우리는 약간 혼란스러웠고, 우리의 모델이 실제로 우리가 본 데이터를 제대로 설명하고 있는지에 대한 의문도 들었습니다.
	또한 이 X3 변수가 실제로 알려져 있다는 점에서 프로세스 개발에 있어 상당한 현실적 영향을 미쳤습니다.
	꽤 많이 바뀌어야 합니다. 제가 여기서 사용할 비유는 다음과 같습니다. 만약 우리가 두 가지 약물, 즉 X1과 X2의 약물 투여량을 개발한다면,
	그리고 실제로 투여량은 환자의 나이, 예를 들어 X3에 따라 달라진다는 것을 발견했습니다. 이는 정말 깊이 파고들어 특성을 분석해야 하는 부분입니다. 따라서 이러한 상호작용을 탐구하려면 상당한 추가 실험 비용과 시간이 필요했을 것입니다.
	그래서 우리는 이에 대한 검증 방법론을 실행하고 싶었고 JMP의 동료들과 상의했습니다.
	그리고 그들은 기본적으로 우리에게 불행히도 실험 데이터 구조 설계에 이 홀드아웃 검증을 사용하는 것은 불가능하다고 말했습니다.
	그 이유는, 상상할 수 있겠지만, 저는 검증 세트의 70%, 즉 그런 종류의 훈련 세트를 여기 제 데이터에 디자인 공간에 할당했기 때문입니다.
	실제로 모델을 구축하고 있지만 설계 공간의 일부가 완전히 누락되어 있다는 것입니다. 따라서 DOE 데이터 세트에 이 홀드아웃 검증을 적용하는 것은 적합하지 않습니다.
	그래서 JMP의 동료들이 자동 검증을 제안했습니다.
	제게 설명드린 방식은 기본적으로 전체 데이터 세트를 리샘플링하는 것이었습니다. 즉, 전체 데이터 세트를 학습에 사용하고, 전체 데이터 세트를 검증에 사용하는 것입니다.
	그리고 그것은 첫눈에 보기에 일종의 부정행위처럼 보일 수 있습니다. 저에게는 확실히 그랬지만 이것이 공정하게 달성되는 방식은 다음과 같다고 들었습니다.
	이 세 개의 추가 열을 적용하고 실제로는 분수 가중치를 적용한 부트스트랩 가중치를 줄이는 것입니다.
	그리고 기본적으로 제 생각에는 여기서의 아이디어는 모델 훈련에 데이터를 사용했다면, 검증에서는 같은 데이터를 많이 사용하지 않도록 가중치를 두는 것입니다. 이렇게 하면 데이터를 이중으로 계산한다는 아이디어를 해결할 수 있습니다.
	그래서 저희는 이 방법론을 사용했습니다. 모델에 적용해 봤습니다. JMP 설정은 여기에서 확인하실 수 있으며, JMP Pro 도구인 일반화 회귀 플랫폼을 다시 한번 활용했습니다.
	그리고 여기서는 Jose가 설명한 것과 거의 동일하지만 다른 것에 대해 시뮬레이션하는 대신
	훈련 및 검증 과제에서 실제로 이 부분 가중치를 시뮬레이션합니다. 여러 모델을 생성하기 위해 여러 번 시뮬레이션했는데, 실제로 500번이나 시뮬레이션했습니다.
	다시 말해서, 이제 우리 데이터의 출력은 Jose의 이전 데이터와 같이 특정 변수가 몇 번이나 반복되는지에 대한 히스토그램이 오른쪽에 있는 것을 볼 수 있습니다.
	모델에 나열되어 있고, 여기 왼쪽에는 다양한 모델에서 추정된 매개변수가 있습니다.
	사실 여기에 빨간색 선을 그었는데, 이걸 귀무 요인 선이라고 부르겠습니다. 이 귀무 요인 변수는 일종의 가짜 변수처럼 작동합니다.
	따라서 이것이 일종의 무의미한 변수라는 것을 알 수 있습니다. 왼쪽의 귀무 요인을 살펴보면 매개변수 추정치가 0 주위에 꽤 넓게 분포되어 있어서 어디로 가야 할지 알 수 없습니다.
	그래서 우리는 이 선을 긋고, 처음으로 귀무 요인이 나타나면 그 아래의 모든 것은 진짜 효과가 아닐 가능성이 매우 높다고 간주합니다.
	이건 일종의 비정품 용어입니다. 그리고 보시다시피, 파란색으로 강조 표시한 부분은 X1 X3 상호작용인데, 이게 우려되는 부분이었습니다.
	그리고 여기서 볼 수 있듯이 이 문제는 덜 자주 발생했고 많은 무효 요인 효과가 나타났습니다. 이는 이것이 진짜 효과가 아닐 수도 있다는 첫 번째 징후였습니다.
	그래서 우리는 거기서 멈추고 싶지 않았습니다. 우리는 다양한 방법으로 이 작업을 여러 번 반복했습니다.
	자동 검증 설정을 하고, 여기에 세 가지 예시를 생성했습니다. 하지만 파란색으로 강조된 모든 예시에서 X1 X 3 상호작용이 이 빨간색 선, 즉 영인자선보다 지속적으로 낮게 나타나는 것을 볼 수 있습니다.
	그래서 우리는 우리가 보고 있는 것이 진짜 효과가 아닐 것이라는 확신을 가졌고, 원하는 모델에서 그 효과를 제거할 수 있었습니다.
	이제 우리가 얻은 최종 결과물을 비교해 보겠습니다. 왼쪽은 X1 X3 상호작용을 포함한 초기 모델입니다.
	그리고 오른쪽에는 그것을 제거한 자동 검증 모델이 있습니다.
	그리고 아마도, 우리가 가장 먼저 알아차린 것은 R 제곱의 감소였습니다. 처음에는 데이터를 덜 설명하는 것처럼 보일지 모르지만, 이제는 우리가 설명하는 내용이 실제로 진짜라는 확신이 훨씬 더 커졌습니다.
	여기서 최소화 최적화 조건과 출력의 차이를 볼 수 있습니다.
	그리고 이는 실제로 처리 측면에서 우리에게 여러 가지 이점을 가져다주었습니다. 그러니 이것들은 모두 실제 생활에서 발생하는 변수들이고, 그 이면에 실제적인 것들이 있다는 것을 기억하세요.
	사실 이 X1 변수는 저희 프로세스에 매우 큰 부담이 됩니다. 그래서 저희는 그 변수를 줄일 수 있다는 것을 알게 되어 매우 기뻤습니다.
	다시 말해서, 이 X2 변수가 감소함에 따라, 과학적인 이유로, 실제로 우리 프로세스에 상당한 이점이 있습니다. 그래서 우리는 그 변수도 줄일 수 있었고, 이는 우리에게 이점이 되었습니다.
	그리고 이것들은 일종의 행복한 우연의 일치라고 생각합니다. 하지만 우리가 정말 기뻤던 한 가지는 실제로,
	이 X1 X3 상호 작용을 제거하는 것을 볼 수 있습니다. 실제로 X1과 X2의 프로필이 일정하고 실제로 잘 맞는 것을 확인했습니다.
	우리가 기대했던 과학적 이해에 도달했기 때문에, 이를 관찰하게 되어 매우 기뻤습니다. 그리고 당연히 지금은 연구를 중단하고, 두 모델을 모두 후속 실험으로 테스트하여 어느 모델이 가장 좋은 성능을 보이는지 확인했습니다.
	그리고 모든 경우에 있어서, 이 자동 검증된 모델은 우리가 최종 실험에서 관찰한 결과와 일치했습니다.
	이제 돌려줄게요, 레베카.
레베카 클라크	우리가 이야기했던 내용을 간략하게 요약해 보겠습니다. 즉, 실제 효과가 아닌 효과가 생물 공정의 개발 일정과 실험 비용 모두에 실제적인 영향을 미친다는 것을 알고 있습니다.
	여기서 우리는 생물학적 과정에 도움이 되는 두 가지 검증 방법을 살펴보고, 최적화 실험에서 제거할 수 있는 잠재적인 비현실적 효과를 강조했습니다.
	따라서 보류 검증 도구를 사용하여 최적화 목록에서 여러 매개변수를 성공적으로 제거했고, DOE 유형 실험 중에도 자동 검증을 사용했습니다.
	그리고, 이러한 경우 생성된 모델은 나중에 실험 작업을 통해 확인됩니다. 전반적으로 JMP Pro를 어떻게 사용할 수 있었는지 매우 만족스러웠습니다.
	특히, 생물학적 공정 내에서 검증 방법을 사용하면 많은 시간과 자원을 절약하고 실제 효과에 집중하지 않아도 됩니다.
	마지막으로, 이 프레젠테이션을 진행하는 동안 도움을 주신 JMP의 로버트 앤더슨과 안나 로퍼에게 감사드리고 싶습니다. 이것으로 마치겠습니다. 들어주셔서 감사합니다.

고급 통계 모델링기본 데이터 분석 및 모델링소비자 및 시장 조사실험 설계예측 모델링 및 머신 러닝품질 및 공정 엔지니어링신뢰성 분석