349236_ko-KR

liliconcom

거짓 효과를 조사하는 데 시간 낭비를 피하세요(2021-EU-30MP-771)

레벨: 중급

Jose Goncalves, 상류 과학자, 프로세스 R&D 부서, Oxford Biomedica
Rebecca Clarke, 상류 수석 과학자, 프로세스 R&D 부서, Oxford Biomedica
George Pamenter, 다운스트림 프로세스 R&D 과학자, Oxford Biomedica
Thomas Chippendale, 상류 수석 과학자, 프로세스 R&D 부서, Oxford Biomedica

최근 몇 년 동안 Oxford Biomedica에서 세포 배양 생물 공정 데이터 생성이 상당히 증가했습니다. 이러한 데이터 수집의 증가는 집중적인 공정 개발 및 특성화 연구뿐만 아니라 고처리량 생산 시스템의 통합으로 인해 발생했습니다. 세포 배양 공정 전체에서 많은 온라인 및 오프라인 공정 매개변수가 기록됩니다. 그러나 생물학적 시스템의 복잡성으로 인해 주요 과제 중 하나는 공정 성능이나 제품 수율에 영향을 줄 수 있는 진짜 요인을 식별하는 것입니다. 홀드백 검증은 종종 과적합을 방지하고 모델에 진짜가 아닌 용어가 포함되지 않도록 하는 데 사용되지만 단일 검증 열을 사용하면 최상의 모델을 예측하는 데 효과적이지 않을 수 있습니다. 이 프레젠테이션에서는 여러 검증 열을 사용하여 모델을 리피팅하면 가장 간단하고 가장 자주 발생하는 모델을 식별하는 데 어떻게 도움이 되는지 보여줍니다. 20개의 후보 예측 변수가 포함된 67개의 생물 반응기 생산 실행의 데이터가 분석에 사용되었습니다. JMP® Pro의 시뮬레이트 기능을 사용하여 100개의 검증 열을 무작위로 생성했습니다.

자동 생성된 대본...

스피커	성적 증명서
레베카 클라크	안녕하세요 여러분, 저는 레베카입니다. 오늘은 호세와 조지가 함께합니다. 오늘은 JMP Pro 검증 방법을 사용하여 거짓 효과를 조사하는 데 시간을 낭비하지 않도록 하는 방법에 대해 이야기해 보겠습니다.
	그럼 우선 저희 회사와 저희가 하는 일을 소개하겠습니다. 저희는 Oxford Biomedica에서 일합니다.
	당사는 유전자 및 세포 치료 사업의 선구자이며, 렌티바이러스 벡터 연구, 개발 및 생물처리 분야에서도 선도적인 입지를 차지하고 있습니다.
	그래서 우리는 이 분야에서 20년 이상의 경험을 가지고 있습니다. 우리는 렌티바이러스 벡터(?) 기반 치료법으로 인간을 치료한 최초의 회사였습니다.
	우리가 협력하는 지역 파트너는 여기 오른쪽 하단에 나열되어 있습니다. 즉, 우리는 Novartis, Sonofi, Boehringer Ingelheim, Orchard Therapeutics와 협력하고 있으며 우리가 치료하는 질환에는 암, 중추 신경계 질환, 낭포성 섬유증 등이 있습니다.
	그래서 작년에 옥스포드 바이오미디어도 영국 백신 컨소시엄에 가입하여 COVID-19에 맞서 싸우는 데 동참했습니다.
	이 컨소시엄은 옥스퍼드 대학의 제너 연구소가 운영했으며, 목표는 COVID-19 백신 후보를 신속하게 개발하는 것이었습니다.
	그리고 이 컨소시엄에 가입함으로써 Oxford Biomedica는 컨소시엄이 최첨단 ??? 스위트에 접근할 수 있도록 허용함으로써 백신의 확장된 제조를 허용했습니다. 그래서 그 후, 우리는 AstraZeneca와 임상 및 상업적 공급 계약을 체결했습니다.
	그리고 이 협정으로, 우리는 임상 시험에서 성공할 경우 AstraZeneca COVID 백신을 공급하기로 합의했습니다. 그리고 여러분 모두 알고 계시겠지만, 백신은 실제로 성공적이었고 Oxford Biologica는 오늘날까지도 COVID-19 백신을 계속 제조하고 있습니다.
	그래서 저는 OXB에서 사용하는 프로세스를 간략하게 소개하고 싶습니다.
	따라서 생물공정이란 살아있는 세포나 그 구성 요소를 사용하여 원하는 제품을 얻는 공정이므로 잘 알려져 있습니다.
	이런 과정의 예로는 알코올성 음료의 발효를 들 수 있다.
	그리고 이 과정에서 효모는 살아있는 성분이며, 효모와 맥주를 양조하는 데 필요한 다른 모든 재료는 생물 반응기에 넣고 효모는 발효라는 화학 반응을 시작합니다. 발효 중에 포도당은 에탄올로 전환됩니다.
	그리고 이 발효 반응이 완료되면 생물반응기의 내용물을 수확하여 여과를 통해 정제하고 최종 제품인 맥주를 얻습니다.
	그래서 우리가 Oxford Biomedica에서 사용하는 프로세스는 발효와 비슷합니다. 그래서 우리 프로세스의 살아있는 구성 요소는 다음과 같습니다.
	세포 배양이죠. 생물반응기를 세포 배양에 넣었고 또한 렌티바이러스 요소를 만드는 데 필요한 다른 성분들도 넣었습니다.
	이러한 생산 과정이 끝나면 생물반응기의 내용물은 하류 공정으로 전달되어 제품이 정제된 후 병에 담겨 환자에게 사용되도록 배송됩니다.
	그래서 이 슬라이드는 약물 개발의 라이프 사이클을 보여주는 것일 뿐입니다. 왼쪽 맨 아래에는 연구 단계가 있습니다.
	질병 메커니즘에 중요한 표적 유전자나 단백질을 식별하는 단계입니다.
	그리고, 우리는 이러한 표적에 대한 약물을 개발하고, 그 약물이 질병을 표적으로 삼는 데 성공했는지 보여줍니다.
	그리고 수명 주기의 맨 마지막에는 상업적 제조가 진행됩니다. 즉, 약물이 만들어지고 환자에게 사용되도록 병에 담기는 것입니다.
	그래서 저희 그룹, 프로세스, 연구 및 개발 그룹은 이 두 단계 사이에 있습니다. 생산 프로세스를 설계, 최적화 및 확장하는 것이 저희의 일입니다.
	그리고 연구 벤치에서 제조까지 약물 제품을 옮깁니다. 우리가 사용하는 프로세스 중 일부에는 소규모 셰이크 플라스크가 포함되며, 최대 50리터 바이오리액터까지 작업합니다.
	따라서 상상할 수 있듯이 우리는 작업 과정에서 많은 데이터를 생성하고, 생물반응기에는 모니터링하고 최적화해야 할 많은 입력 매개변수가 있습니다.
	우리가 생성하는 데이터의 양이 너무 방대하기 때문에 최적화 과정에서 어떤 매개변수에 집중해야 할지 판단하기가 매우 어렵습니다.
	그리고 우리가 다루어야 할 매개변수의 수가 너무 많기 때문에 각 매개변수를 개별적으로 최적화하는 것은 상업적으로 실행 가능하지 않습니다. 그래서 이 시점에서 우리는 통계적 모델링을 고려하게 되었습니다.
	그리고 우리는 모델을 사용하여 최적화해야 할 잠재적 매개변수 목록을 좁히려고 노력합니다.
	따라서 이러한 모델이 유용하기는 하지만 작업하는 동안 많은 무작위 노이즈가 발생하는데 이는 생물 처리의 살아있는 특성에 따른 것이므로 두 문화권이 동일할 수는 없습니다.
	따라서 이러한 무작위 노이즈는 당연히 통계 모델에 반영되고, 이로 인해 최적화 실험 중에 실제적이지 않은 효과를 살펴보는 데 시간을 낭비하게 될 수 있습니다.
	따라서 우리는 이를 염두에 두고 특히 검증 기능인 JMP Pro를 사용하기로 했습니다.
	이를 통해 우리가 살펴볼 매개변수 목록을 더욱 좁히고 모델에서 비정품 효과를 제거하는 데 도움이 될 것입니다.
	우리도 모델을 과도하게 맞추는 것을 피하기 위해서요. 그럼 이제 Jose에게 넘겨서 전체 데이터 검증 방법을 설명하겠습니다.
호세 곤칼베스	맞아요, 저는 호세이고, 최적화 방법 전체에 대해 이야기할 겁니다. 이건 방법이에요. 이건 JMP Pro에서만 사용할 수 있는 모델링 도구예요. 우리는 OXB에서 어떻게 사용할 수 있는지, 얼마나 유용할 수 있는지 알아보고 싶었어요...
	그것이 얼마나 유용할 수 있는지 보았습니다
	생물공정 데이터 모델링을 위해 OXB로. Rebecca가 말했듯이,
	우리는 우리 공정에서 이러한 스테리탱크(?) 반응기를 사용하고 기본적으로 우리는 이러한 생물 반응기에서 세포를 성장시키고 이러한 바이러스 벡터를 생산합니다.
	주요 제품입니다. 그것은... 우리가 극대화하고 싶은 것이고 우리가 모델링하고 싶은 것이므로, 이것이 실제로 우리의 반응 변수입니다.
	그리고 생물반응기에는 많은 제어 입력이 필요하고 한 생산 공정 동안 많은 데이터를 생성하므로 어떤 입력 출력이 조사할 가치가 있는지 결정하는 데 도움이 되는 도구가 필요합니다.
	그것은 우리에게 큰 가치가 될 것입니다. 그것은 우리가 시간을 절약하고, 자원을 확보하고, 조사 과정을 보다 집중적으로 진행할 수 있게 해줄 것입니다.
	그래서 모델 구축에 들어가기 전에 우리는 먼저 과거 배치에서 가능한 한 많은 데이터를 수집해야 했습니다.
	따라서 이 데이터는 우리의 생산 프로세스가 어떻게 진행되고 있는지에 대한 지표를 제공하며, 데이터의 이상은 벡터 역가에 부정적인 영향을 미칠 수 있음을 나타냅니다. 따라서 여기 왼쪽에서 다음을 볼 수 있습니다.
	우리는 20개 변수로부터 데이터를 수집했습니다. 불행히도 변수의 실제 이름을 보여줄 수 없었고, 데이터를 익명화해야 했습니다.
	그래서 우리는 X1에서 X20까지 여기에 나열했고, 우리의 프로세스는 매우 역동적인 프로세스이기 때문에 예측 변수 간의 공선성의 정도를 기대할 수 없습니다. 그래서
	요약하면, 우리 모델에 20개의 변수 또는 20개의 후보 예측 변인을 포함하는 데이터 집합이 있으며, 67개의 과거 배치에서 데이터를 수집했습니다.
	따라서 이것은 JMP Pro 평가판의 일부이므로 처음에는 표준 JMP를 사용하여 모델을 구축한 다음 이를 홀드 아웃 공식화 방법을 사용하여 구축된 다른 모델과 비교하는 데 사용하는 것이 좋은 방법이라고 생각했습니다.
	여기서는 검증 방법 없이 모델을 빌드하기 위해 JMP의 표준 모델링 플랫폼을 사용합니다.
	우리는 모든 주효과, 상호작용 항, 제곱 항을 모델에 입력할 수 있도록 하기 위해 반응 표면 모델을 선택했습니다. 그리고 여기 성격에서 우리는 단계적 진행을 선택했습니다. 그래서 여기 오른쪽에서,
	단계적 회귀 제어 패널이 있고 중지 규칙을 P값 임계값으로 사용하므로 나머지 매개변수는 기본값으로 두었습니다.
	그리고 단계별 회귀 분석을 실행한 후에 생성된 최종 모델은 다음과 같습니다.
	여기서, 우리는 모델에 8개의 항을 가지고 있고 그 중 7개가 실제로 중요하다는 것을 알 수 있습니다. 그래서 저는 여기 있는 처음 세 가지 세 가지 요인에 대해서만 여러분의 주의를 끌고 싶습니다. 왜냐하면 그것들은...우리 모델에서 매우 중요하기 때문입니다.
	내가 보여줄 몇 장의 슬라이드에서 매우 중요한 내용을 다루겠습니다.
	결과...결과
	홀드 아웃 검증 방법을 사용할 경우 기존 모델이 유의미하며 데이터 세트의 변동 중 약 44%를 설명할 수 있습니다.
	그래서, 이것이 우리의 초기 접근 방식이었습니다.
	우리는 생성된 첫 번째 모델에 만족했지만, 이것의 검증 방법에 대해 더 자세히 알고 싶었습니다.
	이 모든 예측 요인을 조사하려면 상당한 시간과 실험실 자원이 필요할 것이기 때문에 우리는 다음으로 이런 접근 방식을 취했습니다.
	그러면 이 홀드아웃 검증 방법이 어떻게 작동하는지 개요를 살펴보겠습니다.
	그리고 본질적으로 우리는 데이터 세트를 가지고 있으며, 우리의 데이터 세트는 무작위로 두 그룹으로 나뉩니다. 그래서 왼쪽에는 데이터의 70%가 있습니다.
	이는 모델을 구축하는 데 독점적으로 사용되는 데이터의 비율인 훈련 세트에 할당됩니다.
	그리고 여기 오른쪽에는 검증 세트에 할당할 데이터의 30%가 있으며 이는 사용될 데이터의 비율입니다.
	검증 세트의 R 제곱이 최대값일 때 모델 구축 프로세스를 중단합니다. 그래서 여기 맨 아래에,
	우리는 볼 수 있습니다. 이것은 본질적으로 우리가 이전에 사용한 것과 동일한 단계적 회귀 플랫폼의 스크린샷이지만 이것을 보여주는 중단 규칙이 있습니다.
	p 값 임계값 대신 최대 검증 R 제곱을 사용합니다. 그래서 여기, 아래쪽의 이 그래프는 다음과 같습니다.
	훈련 세트와 검증 세트가 여기 있는데, 이건 제외됨으로 표시되어 있습니다.
	따라서 보시다시피, 우리가 모델에 용어를 입력하기 시작하면서 훈련 세트는
	여기에는 이 규칙, 이 순방향 규칙이 있기 때문에 모델에 0개의 항을 먼저 넣은 다음 단계적으로 항을 추가합니다.
	우리가 이러한 항을 추가하기 시작하면 R 제곱은 모델에 5개의 항이 추가될 때까지 매우 빠르게 증가하며 그 이후에는 R 제곱의 개선이 크게 증가하지 않습니다.
	우리가 시작할 때... 우리가 점점 더 많은 용어를 추가할 때. 그리고 이 방법을 사용할 때 중요한 것 중 하나는 검증 세트에서 일어나는 일이기도 합니다.
	이는 우리의 중지 규칙과 관련이 있기 때문입니다. 따라서 모델에 용어를 추가하기 시작하면 본질적으로 동일한 일이 발생합니다.
	R 제곱은 최대 R 제곱에 도달할 때까지 매우 빠르게 증가하다가 그 지점 이후로는 점점 더 많은 항을 추가함에 따라 R 제곱이 감소합니다.
	따라서 이 검증 세트가 하는 일은 정확히 다음과 같습니다. 이 검증 세트를 사용하여 이 단계에서 모델 구축 프로세스를 중지하고 데이터 세트의 대부분 변형을 설명하고 이를 방지할 수 있습니다.
	모델에 이러한 모든 용어를 포함시키면 모델이 과적합될 가능성이 있고, 실제로는 전혀 진짜가 아닐 수도 있습니다.
	그래서 단계적 회귀를 실행한 후, 이것이 생성된 최종 모델이었고, 보시다시피, 우리는 8개 또는 7개의 유의한 항을 3개로 줄였습니다. 그리고 기억하시겠지만, 여기 있는 이 항들은 우리가 사용하지 않았을 때 매우 유의했습니다.
	홀드 아웃 검증 방법이 사용되었기 때문에 여기에서는 전혀 중요하지 않은 것으로 보입니다.
	실제로 이 모델은 우리 데이터 세트의 변화의 약 4%만 설명할 수 있습니다.
	그래서 이것은 매우... 우리는 이것이 모델의 용어 수에서 매우 극적인 감소라고 생각했고, 우리는 아마도 우리가 생성된 검증 세트에서 약간 운이 없었을 것이라고 생각하기 시작했습니다.
	이 특정 모델을 구축하기 위해 우리는... JMP Pro의 가장 좋은 점 중 하나는 기본적으로 일반화된 회귀 플랫폼을 사용할 수 있다는 것입니다. 출력은 기본적으로 단계적 회귀와 동일하게 보이지만 이 경우
	일반화된 회귀 플랫폼에서 우리는 이 시뮬레이션 함수를 사용할 수 있습니다. 그리고 이것이 기본적으로 하는 일은 우리가 원하는 만큼 모델을 계속해서 다시 실행하는 것입니다.
	그리고 이를 생성된 각 모델에 적용하는데, 여기에는 다른 검증 세트가 사용됩니다. 이것이 우리가 다음으로 취한 접근 방식입니다.
	그리고 왜냐하면
	우리는 우리가 생성한 모든 모델을 모두 나열할 수 없었습니다. 본질적으로 우리는 그냥...우리는 100개의 모델을 생성하려고 했거나, 우리는 100개의 모델 시뮬레이션을 했습니다. 그래서 우리는 여기에 모든 모델을 나열할 수 없었습니다.
	그리고 우리가 결과를 요약하고자 했던 방법은... 우리는 100번의 시뮬레이션 이후 특정 요인이 모델에 포함되도록 선택된 횟수를 세는 것이었습니다.
	그리고, 이것이 바로 이 그래프가 여기 보여주는 것입니다. 그러니까 오른쪽에... 왼쪽에
	우리는 그냥... 이것들은 단지 매개변수 추정치일 뿐입니다. 이것은 단지 데이터의 분산을 관찰하는 데 좋습니다. 그리고 여기서,
	보시다시피, 우리는 X13, X8을 가지고 있고, 이 방법을 사용하지 않았을 때 실제로 중요한 것은 이 상호 작용 항목입니다. 그리고 여기서 X13을 예로 들면, 그것은 단지... 그것은 단지 46번만 선택되었습니다.
	모델에 포함될 시간 또는 모델에 포함될 시간의 46%이므로 우리가 예상했던 것보다 훨씬 낮은 숫자입니다.
	여기의 이러한 요소들은 우리가 이 방법을 사용하지 않았을 때 매우 중요했습니다. 그래서
	우리가 홀드 아웃 검증 방법을 사용하여 내린 결론은 그것이 과학자들에게, 특히 우리가 모델을 구축할 때 꼭 필요한 좋은 도구라는 것입니다.
	우리는 유의미하게 나타나는 이러한 변수들을 가지고 있고 그것들은 우리의 과학적 이해에 잘 맞지 않습니다. 그래서 또 다른 하나는... 우리가 내리는 또 다른 결론은 다음과 같습니다.
	이 연구를 위해 특별히 강조할 점은 우리가 연구한 프로세스 속성이 벡터 역가에 큰 영향을 미치지 않는다고 안전하게 가정할 수 있다는 것입니다. 그러니 이제 George에게 넘기겠습니다. 그는 자동 검증에 대해 이야기할 것입니다.
조지 파멘터	안녕하세요 여러분, 저는 조지입니다. 저는 Oxford Biomedica의 정화 그룹에서 일합니다. 저는 이 자동 검증에 대해 조금 이야기할 것입니다.
	JMP에서 우리에게 제시된 방법과 실험 설계에서의 특정 용도, 예를 들어 데이터 구조에 대해 말씀드리겠습니다. 그리고 이 방법론을 사용하여 바이러스 벡터 정제의 최적화 모델에서 실제로 변수를 제거하는 방법에 대해 조금 이야기해 보겠습니다.
	좋아요. 바이러스 벡터 정제에 대해 모르는 사람들을 위해 이에 대한 간략한 배경 설명부터 시작하겠습니다.
	따라서 기본적으로 우리는 생물반응기로부터 세포 배양 재료를 받습니다.
	그리고 그 물질은 매우 원시적인 물질이므로 우리의 관심 치료제에는 바이러스성 벡터가 포함되고, 여기에는 수천 개의 다른 종, 오염 종도 포함됩니다.
	그리고 그것은 원치 않는 단백질부터 박테리아 DNA, 심지어 효과가 없는 바이러스까지 무엇이든 될 수 있습니다.
	따라서 정제의 목적은 순수한 바이러스 벡터 제품을 다양한 오염 물질로부터 분리하는 것입니다.
	하지만 이는 엄청나게 복잡한 과정일 수 있으며, 크로마토그래피나 효소 처리 및 성능에 영향을 미치는 여러 가지 요소가 포함됩니다. 따라서 최상의 순도에 도달하기 위해 최상의 조건을 효율적으로 선택할 방법이 필요합니다.
	그리고 우리가 그것을 하는 방법은 대부분 실험 설계를 사용하는 것입니다. 그리고 생물 공정 개발 타임라인 전반에 걸쳐 공통적인 실험 설계,
	우리는 기본적으로 이를 이용해 생물학적 과정을 스크리닝하고, 최적화하고, 완전히 특성화합니다.
	기본적으로 약물 개발 일정을 거치며 상업적 생산으로 옮겨가면서 실험 규모도 커집니다.
	실제로 우리가 할 수 있는 실험의 수는 줄어들고, 상용 제품에 가까워질수록 우리가 상황을 바꾸는 것이 점점 더 어려워집니다.
	따라서 우리는 개발 일정의 초기 단계에서 현명한 결정을 내릴 수 있어야 하며 이를 위해 다음과 같은 방법을 사용합니다.
	효과적인 모델을 개발하는 것입니다. 따라서 초기에 효과적인 모델이 있다면, 그것은 우리가 절차의 규모를 거치면서 최상의 조건을 선택했다는 확신을 줍니다.
	그래서 저는 우리가 이 자동 검증 기술을 구체적인 사례에 어떻게 사용했는지 자세히 설명하려고 합니다. 그래서 우리는 실험의 반응 표면 설계를 수행했습니다.
	바이러스 벡터 정제 단계에서도 마찬가지인데, 실제 데이터를 여러분과 공유할 수는 없고 여기서 정규화 작업을 해야 했습니다.
	그래서 이것은 3요인 설계 공간이었고 우리의... 그리고 우리의 관심 있는 출력 또는 반응 변수는 이 불순물 수준입니다. 그래서 이 불순물 수준은 오염된 DNA 단백질의 양일 수 있고, 그런 설명의 무언가일 수 있습니다.
	따라서 이것의 목표는 가능한 한 가장 낮은 불순물 수준에 맞춰 이러한 모델을 최적화하는 것이었습니다.
	JMP 설정에서 처음에 살펴본 내용은 세 개의 입력 변수와 응답 불순도가 있다는 것입니다.
	그래서 우리는 처음에 단계적 회귀 플랫폼과 JMP Pro 기능인 라소 회귀를 사용하여 몇 가지 모델을 구축했습니다.
	사실, 처음에는 우리가 보고 있는 것에 꽤 만족했기 때문에 많은 데이터에 대해 설명했습니다.
	우리는 그 문제를 아주 잘 설명하는 듯했고, 예상했던 변수들이 나타나기 시작했습니다.
	하지만 우리를 확신하지 못하게 만드는 한 가지 변수가 있었는데, 바로 X1 X3 상호 작용이었습니다. 여기서 강조 표시한 것을 볼 수 있습니다.
	화면 오른쪽 상단을 보면 이 X1 프로필이 완전히 변경되는 것을 확인할 수 있습니다.
	X3의 값은, X3의 값이 낮으면 솔직히 말해서 실제 효과가 없지만, X3의 값이 높으면 양의 상관관계가 있습니다.
	사실 그것은 우리를 정말 혼란스럽게 했고 약간 걱정스러웠습니다. 왜냐하면 실제로 이 X1 X3 상호 작용은 우리가 과학적으로 이해하는 것과 전혀 맞지 않았기 때문입니다.
	그래서 우리는 약간 혼란스러웠고, 우리의 모델이 우리가 본 데이터를 제대로 설명하고 있는지에 대한 의문도 들었습니다.
	이 X3 변수가 실제로 알려져 있다는 의미에서 프로세스 개발에 있어서도 상당한 현실 세계적 영향을 미쳤습니다.
	꽤 많이 변경해야 합니다. 그래서 제가 여기서 사용할 비유는 우리가 두 가지 약물, 즉 X1과 X2의 약물 투여량을 개발하고 있다면,
	그리고 우리는 실제로 투여량이 환자의 나이에 따라 달라진다는 것을 발견했습니다. 예를 들어 X3, 이건 정말 깊이 파고들어 특성화해야 할 것입니다. 그래서 이 상호작용을 탐구하려면 실제로 상당한 추가 실험 비용과 시간이 필요했을 것입니다.
	그래서 우리는 이에 대한 일부 검증 방법론을 실행하고 싶었고 JMP의 동료들과 상의했습니다.
	그리고 그들은 기본적으로 우리에게 불행하게도 실험 설계 데이터 구조에 이 홀드아웃 검증을 사용하는 것은 불가능하다고 말했습니다.
	그 이유는, 상상할 수 있겠지만, 저는 여기 제 데이터에 대한 검증 세트, 즉 그런 종류의 훈련 세트의 70%를 디자인 공간에 할당했기 때문입니다.
	우리가 실제로 모델을 구축하고 있지만 실제로는 설계 공간의 일부를 완전히 놓치고 있다는 것입니다. 따라서 DOE 데이터 세트에 이 보류 검증을 사용하는 것은 실제로 적용되지 않습니다.
	그래서 JMP의 동료들이 우리에게 자동 검증을 제안했습니다.
	그리고 제게 설명된 방식은 기본적으로 전체 데이터 세트를 리샘플링한다는 것이었습니다. 즉, 전체 데이터 세트를 훈련에 사용하고 전체 데이터 세트를 검증에 사용하는 것입니다.
	그리고 그것은 첫눈에 보면 일종의 부정행위처럼 보일 수 있습니다. 저에게는 확실히 그랬지만 이것이 공정하게 달성되는 방식은 다음과 같다고 들었습니다.
	이 세 개의 추가 열을 적용하고, 실제로는 분수 가중치를 적용한 부트스트랩 가중치를 줄인 것입니다.
	그리고 기본적으로 여기서의 아이디어는 모델을 훈련하는 데 데이터를 사용했다면, 검증에는 같은 데이터를 많이 사용하지 않도록 가중치를 두는 것입니다. 이렇게 하면 데이터를 이중으로 세는 문제를 해결할 수 있습니다.
	그래서 우리는 이 방법론을 사용했습니다. 우리는 이것을 우리 모델에서 실행했습니다. 여기서 JMP의 설정을 볼 수 있고, 우리는 이것을 다시 JMP Pro 도구인 일반화된 회귀 플랫폼을 사용합니다.
	여기서는 Jose가 설명한 것과 거의 동일하지만 다른 것에 대해 시뮬레이션하는 대신
	훈련 및 검증 과제에서 우리는 실제로 이 부분적 가중치를 시뮬레이션합니다. 그래서 우리는 다른 모델을 생성하기 위해 여러 번 시뮬레이션했고 실제로 500번이나 이를 거쳤습니다.
	다시 말해서, 이제 우리 데이터의 출력은 Jose의 이전과 같이 특정 변수가 몇 번이나 반복되는지에 대한 히스토그램이 오른쪽에 있는 것을 볼 수 있습니다.
	모델에 나열되어 있고, 여기 왼쪽에는 다양한 모델에서 추정된 매개변수가 있습니다.
	사실 저는 여기에 이 ​​빨간 선을 그었고, 이것을 null factor line이라고 불렀습니다. 그래서 이 null factor 변수는 일종의 가짜 변수처럼 작동합니다.
	따라서 이것이 일종의 넌센스 변수라는 것을 알 수 있습니다. 왼쪽의 귀무 요인을 살펴보면 매개변수 추정치가 0 주위에 꽤 넓게 분포되어 있기 때문에 어디로 가야 할지 알 수 없습니다.
	그래서 우리는 이 선을 그어서, 처음으로 귀무 요인이 나타날 때, 그보다 낮은 값은 진짜 효과가 아닐 가능성이 매우 높다고 간주합니다.
	그러니까 이건 비정품 용어의 범위에 속하는 거예요. 그리고 파란색으로 강조한 건, 여러분도 보시겠지만, 이 X1 X3 상호작용이 우려되는 부분이에요.
	여기서는 이런 현상이 덜 나타나고 많은 무효 요인 효과가 나타나는 것을 볼 수 있습니다. 그래서 이것이 진짜 효과가 아닐 수도 있다는 첫 번째 징후였습니다.
	그래서 우리는 거기서 멈추고 싶지 않았습니다. 우리는 이것을 여러 번 반복했습니다.
	자동 검증 설정, 그리고 여기서 세 가지 예를 생성했습니다. 하지만 파란색으로 강조된 모든 예에서 이 X1 X 3 상호 작용이 이 빨간색 선, 이 null 요인 선보다 지속적으로 낮아지는 것을 볼 수 있습니다.
	그래서, 그에 근거하여, 우리는 우리가 보고 있는 것이 진짜 효과가 아닐 가능성이 크다는 확신을 가졌고, 그래서 우리는 원하는 모델에서 그 효과를 제거할 수 있었습니다.
	이제 우리가 얻은 최종 출력의 종류를 비교해 보겠습니다. 왼쪽에는 이 X1 X3 상호 작용을 포함하는 우리가 만든 초기 모델이 있습니다.
	그리고 오른쪽에는 자동 검증된 모델이 있는데, 그걸 제거한 거죠.
	그리고 제 생각에, 우리가 가장 먼저 알아차린 것은 R 제곱의 감소였습니다. 그래서 처음에는 아마 당신이 데이터를 덜 설명하는 것처럼 보일지 몰라도, 사실 지금은 우리가 설명하는 것이 실제로 진짜라는 것에 훨씬 더 확신을 가지게 되었습니다.
	여기서 최소화 최적화 조건과 출력의 차이를 볼 수 있습니다.
	그리고 이것은 실제로 우리에게 여러 가지 이점을 가져다주었습니다. 사실, 처리 측면에서요. 그러니 이것들이 모두 실제 생활 변수이며, 그 뒤에는 실제적인 것들이 있다는 것을 기억하세요.
	그래서 이 X1 변수는 사실 우리 프로세스에 매우 비싼 것입니다. 그래서 우리는 매우... 그 변수를 줄일 수 있다는 것을 알게 되어 기뻤습니다.
	다시 말해서, 이 X2 변수가 감소함에 따라, 과학적인 이유로, 이는 실제로 우리 공정에 상당한 이점이 됩니다. 그래서 우리는 이 변수도 줄일 수 있었고, 이는 우리에게 이롭습니다.
	그리고 이것들은 일종의 행복한 우연의 일치라고 생각합니다. 하지만 우리가 정말 기뻤던 한 가지는 사실,
	X1 X3 상호 작용을 제거하는 것을 볼 수 있습니다. 실제로 X1과 X2의 프로필이 일정하고 실제로 잘 맞는 것을 확인했습니다.
	우리가 기대했던 과학적 이해, 그래서 우리는 이것을 관찰하게 되어 매우 기뻤습니다. 그리고 당연히 우리는 지금 떠났고, 우리는 그 두 모델을 모두 후속 실험으로 테스트하여 어느 모델이 가장 좋은 성과를 보이는지 확인했습니다.
	그리고 모든 경우에서, 실제로 이 자동 검증 모델은 우리가 최종 실험에서 본 관찰 결과와 일치했습니다.
	이제 다시 돌려줄게요, 레베카.
레베카 클라크	우리가 이야기했던 내용을 간단히 요약해 보겠습니다. 그래서 우리는 비진정한 효과가 생물공정의 개발 일정과 실험 비용에 모두 실제적인 영향을 미친다는 것을 알고 있습니다.
	여기서 우리는 생물학적 공정에 도움이 되는 두 가지 검증 방법을 살펴보고 최적화 실험에서 제거할 수 있는 잠재적인 비효과를 강조했습니다.
	따라서 우리는 홀드 아웃 검증 도구를 사용하여 최적화 목록에서 여러 매개변수를 성공적으로 제거했으며, DOE 유형 실험 동안에는 자동 검증도 사용했습니다.
	그리고, 그리고 이런 경우 생성된 모델은 나중에 실험 작업을 통해 확인됩니다. 그래서 전반적으로 우리는 JMP Pro를 어떻게 사용할 수 있는지에 매우 만족했습니다.
	특히, 생물학적 공정 내에서 검증 방법을 사용하면 많은 시간과 자원을 절약하고 실제 효과가 아닌 것에 초점을 맞추지 않아도 됩니다.
	마지막으로, 이 프레젠테이션을 하는 동안 도움을 준 JMP의 로버트 앤더슨과 안나 로퍼에게 감사드리고 싶습니다. 여기까지만 말씀드리겠습니다. 들어주셔서 감사합니다.

브레이크아웃암사슴예측 모델링