758516_ko-KR

liliconcom

증강된 완전 이차 모델과 FWB+AV를 이용한 생물학적 과정 특성화(2020-US-45MP-548)

Philip Ramsey, 수석 데이터 과학자 겸 통계 컨설턴트/교수, North Haven Group 및 University of New Hampshire
티파니 D. 라우 박사, Rau Consulting, LLC의 소유주 겸 수석 컨설턴트

설계 품질(QbD)은 사후 품질 테스트를 시도하는 대신, 처음부터 제품 품질을 설계하는 설계 및 개발 전략입니다. QbD 이니셔티브는 주로 바이오 의약품과 관련이 있지만, 여러 산업에 보편적으로 적용 가능한 개념을 포함합니다. 바이오 공정 개발을 위한 QbD의 핵심 요소는 일관된 고품질 생산 및 환자용 제품을 보장하기 위해 공정을 완전히 특성화하고 최적화해야 한다는 것입니다. 특성화는 일반적으로 반응 표면 유형 실험 설계와 완전 이차 모형(FQM)을 결합하여 예측 모델 구축의 기반으로 수행됩니다. Box(1950)가 발표한 이후 FQM은 공정 특성화 및 최적화에 널리 사용되고 있습니다. 미지의 반응 표면에 대한 2차 근사인 FQM은 최적화에 적합합니다. Cornell과 Montgomery(1996)는 생물학적 시스템의 고유한 비선형 거동을 고려할 때, FQM은 QbD가 요구하는 전체 설계 공간의 특성화에는 일반적으로 부적합함을 보였습니다. 그들은 전체 설계 영역을 더 잘 근사하기 위해 고차 상호작용 항을 사용하여 FQM을 증강할 것을 제안했습니다. 하지만 추가 항의 수가 너무 많아 기존 회귀 분석법으로는 추정하기 어려운 경우가 많습니다. 본 연구에서는 Gotwalt와 Ramsey(2017)의 부분 가중 부트스트래핑 방법을 사용하여 이러한 완전 증강 FQM을 추정할 수 있음을 보여줍니다. 두 가지 생물 공정 개발 사례 연구를 통해 증강 FQM 모델이 전체 설계 공간을 특성화하는 데 있어 기존 FQM보다 훨씬 우수한 성능을 보임을 입증합니다. 증강 FQM과 FWB의 사용은 JMP Pro 15를 사용하여 자세히 시연할 예정입니다.

자동 생성된 대본...

스피커	성적 증명서
티파니	먼저, 오늘 함께해 주셔서 감사합니다. 다양한 생물학적 처리 과정을 특성화하는 것에 대해 이야기하고, 특히 pDNA에 집중하여 부분 가중 부트스트래핑이 실제로 어떻게 작용하는지 살펴보겠습니다.
	프로세스에 추가하세요. Phil이 프레젠테이션 후반부에 저와 함께 JMP를 살펴보겠습니다.
	예를 들어, 몇 가지 다른 기술을 알려드리겠습니다.
	사용될 예정.
	저는 CMC 전략, 바이오테크, 약물을 시장에 출시하는 방법, 그리고 FWB와 같은 새로운 도구를 사용하여 프로세스를 구현하는 방법에 대해 말씀드리겠습니다.
	자, 시작해 볼까요? 화학 제조 관리 여정에 대해 이야기해 볼까요? 아주 긴 여정이 될 텐데, 이 부분에 대해서도 이야기해 보겠습니다.
	왜 DOE이고, 왜 예측 모델링인가요? 약물을 시장에 출시하는 것은 매우 복잡합니다. 실험뿐만 아니라 임상 시험도 중요합니다.
	그리고 모든 것이 조화를 이루도록 합니다. 그래서 시스템적 사고 방식도 살펴볼 것입니다. 그리고 물론, 그 생물 공정의 특징을 파악하고 Phil이 진행할 사례 연구를 살펴보겠습니다.
	토론해 보세요. 그렇다면 CMC 경로는 어떻게 생겼을까요? 이건 일반적인 예시이고, 독성학에서 출발합니다. 그래서 어떤 효능도 없다는 걸 보는 거죠. 효과가 있을까요?
	비인간적 실험에서 시작해서 상업적 생산까지 이어지는데, 여기에는 공정 개발처럼 많은 요소가 포함됩니다.
	하지만 목표 제품 프로필도 있어야 합니다. 개발 중인 약물이 실제로 어떤 역할을 하기를 원하는지, 그리고 개발 과정을 진행하면서 이를 이해하는 것이 중요합니다. 그리고 물론
	품질 목표 제품 프로필도 마찬가지입니다. 분자가 처방대로 작용하려면 어떤 측면이 필요한가요?
	그리고 우리는 중요한 품질 속성을 살펴보고 프로세스를 거칩니다. 그것은... 그것은... 그것은 그룹입니다.
	프로세스 개발, 프로세스 특성 분석, 프로세스 적격성 평가, 그리고 BLA까지 모두 포함되어 있기 때문입니다. 이 단계들 각각에는 엄청난 양의 작업이 필요합니다.
	또한 우리는 여러분이 다양한 단계를 거치면서 실제로 이러한 데이터를 구축하고 있는지 확인하고 싶습니다.
	그룹화. 프로세스 특성화 및 프로세스 적격성 평가에 도달하면 과거 정보를 최대한 활용하여 실제로 시간을 단축할 수 있도록 해야 하기 때문입니다.
	타임라인. "티파니, 저는 프로세스 특성 분석을 프로세스 전반에 걸쳐 수행합니다."라고 말할 수도 있습니다. 그러면 저는 "물론입니다."라고 답할 것입니다. 하지만 CMC 경로에 특화된 프로세스 특성 분석은 규제 관점에서 우리에게 필요한 것입니다.
	다들 뉴스에서 백신, 세포, 유전자 치료에 대해 들어보셨을 겁니다. 요즘 아주 핫한 주제죠.
	지금까지 치료할 수 없었던 새로운 치료법을 환자에게 제공하는 것입니다.
	세포 치료와 유전자 치료라는 두 가지 큰 범주에는 서로 다른 측면이 있습니다. 네, 맞아요. 면역 치료도 있고, 줄기세포도 있죠.
	저희는 재생 의학을 연구하고 있습니다. 예를 들어, 허리가 다쳤는데 재생이 가능하다고 상상해 보세요. 엄청난
	이 그룹에 중점을 두고 있습니다. 하지만 유전자 치료에도 큰 비중을 두고 있습니다. 바이러스 벡터도 있죠. 박테리아 벡터를 사용할까요? DNA를 어떻게 얻을까요?
	환자를 위한 치료법으로 시스템에 도입할 수 있을까요? 음, 혈장 DNA가 그런 측면 중 하나이고, 필은 최적화를 수행한 놀라운 사례 연구를 가지고 있습니다.
	그래서 여러분은 "pDNA란 무엇인가? 그리고 그것이 중요한 이유는 무엇인가? 유전자 치료 분야의 일부라는 것 말고, 현재 매우 흥미로운 분야인데, pDNA가 왜 중요한가?"라고 물을 수 있을 겁니다.
	글쎄요, 사실은 예방 백신, 면역제, 과다 면역 글로불린의 제조에 사용될 수 있다는 것입니다.
	암 백신, 치료 백신, 유전자 교체. 아니면
	아이, 그렇죠? 희귀 유전자 돌연변이가 있는 아이요. 우리가 직접 가서 수리할 수 있을까요? 이 모든 것들이 이 문제를 중심으로 진행되고 있고, 유전자 치료 기술이 계속 발전함에 따라,
	상용화에 가까워질수록 규제는 더욱 엄격해지고 데이터 양도 늘어납니다.
	유전자 치료와 세포 치료가 20년 전 세포 배양과 단일클론 항체와 같은 수준에 있다고 상상해 보세요.
	우리는 매일 새로운 것을 배우고 있으며 "아,"라고 말하는 놀라운 세상입니다.
	이건 플랫폼이 아닙니다." 새로운 장비가 필요합니다. 새로운 작업 방식이 필요합니다. 세포 치료와 유전자 치료는 일반적으로 다른 적응증보다 환자 수가 적기 때문에 매우 적은 양의 데이터 세트를 분석할 수 있어야 합니다.
	그렇다면 pDNA의 다음 단계는 무엇일까요? 세포 치료 및 유전자 치료 시장이 계속 성장함에 따라, 저희는 이 길을 계속 나아갈 것입니다.
	상용화로 나아가야 합니다. FDA와 긴밀히 협력해야 합니다. 왜냐하면 이런 일들은 우리가 이전에 해본 적이 없는 일이기 때문입니다. 우리는 사용하지 않는 원자재와 다른 것들을 사용하고 있습니다.
	...약물에 대한 다른 적응증도 있습니다. 그래서 해야 할 일이 많습니다. pDNA와 같은 이러한 제품을 만들 수 있는 능력도 중요합니다. 적절한 벡터를 얻는 방법은
	양뿐만 아니라 질적인 측면도 중요합니다. 세계 최고의 약을 가지고 있더라도 생산할 수 없다면, 약이 없는 셈이죠. 그렇죠? 환자에게 전달할 수 없는 거죠.
	따라서 우리 프로세스의 특성도 잘 파악해야 합니다. 앞서 말씀드렸듯이, 이러한 적응증의 상당수는 매우 소규모입니다. 따라서 임상 시험 또한 규모가 작습니다.
	동시에 환자들은 종종 매우 위중한 상태입니다. 따라서 데이터를 분석하고 환자의 요구에 신속하게 대응하는 것이 매우 중요합니다.
	임상적으로든 상용화되든 마찬가지입니다. "이 약을 만들 수 없잖아, 안 그래?" 같은 상황은 원치 않습니다. "만들 수 있게" 하고 싶습니다.
	제조업도 아주 중요한 일이죠. 뉴스에서 보셨는지 모르겠지만,
	확장 발표. 물론 백신 생산 능력을 확대하고 있지만, 중요한 변화 중 하나는 pDNA입니다. 사람들은 수백만 달러, 때로는 수십억 달러를 지출하고 있습니다.
	제조 현장을 늘리는 거죠. 그러면 "좋아요, 제조 현장을 늘리면 되죠."라고 말할 수도 있겠죠.
	좋습니다. 하지만 이제 제조 현장으로 기술을 이전해야 합니다. 공정이 견고해야 하고, 견고해야 합니다.
	전송 및 확장이 가능하지만 통계적 능력이 있는지 확인하여 말할 수 있습니다.
	저는 제 프로세스가 잘 관리되고 있다는 것을 알고 있습니다. 2%의 변동성이 있을 수 있지만, 항상 2%의 변동성을 가지고 있고, 예를 들어 그 변동성을 특성화하고 있습니다.
	그리고 점점 더 많은 생산 능력이 온라인에 접속되고 공급 부족 현상도 발생하면서, 제품을 어디로 가져갈지 고민하게 되었고, 이를 고려하여 더 일찍 제조를 위한 설계가 필요하게 되었습니다.
	파이프라인에 여러 제품이 있을 수 있습니다. 따라서 학습하고 해당 정보를 파악하여 "이 제품에 대해 예측 모델링을 해 보겠습니다. 제품과 정확히 일치하지는 않지만 유사한 속성을 가지고 있습니다."라고 말할 수 있어야 합니다.
	그래서 CMC 전략이 임상적 측면을 취하는 것처럼 상용화로 가는 길은 매우 통합적입니다.
	분자가 진행되기 위해서는 모든 것이 함께 모입니다. 또한
	시스템적인 측면에 대해 생각해 보세요. 왜 그럴까요? 상류 부문에서 뭔가를 하면 생산성을 높일 수 있기 때문입니다.
	200%라고 가정해 보겠습니다. "네, 이정표를 달성했습니다. 환자에게 전달할 수 있습니다."라고 말하는 것과 같습니다. 하지만 다운스트림이나 셀
	회복이 실제로 제품, 예를 들어 세포 치료제나 단백질 치료제를 회복할 수 없다면, 우리는 제품을 가질 수 없습니다. 그 모든 작업은 어느 정도 무산됩니다. 그래서 시스템을
	접근 방식을 통해 비즈니스, 공급망, 품질 관리, 발견 등 다양한 그룹을 모두 참여시키는 것이 중요합니다. 모든 사람이 환자에게 최종적으로 제공하기 위해 지식을 제공해야 합니다.
	그럼 이제 필에게 넘겨드리겠습니다. 약물 개발 과정에 대해 더 자세히 이야기하고 싶었지만, 일단... 데이터를 어떻게 분석할 수 있는지 살펴보죠. 자, 필, 이제 넘겨드리겠습니다.
필립 램지	알겠습니다. 티파니, 그 토론에 감사드립니다.
	앞으로 진행될 사례 연구를 위한 토대를 마련하기 위해, 저는 JMP에서 대부분의 시간을 할애하여 JMP에 존재하는 몇 가지 중요한 도구들을 시연할 예정입니다. 아마 여러분은 그 도구들이 어떤 것인지 잘 모르실 수도 있습니다.
	이는 실제로 프로세스 개발에 매우 ​​중요하며, 특히 CMC 경로, 화학 제조 관리 및 설계 품질과 관련된 측면에서 더욱 그렇습니다.
	그리고 프로세스 개발의 두 가지 중요한 특징은 다음과 같습니다.
	프로세스를 설계하는 동시에 프로세스를 특성화해야 하는 상황입니다. 실제로 전체 운영 영역을 특성화해야 합니다.
	물론, 우리는 매우 바람직한 결과물을 얻기 위해 최적화를 원합니다. 하지만 우리가 종종 간과하는 점은 이러한 활동들이 본질적으로 예측과 관련이 있다는 것입니다.
	미래 성과를 예측할 수 있는 강력한 예측 모델을 구축해야 합니다. 이는 특히 개발 후반 단계에서 규제 기관에 매우 중요한 부분입니다.
	제품을 안정적으로 생산할 수 있다는 것입니다. 공정 특성화 및 예측 문제에 대한 주요 논문은 George Box와 그의
	엔지니어인 윌슨 대대.
	그리고 그들은 오늘날 사람들이 주목하는 것처럼 반응 표면의 시작이 무엇인지에 대해 이야기했습니다.
	그리고 이 연구의 핵심은 그들이 완전 이차 모형이라고 부르는 것입니다. 음, 그게 뭐냐고요? 음, 그건 주효과를 포함하는 모형입니다.
	모든 양방향 상호작용과 이차 효과. 그리고 이는 여전히 프로세스 모델 구축, 특히 생산 모델 구축의 황금률일 것입니다.
	하지만 사람들이 잘 알지 못하는 것은, 이 함수들이 최적화에 유용하다는 것입니다. 미지의 반응 함수에 대한 2차 근사치로 유용하기 때문입니다. 하지만 잘 알려지지 않은 점은, 전체 설계 영역에서 이 함수들이 반응 표면에 대한 근사치가 좋지 않은 경우가 많다는 것입니다.
	그리고 1996년에 고인이 된 존 코넬과 물론 많은 사람이 알고 있겠지만, 더그 몽고메리는 정말 과소평가된 논문을 발표했습니다.
	그리고 그 논문에서 그들은 완전한 이차 모형이 설계 공간을 특성화하기에 종종 불충분하다는 사실을 제기했습니다. 과학자의 관점에서 생각해 보고, 이러한 생화학적 변화가 얼마나 역동적인지 생각해 보세요.
	프로세스는 종종 그렇습니다. 다시 말해, 반응 표면의 여러 영역에서 뚜렷한 복합 곡률이 나타나는 비선형성이 매우 높습니다.
	그리고 완전한 2차 모델은 이 문제를 해결할 수 없습니다. 그래서 그들이 제안한 것은 그 디자인을 보강하는 것이었고, 2차에서 1차로, 1차에서 2차로, 심지어 1차에서 2차로의 변환까지 추가했습니다.
	이차 상호작용에 대한 것입니다. 이 모델들은 완전한 이차 모델보다 설계 영역을 더 잘 근사하는 것으로 나타났습니다. 잠시 후에 보여드리겠습니다.
	하지만 그들에게는 문제가 있었습니다. 첫째, 전통적인 통계학자들은 이런 접근 방식을 좋아하지 않았습니다. 하지만 요즘은 상황이 크게 바뀌고 있습니다.
	그러나 모델에 추가할 수 있는 이러한 용어가 많이 있습니다. 예를 들어 대규모 중앙 합성 설계도 가능합니다.
	과포화 상태가 됩니다. 무슨 뜻일까요? 미지수 p가 관측값보다 많아 모델을 적합시키는 데 시간이 더 걸린다는 뜻입니다. 하지만 머신러닝과 새로운 예측 모델링 기술이 등장한 요즘 시대에는 이것이 사실상 제약 조건이 아니라는 것이 밝혀졌습니다.
	그래서 우리가 할 일은, 부분 가중치 부트스트래핑이라는 것을 사용하는 것입니다. 이는 JMP Pro에서 할 수 있습니다.
	그리고 반응 표면을 예측하는 모델을 구축하기 위해 모델 평균화라는 것을 사용하는데, 저는 실제로 이러한 대규모 증강 모델을 사용할 것입니다.
	네, 설계 품질 중심 예측 모델을 구축하려고 할 때, 몇 가지 알아두어야 할 사항이 있습니다. 첫째,
	1996년에도 머신러닝의 선구자 중 한 명인 고(故) 레오 브리먼(Leo Brieman)이 쓴 논문이 다시 한번 제대로 평가받지 못하고 있습니다. 그는 다음과 같이 지적했습니다.
	우리가 예측을 위해 사용하는 모든 모델 구축 알고리즘(여기에는 전방 선택, 모든 가능한 모델, 최상의 하위 집합, 라쏘가 포함됩니다)
	본질적으로 불안정합니다. 무슨 뜻일까요? 불안정하다는 것은 데이터의 작은 변화만으로도 모델이 크게 달라질 수 있다는 것을 의미합니다.
	그래서 그는 이것을 지적하기 위해 몇 가지 작업을 했고 전략을 제안했습니다. "글쎄요, 만약 당신이 어떤 식으로든 시뮬레이션할 수 있다면,
	모델 피팅을 통해 각 시뮬레이션 실행 시 데이터를 어떻게든 교란시키면 많은 수의 모델을 피팅한 다음 평균화할 수 있습니다." 그리고 그는 그것에 잠재력이 있음을 보여주었습니다.
	그 당시에는 그럴 만한 도구가 많지 않았습니다. 하지만 오늘 저는 JMP Pro에서 다양한 도구를 사용하는 방법을 보여드리고, 브리먼의 아이디어가 실제로 매우 훌륭하다는 것을 보여드리겠습니다.
	이제는 머신 러닝과 딥 러닝 분야에서 앙상블 모델링과 모델 평균화라는 아이디어가 일반적으로 받아들여지고 있습니다.
	그런데 몇 년 전, John Sall이 JMP의 단계별 플랫폼에서 모델 평균화라는 방식을 도입했다는 점을 간략히 말씀드리겠습니다. JMP의 숨겨진 보석과 같은 기능입니다. 잘 작동하며 두 버전의 JMP에서 모두 사용할 수 있지만, 저는 더 포괄적인 솔루션을 제시해 드리겠습니다.
	JMP Pro에서 가능합니다. 이 솔루션은 '분수 가중치 부트스트래핑 및 자동 검증'이라고 하는데, 무슨 뜻인지 설명해 드리겠습니다.
	예측 모델을 구축할 때는 한 가지 과제가 있습니다. 모델을 적합시키기 위한 훈련 세트가 필요하고, 그 다음에는 추가적인
	또는 모델이 얼마나 잘 예측하는지 테스트하기 위한 검증 데이터 세트가 필요합니다. 하지만 DOE에는 이러한 추가 시험 자료가 없습니다. 사실 브리먼은 이 부분에서 난항을 겪었습니다.
	실제로 검증 오류를 생성할 방법은 없습니다. 2017년 Discovery Frankfurt에서 JMP 통계 연구 책임자인 Chris Gotwalt와 저는
	발표를 했는데, 저희는 부분 가중치 부트스트래핑과 자동 검증이라고 부르는 방법을 소개했습니다. 자동 검증이란 무엇을 의미할까요?
	직관적으로, 훈련 세트를 검증 세트로도 사용할 겁니다. "이거 말도 안 돼. 똑같은 데이터인데."라고 생각하실 수도 있겠죠.
	하지만 이 기법에는 효과적인 비밀 소스가 있습니다. 바로 원본 데이터를 복사하여 자동 검증 세트라고 부르는 것입니다.
	그리고 우리는 특별한 방식으로 관찰에 무작위 가중치를 할당하고 가중치를 부여합니다.
	이를 통해 훈련 세트와 자동 검증 세트 사이에 역상관 관계를 유도할 수 있습니다. 이 내용을 곧 설명해 드리겠습니다.
	알겠습니다. 그런데, 저희는 제 박사과정 학생인 트렌트 렘프키스를 지도하고 있는데, 그는 지난 1년 동안 이 방법을 심도 있는 시뮬레이션을 통해 폭넓게 연구했습니다.
	그리고 우리는 이 방법이 실제로 DOE의 예측 모델 구축에 있어 기존 접근 방식보다 더 우수한 결과를 낸다는 것을 보여주는 논문을 발표할 것입니다.
	그럼 여기서 바로 넘어가서 사례 연구에 대해 이야기해 보겠습니다. 티파니가 언급한 내용은 다음과 같습니다.
	pDNA. 정말 핫한 주제인데, pDNA 제조업체는 큰 성장 분야로 여겨지고 있고, 바이오테크 업계에서는 40%까지 큰 성장을 기대하고 있습니다.
	매년 새로운 치료법이 등장하고 이를 사용할 수 있기 때문입니다.
	이 경우는 바이오기술 분야에서 매우 흔한 일인데, 예측 모델을 구축하는 데 사용할 수 있는 기존 데이터가 전혀 없습니다.
	따라서 실험 계획법을 사용하는 것이 옳습니다. 이 경우에는 확정적 선별 설계를 사용할 것입니다.
	이것은 JMP의 브래드 존스와 미네소타 대학의 크리스 나흐트샤임이 만든 훌륭한 발명품입니다.
	효율성이 매우 뛰어나고, 실험에 필요한 시간과 자원이 제한적인 생명공학 분야에 종사하는 사람들에게 항상 적극 추천합니다.
	기본적으로 생물 공정이 어떻게 진행되는지 개략적으로 보여드리는 겁니다. 그리고 발효 단계에 집중해 보겠습니다.
	하지만 실제로 티파니가 암시했듯이, 우리는 이 과정의 상류와 하류 측면을 모두 살펴볼 것입니다.
	pH, 용존 산소량, 유도 온도. 발효기의 온도를 설정하는 기준은 다음과 같습니다.
	유전자 변형 대장균이 플라스미드를 생산하기 시작했습니다. 플라스미드란 무엇일까요? 사실 염색체가 아닌 DNA입니다.
	이들은 치료, 특히 유전자 치료에 다양하게 활용되며, 박테리아에서 발견되는 일반적인 염색체 DNA와는 별개입니다.
	그래서 저희의 목표는 이 변형된 대장균이 최대한 많은 pDNA를 펌핑하도록 하는 것입니다. 그래서 실험을 진행했습니다. 이건 실제 실험입니다. 그리고 DSD를 처음 접했기 때문에 훨씬 더 큰 규모의 전통적인 중앙 합성 설계도 진행했습니다. 이 실험은 별도로 진행했습니다.
	오늘 할 작업은 CCD를 검증 세트로 사용하고, DSD에 자동 검증을 적용하여 모델을 적합시키는 것입니다. 어떻게 될지 지켜봐야겠습니다. 좋아요, 이제 JMP로 전환하겠습니다.
	데이터 테이블을 열겠습니다. 여기 DSD 데이터가 있습니다. 이 데이터 세트를 기반으로 모든 모델링을 진행할 겁니다. 아, 그리고, 40개의 예측 변수로 구성된 모델을 15개의 예측 변수로 구성된 모델에 적용해 보겠습니다.
	머신 러닝 기술을 활용하여 설계를 실행합니다. 많은 사람들이 이러한 작업을 수행할 수 있다는 사실, 그리고 머신 러닝과 딥 러닝에서 실제로 이러한 작업이 끊임없이 이루어지고 있다는 사실을 이해해야 할 것입니다.
	이 작업을 쉽게 해주는 몇 가지 추가 기능을 소개해 드리겠습니다. JMP Pro가 필요합니다. 그중 하나는 표를 자동으로 설정해 주는 추가 기능입니다. 이 기능은 JMP의 Michael Anderson이 제작했습니다.
	그럼 어떤 일이 일어나는지 보여드리겠습니다. 이 추가 기능은 JMP 커뮤니티에서 사용할 수 있습니다.
	그래서 원래 데이터를 가져왔다는 점에 주목하세요.
	검증 세트를 생성했습니다. 그리고 제가 말씀드렸듯이,
	우리는 또한 이 가중치 체계를 가지고 있으며 이 가중치는 무작위로 생성됩니다. 그리고 잠시 후에 보시게 되겠지만 우리는 시뮬레이션 연구를 수행하고 모든 가중치를 지속적으로 변경합니다.
	실행하세요. 이렇게 하면 수천 번의 모델링 반복이 다시 생성됩니다. 그리고 Leo Brieman이 경고했듯이,
	응답을 교란시키면 (데이터 구조는 바꾸지 않습니다) 모델에 엄청난 변화가 생깁니다. 자, 그럼 이 부분을 아주 간략하게 설명해 드리겠습니다.
	그럼 모델에 맞는 걸 찾아볼게요.
	그리고 JMP에 가중치가 저장된 위치를 알려줘야 합니다. 이 경우 일반화 회귀 분석을 사용할 텐데, 강력히 추천합니다.
	간단한 데모이므로 전진 선택을 사용하겠습니다. 하지만 이는 자동 검증 기능을 갖춘 매우 일반적인 절차적 SWB입니다. 매우 다양한 예측 또는 모델링 시나리오에서 사용할 수 있습니다. 전진 선택을 사용하겠습니다. 네, 모델 하나를 적합해 보겠습니다.
	그리고 나는 내려와서
	추정치 표입니다. 마우스 오른쪽 버튼을 클릭하고 시뮬레이션을 선택하겠습니다.
	그리고 시뮬레이션을 몇 번 실행하고, 매 시도마다 가중치를 바꾸고 싶다고 설정합니다. 새로운 가중치를 생성하고 싶고요. 참고로, 이건 데모니까 10번만 실행하겠습니다.
	자, 결과가 나왔습니다. 보시다시피, 10개의 모델이 있는데 모두 상당히 다릅니다.
	다시 한번 말씀드리지만, 실제로는 이런 반복 작업을 수천 번 반복할 겁니다. 나중에 보여드리겠지만,
	그런 다음 이 계수들을 평균화할 수 있습니다. 그리고 만약 0이 표시된다면, 해당 회전이 모델에 포함되지 않았다는 뜻입니다. 좋아요, 이제 다른 추가 기능을 보여드리겠습니다.
	그러니 화면을 깔끔하게 유지하기 위해 일부를 닫겠습니다.
	Predictum에서 개발한 또 다른 기능이 있습니다. 이 기능은 팩션 가중치 부트스트래핑뿐만 아니라 모델 평균화 기능도 제공합니다. 다시 말해,
	방금 보여드린 것처럼, 모델 평균화를 하고 싶을 때 사용할 수 있는 애드인(add-in)은 거의 혼자 작업해야 합니다. 네, 하지만 수작업이 꽤 많을 겁니다.
	그래서 Predictum 추가 기능을 사용하려고 합니다. 이 기능은 표를 생성하고, 추가 기능이 어떻게 작동하는지 설명하는 모델을 매우 빠르게 찾으려고 합니다. 표준 반응 표면 모델을 사용하겠습니다.
	pDNA를 예측하고 싶습니다. gen reg 함수를 사용할 겁니다.
	다시 한번 예를 들어 설명하자면, 저는 전방 선택을 사용해 보겠습니다.
	그리고 다시 말씀드리지만, 실제로는 수천 번의 반복을 하지만, 저는 단 10번만 할 것입니다.
	이동을 클릭하세요.
	좋아요.
필립 램지	다시 한번 말씀드리지만, 정말 짧은 시간입니다. 세 가지 발표를 하나로 합친 것 같지만, 모든 부분이 QbD 프레임워크 안에서 잘 맞아떨어집니다. 그래서 저는 모델을 만들었습니다. 이것들은 평균 계수입니다. 다시 말씀드리지만, 아직 10개만 했습니다. 예측 공식은 데이터 테이블에 저장해 두겠습니다.
	그리고 화면을 최대한 깔끔하게 유지하려고 노력할 거예요.
	이게 제 공식이에요. 앱이 모든 평균을 계산해 주니까, 직접 할 필요는 없어요.
	그리고 수식이 있습니다. 그리고 여러분이 잘 모를 수 있는 작은 요령이 있는데, 이 수식은 꽤 복잡합니다. 특히 이 수식을 다른 데이터 테이블에 적용하려는 경우에는 더욱 그렇습니다. 수식 편집기에는 'simplify'라는 정말 멋진 함수가 있습니다.
	보시다시피, 방정식이 간소화되고 다른 데이터 세트에 훨씬 더 쉽게 적용할 수 있게 됩니다. 좋아요, 이건 이 방법을 보여주는 예시였습니다.
	그리고 지금 내가 할 일은 무슨 일이 일어났는지 보여주는 것입니다.
	전체 과정을 거쳤을 때입니다. 이건 데이터 표입니다. DSD와 CCD 데이터 뱅크가 결합된 것을 보실 수 있습니다.
	그리고 검증 데이터에 대한 모델의 성능에 집중하고자 DSD 데이터를 제거하거나 제외하기 위해 행 상태 변수를 사용했습니다. 다시 한번 말씀드리지만, 모델은 DSD에만 적합했습니다.
	그럼 제 41학기는 이렇습니다.
	모델입니다. 이는 수천 번의 반복을 통해 모델을 평균화하여 얻은 증강된 완전 이차방정식입니다. 비교를 위해 동일한 과정을 반복했습니다.
	훨씬 작은 21항의 완전 이차 모형에 대해서요. 예측 측면에서는 어땠을까요? 실제 결과와 예측 결과를 비교한 몇 가지 그림을 보여드리겠습니다.
	그러니 기억하세요. 그리고 강조하고 싶은 것은, 이것이 진정한 검증 시험이라는 것입니다. CCD는 별도로 진행됩니다. 대장균 균주의 새로운 배치를 포함하여 여러 배치의 원료를 사용합니다.
	발효조들 중 일부는 달랐고, 운영자도 완전히 달랐습니다. 바이오테크 분야에 종사하시는 분들께는 아시겠지만, 이건 예측하기 가장 어려운 작업입니다.
	다시 말해서, 이 모델은 DSD에 맞춰졌고, 왼쪽은 41항 모델, 증강 모델이며, 예측 오차의 전체 표준 편차는 약 67입니다.
	오른쪽에서도 다시 한 번, 성능 향상에 도움이 되는 모델 평균화를 사용했습니다. 21개 항으로 구성된 전체 2차 모델만 적용했고 예측 오차가 약 70인 것을 볼 수 있습니다.
	사실, 많은 사람들이 유용한 이차 모델을 완전히 사용하지 않기 때문에 모델 평균화를 사용하지 않으면 성능이 상당히 떨어질 것입니다. 알겠습니다.
	그럼 모델은 완성됐네요. 이걸 어떻게 활용해야 할까요? 음, 저희 목표는 보통 최적화와 특성 분석입니다. 그럼 프로파일러를 열어 보겠습니다. 제가 직접 해 드리겠습니다.
	프로파일러와 그래프 메뉴로 가겠습니다. 제가 가장 잘 만든 모델을 사용하겠습니다. Predictum 추가 기능을 사용하는 모델이죠. 그리고 혹시 이 추가 기능에 관심이 있으시다면,
	베타 테스트 중입니다. Predictum에 연락해 주세요. Wayne@predictum.com으로 이메일을 보내주시면 기꺼이 상담해 드리겠습니다. 그래서...
	모델에 가서 그 다음에 바람직성을 사용했어요.
	생산성을 극대화하는 설정을 찾을 겁니다. 그리고,
	이것은 역사적으로 그들이 얻었던 생산량에 비해 큰 개선이며, 우리가 볼 수 있는 설정을 제공합니다.
	향상된 성능에 대한 내용인데, 이는 다소 직관적이지 않은 내용이었지만 복잡한 시스템에서는 대개 그런 경우가 많습니다.
	모든 것은 생각만큼 직관적이지 않습니다. 그리고 CMC 경로의 후반 단계 개발을 하고 있다면, 특히 정말 중요한 것이 있습니다.
	즉, 그들은 여러분이 입력의 중요성을 평가하고, 어떤 입력이 중요한지 알고 싶어합니다.
	변수의 중요성을 평가합니다. 다시 말하지만, 모든 기술적인 세부 사항은 다루지 않겠습니다.
	그래서 반응의 변화 측면에서 공급 속도가 가장 중요하다는 것을 보여줍니다. 사람들이 직관적으로 이해하기 어려웠던 부분입니다. 두 번째는 용존 산소량입니다.
	그렇다면, 이게 무슨 뜻일까요? 첫째, 이 변수들을 잘 관리해야 한다는 것을 말해줍니다. 그렇지 않으면
	다양한 변수가 있습니다. 이 경우에는 품질에 중요한 속성이 없습니다. 사용할 수 있는 속성이 하나도 없었죠.
	비즈니스에 중요한 속성인 pDNA 생성을 확보했습니다. 하지만 JMP에는 설계 공간을 완전히 특성화하기 위해 할 수 있는 일이 더 많습니다. 제가 한 것은 최적화뿐이지만, 그건 특성화는 아닙니다. 그래서 프로파일러에 또 다른 훌륭한 도구가 있습니다. 좋습니다.
	시뮬레이터라고 불리는 기능인데, 실제로는 제대로 사용되지 않고 있습니다. 그래서 제가 한 건, 입력에 대한 분포를 정의하는 것이었습니다.
	즉, 입력값이 다를 것으로 예상합니다. 이는 FDA가 알고 싶어 하는 부분입니다. 입력값이 매우 다양해짐에 따라 프로세스 성능에 어떤 변화가 발생하는지 살펴보겠습니다. 완벽하게 제어되는 프로세스는 없으며, 특히 규모를 확장하면 더욱 그렇습니다.
	그런데 생각해보니, 이런 더 복잡한 모델, 이런 증강된 완전 이차 모델들은
	경험상, 완전 이차 모형보다 확장성이 더 뛰어납니다. 이것이 더 복잡한 모형을 적용해야 하는 또 다른 이유입니다.
	시뮬레이터에는 시뮬레이션 실험이라는 좋은 도구가 있습니다. 이 도구는 공간 채우기 설계라고 불리는 작업을 합니다. 전체 설계 영역에 점을 분산시키는 것이죠. 그래서 저는 256번 실행하고 싶다고 하겠습니다.
	5000번의 시뮬레이션을 수행하고, 각 지점에서 평균 표준 편차와 전체 결함을 계산합니다. 그렇죠.
	사실 꽤 빨리 진행되죠. 출력 결과가 어떻게 나오는지 보여드리는 겁니다. 다시 말씀드리지만, 이건 이미 해봤습니다.
	그러니 시간을 절약하기 위해 다른 데이터 테이블을 열어보겠습니다.
	다른 하나를 최소화하세요.
	이것이 시뮬레이션 연구의 결과입니다.
	모든 세부 사항을 다루지는 않겠지만, 주요 항목에 모델을 맞추고, 표준 편차에 모델을 맞추고, 전체 결함률에 모델을 맞춥니다.
	그리고 어떤 영역에서는 결함률이 낮고, 어떤 영역에서는 상대적으로 높습니다. 이는 시뮬레이션 데이터에 흔히 사용되는 가우시안 프로세스 모델이라고 합니다. 그렇다면 이러한 모델들을 어떻게 활용할 수 있을까요?
	모델과 이 시뮬레이션 결과를 가지고 어떻게 생각하시나요? 다시 한번 말씀드리지만, 특성 분석은 중요합니다. 간단히 설명해 드리겠습니다.
	여기 3차원 산점도가 있습니다. 공급률과 용출률(DO)을 살펴보겠습니다. 이 두 가지가 매우 중요하기 때문입니다. 표시된 점들은 불량률에 따라 가중치가 부여됩니다.
	구형은 결함률이 더 높다는 것을 의미합니다. 따라서 이 부분을 살펴보면, 우리가 절대 운영하고 싶지 않은 영역이 있다는 것을 알 수 있습니다.
	따라서 우리는 설계 공간을 특성화하고 운영하기에 더 안전한 지역을 찾고 있습니다. 물론, 저는 이것을 할 수 있습니다.
	다른 변수들을 몇 개만 골라도, 어쨌든 정말 피하고 싶은 다른 지역들을 보여주는 셈입니다. 더 많은 것을 할 수 있지만, 제 생각에는 이게 요점이라고 생각합니다.
	계속해서 프로파일러를 사용하여 다시 최적화하겠습니다.
	하지만 저는 다른 방식으로 해보겠습니다. 이렇게 하면 평균 pDNA를 최대화하고 싶습니다.
	이중 대응을 하고 싶고, 전반적인 불량률을 최소화하고 싶습니다.
	그럼 다시 한번, '바람직함'이라는 단어를 사용해 보겠습니다.
	몇 분 정도 걸립니다. 현재 최적화 중인 모델은 매우 복잡하기 때문입니다.
	그리고 주의하세요, 그것은 나타나서 말합니다
	높은 공급 속도, 높은 DO,
	중성 pH와 유도에 가깝습니다. 그런데 유도, 유도 OD 600이 뭔지 알고 싶으시다면, 미생물 질량을 측정하는 기준이 됩니다.
	그리고 특정 질량에 도달하면 (아무도 그것이 무엇인지 확실히 모르기 때문에 우리가 실험을 하는 것입니다) 물질의 온도를 높입니다. 그리고 이것은 실제로
	대장균이 pDNA나 플라스미드를 펌핑하도록 강제하는데, 대장균은 그렇게 하도록 설계되어 있습니다. 그래서 이것을 유도 온도라고 부릅니다. 좋아요. 음, 설정에서 보세요.
	낮은 결함률을 보장받았고, 전반적인 최적화 반응도 높지 않았습니다. 하지만 결함 발생 가능성이 낮은 프로세스를 갖게 된다는 점도 기억하세요.
	좋아요, 그럼 이 시점에서,
	저는 빨리 끝까지 가겠습니다.
	슬라이드입니다. 모든 내용이 이 슬라이드에 담겨 있습니다. 모두 업로드되었습니다.
	에게
	JMP 커뮤니티입니다. 마지막에는 요약이 있는데, 기본적으로 우리가 보여드리는 것은 프로세스와 제품 개발입니다.
	CMC 경로(그리고 그 중 일부는 설계에 의한 품질 관리)를 활용하려면 전체론적 또는 통합적 접근 방식이 필요합니다. 여기에는 많은 시스템적 사고가 반영되어야 합니다.
	프로세스 설계 및 개발은 본질적으로 예측 문제이며, 이는 머신 러닝과 딥 러닝의 영역입니다. 이는 여러분이 생각하는 것과 다릅니다. 일반적인 구축 방식과는 다릅니다.
	통계학, 특히 예측 분야에서 모델을 사용합니다. 부분 가중 부트스트래핑의 자동 검증 및 모델 평균화를 보여드렸습니다.
	매우 효과적이고 정확한 예측 모델을 생성할 수 있습니다. 그리고 다시 한번 강조하지만, 코넬과 몽고메리의 이러한 더욱 복잡한 증강 모델이 실제로 매우 중요하다는 점을 강조하고 싶습니다.
	정말 스케일이 더 좋고, 더 나은 특성화를 제공합니다. 이것으로 감사드리고 발표를 마치겠습니다.

고급 통계 모델링기본 데이터 분석 및 모델링소비자 및 시장 조사콘텐츠 구성데이터 탐색 및 시각화실험 설계예측 모델링 및 머신 러닝품질 및 공정 엔지니어링신뢰성 분석결과 공유 및 전달