여러분, 환영합니다. 함께해 주셔서 감사합니다. 거짓말, 더 많은 거짓말, 아니면 그냥 통계에 대해 더 자세히 알고 싶으시다면, 오늘은 라이어 라이어 영화를 볼까요? 농담입니다. 저희가 어떻게 여기까지 오게 되었는지 간략하게 설명드리자면, 저는 시스템 엔지니어 클라크 레드베터이고, StatSense의 통계학자 메건 페닝턴도 함께합니다.
배경 설명을 좀 드리자면, 제가 연방 정부를 취재하던 시절 Y-12에서 메건을 만났습니다. 오펜하이머 팬이라면 Y-12가 우리의 농축 우라늄(U-235)을 전부 생산한다는 걸 아실 겁니다. 작년에 현장 취재가 있었을 때 이야기를 나누었는데, 제가 Y-12의 보안에 대해 물어봤습니다. 인터뷰 같은 건 어떻게 하시나요? 메건, 거짓말 탐지기 데이터를 사용한다고 하셨잖아요.
네, 신원조사를 위해 거짓말 탐지기를 사용했어요.
정말 놀랐어요. 거짓말 탐지기 데이터라니, 정말 신기했어요. 뭐랄까요? 뭔가 할 수 있을지 한번 살펴보는 게 흥미로울 것 같아요. 거짓말 탐지기 관련해서 이런 건 다 제멋대로라고 생각하거든요. 인간의 개입이 너무 많아요. 메건, 데이터는 뭐 있어요?
Y-12의 거짓말 탐지기 데이터는 얻을 수 없지만, 다행히도 실제로 거짓말 탐지기를 사용하는 고객이 있어서 오늘은 그의 데이터 세트를 살펴보려고 합니다.
좋아요. 좋아요. 다음 슬라이드로 넘어가겠습니다.
폴리그래프의 핵심은 생리적 증상을 기록하여 누군가 거짓말을 하고 있는지 판별하는 것입니다. 신체에 스트레스가 가해지면 생리적 증상이 급격하게 증가하기 때문입니다. 혈압, 심박수, 발한 등 기본적인 감지 센서가 필요하며, 원하는 만큼 센서를 추가할 수 있습니다. 발 움직임, 팔 움직임, 턱 움직임 감지 등 센서를 추가할 수 있습니다. 설정에 따라 상당히 복잡해질 수 있습니다.
설정을 살펴보겠습니다.
일반적인 설정입니다. 센서가 6개 있습니다. 저희 데이터 세트에는 센서가 12개 있습니다. 여기 혈압 측정용 커프가 있고, 가슴에는 호흡 센서가 있습니다. 땀 센서도 있습니다. 이렇게 설정할 때는 다양한 체형의 사람들을 고려해야 합니다. 매번 같은 측정값을 얻을 수 있나요? 반복해서 측정할 수 있나요?
제가 프로세스 엔지니어링을 전공해서 그런지, 여기엔 온갖 변수가 뒤섞여 있는 것 같아요. 이 사람들은 측정 시스템 분석이나 게이지 R&R에 대해 아는 게 있을까요?
안타깝게도 그렇지 않습니다.
아뇨, 안타깝게도 안 돼요. 센서가 12개라고 하셨는데, 뭐가 있을까요? 발 움직임, 좌석 움직임. 센서는 모두 여기에 연결했어요.
폴리그래프 검사자는 폴리그래프 측정의 시작부터 관련성 있는 무관한 질문 기법까지 자유롭게 질문 기법을 선택할 수 있습니다. 기본적으로 관련 질문은 그들이 거짓말을 하고 있다는 것을 알아내려고 하는 것과 관련이 있습니다. 무관한 질문은 그 질문과 전혀 관련이 없습니다. "관련 질문에는 급증이 있지만 무관한 질문은 그렇지 않을 거야."라는 생각이었죠. 하지만 그건 사실이 아니었습니다. 사람은 인간이기 때문에 정말 잘못된 생각입니다. 사람들은 온갖 장비에 연결되는 것을 두려워합니다. 데이터에 온갖 잡음이 섞여 있으니까요.
그들은 관련성 있는 질문과 관련성 없는 질문을 모두 사용하지만, 답을 알고 있는 통제 질문을 추가하여 관련성 있는 질문과 관련성 없는 질문을 비교하는 기준선으로 사용하는 통제 질문 기법을 개발했습니다.
그리고 또 다른 수법이 있습니다. 누군가 누군가를 살해하고 무언가를 훔쳤다고 가정해 봅시다. 그들은 은폐 정보 수사를 사용합니다. 그 사람이 거짓말을 하고 있다면, 무엇을 알아내려고 하는지 정확히 파악할 수 있기 때문입니다. 하지만 좋은 소식은, 우리 주에는 살인자가 없다는 것입니다.
좋아요. 확인해 보려고 했는데, 여기선 살인 혐의는 재판에 회부하지 않을 거예요.
오늘은 아닙니다. 폴리그래프 검사관은 다양한 기법을 선택할 수 있습니다. 여러 방법을 혼합하고 조합할 수도 있습니다. 모든 것은 폴리그래프 검사관에게 달려 있습니다. 저희 데이터 세트에서는 CQT 기법을 살펴볼 것입니다.
12개의 센서를 탑재한 CQT입니다. 데이터가 어떤지 한번 살펴볼까요?
자세히 살펴보겠습니다. 이것은 모든 센서의 소프트웨어에서 나오는 그래픽 출력입니다. 각 센서는 고유한 곡선을 갖습니다. 호흡 시 심박수에 따른 땀이 강조 표시된 것을 볼 수 있습니다. 녹색과 회색 막대는 검사자가 질문을 하는 부분입니다. 회색과 녹색 막대는 검사자가 실제로 질문에 답한 부분입니다.
소프트웨어에서 이러한 곡선을 분석하는 방법은 몇 가지가 있습니다. 하나는 소프트웨어에 기본으로 제공되는 알고리즘이지만, 실제로는 블랙박스입니다. 우리는 그 안에서 무슨 일이 일어나고 있는지, 무엇을 사용하는지 알 수 없습니다. 또한, 검사자는 전문적인 훈련을 통해 훈련된 눈으로 직접 판단할 수 있습니다.
눈으로.
그들이 하는 일은 그곳에 들어가서 정점과 저점을 살펴보고 공식적인 훈련에 기반하여 개인적인 평가를 내리는 것입니다. 그것이 중요한지 아닌지는 중요하지 않습니다.
이런 구역의 타이밍은 심사관들이 눈으로도 판단하는 건가요?
심사관은 질문을 시작했다고 생각할 때, 질문을 끝냈다고 생각할 때, 그리고 응답자가 대답을 시작했다고 생각할 때, 대답을 끝냈다고 생각할 때 스페이스바를 누릅니다.
무서워요. 너무 많아요. 제 진실이든 거짓이든 이 남자 손에 맡길 수 없어요.
여기에는 많은 변화가 있습니다.
결과는 어때요? 어떤 모습인가요?
데이터 세트를 검토하고 점수를 매길 때, -2점에서 2점까지 1점 단위로 점수를 매기는데, 2점이 더 심각합니다. 보시다시피, 이 질문들은 무작위 순서로 세 번이나 반복되었습니다. 변수의 영향을 줄이기 위해 무작위 방식을 적용한 것입니다. 그리고 이 숫자들을 더해서 주관적인 수치를 바탕으로 "진실인가 거짓인가?"라는 질문을 던집니다.
이게 그들 자신의 점수인가요?
이는 그들만의 전문적인 훈련에 따른 채점 방법입니다.
내 냄새는 이거야. 인간의 실수 냄새.
물론입니다. 그럼 제가 앞서 말씀드린 알고리즘, 바로 이 보고서가 나오는데, 진실인지 거짓인지 알려줍니다. 다항식, 확률, 그리고 멋진 통계 용어들이 있죠. 뭔가 숨겨진 과정이 있는 것 같은데, 정확히 뭔지는 아직 모르겠습니다.
알 수 없습니다. 저희 검사관이 직접 조정 작업을 하고 있습니다. 잘 모르겠습니다. JMP Pro Tools를 사용하면 이런 인간적인 차이를 제거하는 데 도움이 될 것 같습니다. 어떻게 생각하시나요?
나는 동의하는 것 같다.
대안적인 접근 방식과 JMP. 이 슬라이드에서 우리가 하고 싶었던 것은 워크플로가 무엇인지 개략적으로 살펴보는 것이었습니다. 물론 대부분의 분석, 모든 분석은 정리 및 시각화부터 시작해야 합니다. 많은 시간을 투자해야 했던 몇 가지 과제와 실제로 이 시각화 단계 이후에 진행된 정리 단계를 살펴보겠습니다.
말씀드린 것처럼 센서가 많습니다. 어떤 센서가 중요할까요? 어떤 센서가 중요할까요? 예측 검사 플랫폼을 살펴보고 이러한 센서들을 걸러내려고 노력했습니다.
메건에게 Functional Data Explorer와 곡선 센서 분석에 대해 이야기해 줬어요. 이 도구는 슬라이스 빵 이후로 최고라고 생각해요. 분명 대박 날 거라고 생각했어요. 시작하면서 뭔가 알아낼 수 있을 거라고 생각했는데, 별로 도움이 되지 않았네요. 이 도구는 우리가 사용해 보려고 했던 도구 중 하나였어요. 이 도구에 대해서는 나중에 좀 더 자세히 이야기할게요.
FTE가 해체된 이후, 모델 스크리닝 플랫폼을 살펴보았습니다. 정말 훌륭했습니다. 수많은 예측 모델을 포함하고 JMP가 실제로 가장 적합한 모델을 결정하도록 할 수 있었기 때문입니다. 그리고 가장 적합한 모델을 얻은 후에는, (중요하게 언급해야 할 점은) 알려진 진실과 알려진 거짓 질문이 포함된 통제 데이터 세트를 확보했습니다. 이 통제 데이터 세트는 모델 스크리닝 플랫폼에서 최적의 모델을 결정하는 데 사용됩니다. 그런 다음 이 모델을 실제 데이터에 적용했는데, 그 데이터가 진실인지 거짓인지 알 수 없었습니다.
이 단계에서는 데이터가 아무것도 보여주지 않았습니다. 저희는 최고의 모델을 실제 데이터에 적용했습니다. 저희가 진행했던 워크플로와 일부 플랫폼을 개략적으로 살펴보고, 잠시 데모를 진행해 보겠습니다. 물론 데이터를 가져와야 했습니다. 정리 작업에 대해 좀 더 자세히 설명하겠습니다. 저는 분산 분석을 활용했습니다. 다양한 차트를 이해하기 위해 분산 분석을 활용했습니다. 메건은 세 명의 개인과 여러 개의 차트가 있다고 언급했습니다. 저희는 그 부분들을 살펴보았지만, 핵심은 센서 트렌드를 살펴보고 Graph Builder에서 실제로 어떻게 보이는지 확인하는 것이었습니다.
앞서 말씀드렸듯이, 저희는 어떤 것들이 중요하고 의미 있는지 파악하기 위해 예측 검사 플랫폼을 활용합니다. 아주 간단하게 살펴보겠습니다. EA, 유산소 운동, 발과 앉은 자세가 가장 중요했습니다. 실제로 땀샘과 유산소 운동은 문헌 전반에 걸쳐 매우 중요한 것으로 보입니다. 두 운동 모두 큰 영향을 미치는 것으로 보입니다. JMP도 이에 동의합니다.
이런 것들을 전혀 몰랐는데도 그 신호들을 발견할 수 있었다는 건 정말 고무적인 일이에요. 사실 그 모든 걸 다 알 필요는 없었거든요.
정확히.
Functional Data Explorer 플랫폼에 대해 잘 모르시는 분들을 위해, 저희가 제공하는 곡선 센서를 생각해 보세요. 이 센서들은 기본적으로 점(point)에 불과합니다. 이 플랫폼은 기본적으로 스플라인에 맞춰집니다. 저희는 이를 함수 모델이라고 부르지만, 이 스플라인을 각각의 고유한 곡선에 맞춰줍니다. 목표는 이러한 입력 중 일부가 검사자가 수행한 작업과 비교하여 전체 곡선을 어떻게 변화시키는지 살펴보는 것입니다. 잠깐 살펴보겠습니다. 제 생각에는 더 높은 단계라고 생각합니다. 이 플랫폼의 목표는 전체 모양에서 신호를 포착할 수 있는지 확인하는 것이었습니다.
마지막에 이렇게 보일 겁니다. 보시게 될 겁니다. 시간에 따른 땀샘 신호입니다. 거짓말과 진실 사이를 왔다 갔다 하고 있죠. 지금 보고 있는 신호는 바로 이 신호입니다. 아쉽게도 이 신호에는 반복되는 구조가 보이지 않습니다. 마치 노이즈처럼 느껴지기 시작했습니다. 데모에서 예시를 들어보겠습니다.
앞서 언급했듯이, FDE는 기대했던 만큼 성공적이지 못했습니다. 모델 스크리닝 플랫폼을 살펴보았습니다. 앞서 말씀드렸듯이 다양한 모델 중에서 선택할 수 있습니다. 특히 중요한 것은 부스팅 트리(boosted tree)였습니다. 그리고 이 플랫폼에는 수많은 분석 옵션이 있다는 것을 알 수 있습니다. 정말 훌륭합니다. 우리는 의사결정 임계값에 집중했습니다. 거짓말을 한 사람이 진실을 말하는지, 아니면 진실을 말했지만 거짓말을 한 사람이 더 중요한지 결정하기 위해서였습니다. 우리는 거짓 양성(false positive)과 거짓 음성(false negative)을 분석하고 있습니다.
어느 쪽이 더 중요한지 정확히 판단할 수 없다고 생각했습니다. 두 가지 모두 최소화하는 의사결정 임계값을 선택하고 싶었고, 실제로는 0.55였습니다. 그래프의 빨간색과 초록색을 보시면 빨간색은 오분류이고 초록색은 정확한 분류입니다. 이 모델을 만든 후, 실제 데이터 세트에 적용하여 검증했습니다.
JMP를 빼고 이 워크플로의 핵심을 살펴보는 건 어떨까요? JMP를 열어 보겠습니다. 여기 원시 데이터 테이블이 있습니다. 첫 번째 단계에서는 시각화를 하려고 했습니다. 여기 Graph Builder를 열겠습니다. 모든 센서를 전환하는 열 전환기가 있습니다. 처음에는 이 신호들을 훑어보면서 어떤 신호가 고유한 구조를 가지고 있는지, 노이즈처럼 보이는지 등을 파악했습니다.
신호가 하나 있었습니다. 땀샘에 대해 언급했죠. 제가 이걸 멈추고 땀샘으로 가 보면, 여기 이 지역 데이터 필터에 대해 어떤 생각이 드실 겁니다. 세 명의 개인과 세 명의 차트가 있죠. 시간 안에 알아내는 게 흥미로울 겁니다. 검사관이 검사를 시작해서 여기를 통해 시간 순으로 진행했습니다. 우리는 이것들의 순서가 무엇인지 알아내야 했습니다.
그다음 핵심 과제는 각 센서의 시작점과 종료점을 구분하는 것이었습니다. 이 작업은 Functional Data Explorer 플랫폼을 사용하는 것이 가장 중요합니다. 이 플랫폼을 사용하려면 이 곡선들을 묶어서 모두 같은 x축에 배치해야 합니다. 이 부분에서 많은 정리 작업이 필요했습니다. 또한, 이 추세를 살펴보면 계측에 대한 의문이 들기 시작합니다. 뭔가 이상하고, 뭔가 표류하고 있는 것 같습니다.
한 번 살펴보죠. 개인을 추가하면, 다른 수단과 심지어 다른 행동까지 보이기 시작합니다. 저는 여기의 실제 측정 시스템과 그 진행 방식에 의문이 듭니다. 이 신호는 FDE가 제대로 작동하는지 확인하기 위해 FDE에 입력했던 것입니다. 실제로 FDE 플랫폼을 살펴보겠습니다.
최선을 다했습니다. 이 플랫폼에서 다양한 신호를 모두 살펴보았습니다. 그리고 제가 정말 하고 싶었던 건 땀샘 분석부터 처음부터 다시 해 보는 것이었습니다. 그러면 사람들이 그 도구가 어떤 기능을 하는지, 그리고 어떤 문제를 겪었는지 직접 볼 수 있을 테니까요. 저는 이 부분을 처음부터 다시 해 볼 겁니다. 먼저 분석 전문 모델링을 진행하고, 그다음 함수형 데이터 탐색기를 사용할 겁니다.
이제 제 출력은 센서입니다. 생땀샘을 가져오겠습니다. X 입력은 시간입니다. 함수 ID는 실행 ID입니다. JMP에 각 고유 곡선을 알려서 보조 변수를 잘라내야 했습니다. 진실과 거짓이 곡선에 영향을 미치는지 확인하고 싶습니다. 더 추가해야 할 사항이 있나요?
저는 개인이라고 생각해요.
아마 그럴 거예요. 무작위 효과니까요.
정확히.
여기에 개별 항목을 추가해 보겠습니다. 그런 다음 확인을 클릭합니다. 바로 이 플랫폼에서 시각화를 진행해야 합니다. 이것이 바로 기준선 변화입니다. 각 원본 데이터를 살펴보면 신호가 크게 눈에 띄지 않습니다. 다양한 변환 및 정리 도구를 지칠 때까지 시도해 봤습니다.
예를 들어, 여기 스펙트럼에서 기준선 보정을 했습니다. 거기에 선형 적합을 추가했죠. 그 영향이 어떤지 보시게 될 겁니다. 우리는… 모든 것이 공통된 스케일로 축소됩니다. 몇몇 특징과 신호가 나타나기 시작합니다. 심지어 단일 정상 변형도 시도했던 것 같습니다. 신호가 보이기 시작하지만, 문제는… 원래 신호와도 거리가 멀다는 겁니다. 계속 멀어질 뿐입니다.
이게 노이즈처럼 보이기 시작하네요. 제가 돌아가서 실제로 EA 원시 전용 프로파일러를 살펴보겠습니다. 오랜 시간과 노력 끝에 이걸 날려버리고, 저것도 닫아버리면, 여기 보이실 겁니다. 제 EA 원시 신호는 시간이 지나면서 땀샘처럼 변하는데요, 진실과 거짓 사이를 오갈 수 있습니다. 그런데 개인별로 전환하면서 이 신호의 고유한 특징을 제대로 포착하지 못하기 시작합니다.
비교를 위해, 실제 FDE를 보여드리겠습니다. 어떤 모습일지 감을 잡으실 수 있도록요. 알루미늄 응력 변형률에 대한 것입니다. 여기서는 프로파일러만 보여드리겠습니다. 이 예시는 알루미늄 합금의 응력 변형률을 연구하는 설계 실험에서 탄생했습니다.
이렇게 보여야 합니다. 온도와 다양한 표본 유형을 살펴보면 상당한 편차가 있었습니다. 제가 이 옵션을 켜면 응력 변형률이 반복 가능한 것을 볼 수 있습니다. 고유한 특징이 보입니다. 여기로 내려오면 다르게 보이는 고유한 특징이 보이기 시작합니다. FDE로는 그런 결과를 얻을 수 없었습니다. 심지어 FPS를 내보내고 예측 모델링 도구를 사용하기까지 했습니다. 좋은 모델을 얻지 못했습니다. 시도해 봤습니다. 메건, 저는 그것이 슬라이스 빵 이후 최고의 것이 될 것이라고 생각했습니다. 그래서 그렇게 했습니다.
그랬죠. 우리는 많은 시간을 보냈어요-
이제 어디로 가야 할까?
저희는 JMP의 모델 스크리닝 플랫폼을 활용하고 있다고 생각합니다.
좋아요. 그렇게 하죠. 공유해 드릴게요.
멋지네요. 고마워요, 클라크. 말씀하신 대로 결국 모델 스크리닝 플랫폼을 선택했습니다. 예측 스크리닝에서 찾은 상위 네 가지 입력값, 즉 심장, EA, 좌석 움직임, 발 움직임을 활용했습니다. 설정 방법을 알려드리겠습니다. 예측 모델링 모델 스크리닝으로 이동하세요.
진실인지 거짓인지 가려내려고 합니다. 그런 다음 실제로 유의미한 것으로 나타난 네 가지 센서 입력을 살펴볼 겁니다. 좌식 자세, 발 움직임, 유산소 운동. 완벽하죠. 여기 아래에서 모든 옵션을 확인할 수 있습니다. 모든 것을 살펴봤습니다. 이를 위해 부스트 트리를 설정했습니다. 그런 다음 실제로 k-폴드 검증도 수행했습니다. 실행하는 데 시간이 걸립니다. 여기로 넘어가겠습니다. 시간 절약을 위해 이미 실행해 봤습니다. 자, 시작해 볼까요?
앞서 말씀드렸듯이, 이 플랫폼에는 수많은 분석 기법이 있습니다. 특히 저희는 이 결정 임계값에 집중했습니다. 앞서 말씀드렸듯이, 빨간색으로 표시되는 부분을 최소화하려고 노력했습니다. 보시다시피, 진실에 대한 확률 임계값을 따라 이동하면서 빨간색이 변합니다. 두 곡선이 교차하는 지점을 정확히 찾아 오분류(거짓 양성 또는 거짓 음성)를 최소화하고자 했습니다.
여기 들어가서 0.55를 사용했습니다. 그러고 나서 예측 수식을 내보낼 수 있었는데, 빨간색 삼각형으로 가서 열 저장, 예측 수식 저장을 클릭하면 됩니다. 그러면 실제 데이터 세트에 이 수식을 적용했습니다. 좋아요, 클라크, 원하는 건-
다시 여기로 돌아와서 다시 공유해 드리겠습니다. 이게 실제 데이터이고, 보시다시피 네 가지 질문이 있습니다. 흐름은 여전히 비슷했습니다. 세 가지 다른 차트, 맞죠, 메건?
예.
그들은 우리가 한 일을 검토했습니다. 순서를 다시 정했죠. 그 공식들을 가져왔습니다. 데이터 표의 맨 마지막에 있습니다. 여기 공식이 있습니다. 그리고 가장 가능성 있는 분류가 있습니다. 그런 다음 A, B, C 개인을 분류하는 가장 쉬운 방법이 무엇인지 논의했습니다. 그들은 진실을 말하고 있을까요, 아니면 거짓말을 하고 있을까요?
저는 각 개인과 각 질문을 가지고 간단한 집계를 했습니다. 개인 내 질문 내를 집계하는 것이죠. 이 부분을 다시 살펴보면서 발표 내용으로 돌아가겠습니다. 핵심 질문은 "피노키오는 누구인가?"입니다. 이 세 사람에 대한 간단한 평가 결과를 보여드리겠습니다. 완전히 새로운 데이터입니다.
이 임계값을 기억하세요. 거짓말과 진실의 비율입니다. 이 50% 임계값을 넘어서면 거짓말을 하고 있을 가능성이 높아집니다. 메건, 제 결론은 이렇습니다. A는 진실을 말하는 사람이고, B와 C는 거짓말쟁이입니다. 제 말이 맞나요? 우리가 이걸 제대로 예측했을까요?
그렇죠. 우리는 소프트웨어의 알고리즘과 심사관을 매치시켰습니다.
우리는 인간의 판단 없이 그것을 해냈습니다.
전적으로.
제가 말하는 거죠. 이 모든 걸 종합해 보면, 가장 큰 결론 중 하나라고 생각합니다. 단순한 거짓말이 아니라 통계라는 거죠. Pro Tools의 이런 방법들을 사용해서 인간적인 면과 판단을 모두 없앨 수 있다면, 저는 아마 거짓말 탐지기를 사용할 겁니다. 지금 상태로는 그렇게 하지 않을 겁니다. 메건, 이 문제에 대해 어떻게 생각하세요?
또 다른 장점은 분석 시간입니다. 며칠씩 걸리는 작업을 저희는 몇 분 만에 끝낼 수 있어서 저희 주머니에 더 많은 돈이 들어오죠. 우리 모두 더 많은 돈을 벌고 싶어 하니까, 이 점은 반박할 수 없죠.
아, 물론입니다. 여기서 멈추면서 현재 테스트 방법과 알고리즘의 현황을 살펴보았습니다. 어떻게 개선할 수 있을까요? 개선을 위한 다음 단계는 무엇일까요?
다음 단계는 DOE입니다. 다양한 인원, 다양한 센서 설정, 다양한 구성을 설정해야 합니다. 기본적으로, 시험관이 질문하고 답변하는 데 걸리는 시간을 고려합니다. 시험관이 살펴보는 회색 영역과 녹색 영역은 매우 다양합니다. 이 부분도 살펴볼 것입니다.
원점으로 돌아왔네요? 이 모든 예측 모델링을 마치고 다시 실험 계획법으로 돌아왔습니다. 저는 공정 엔지니어라서 잘 모르겠네요. 여기서 시작했어야 했는데. 네, 이제 시작해야 합니다. 실험 계획(DOE)을 할지 말지는 문제가 아닙니다. 작년 발견 과정에서 다뤘던 내용입니다. 오늘은 여기까지입니다. 질문을 받도록 하겠습니다.
