실험 설계(DOE)와 무작위 대조 시험은 인과 관계를 규명하는 데 있어 가장 표준적인 방법이며, JMP는 DOE 소프트웨어의 표준으로 여겨집니다. 그러나 현실적으로나 윤리적 제약으로 인해 무작위 배정이 불가능하여 인과 추론을 목표로 하는 많은 연구를 DOE로 수행할 수 없는 경우가 있습니다. 이러한 연구에서는 관찰 데이터에 편향을 유발하는 교란 변수의 영향을 제거하는 것이 필수적입니다.
본 논문에서는 성향 점수, 매칭 알고리즘, 기타 통계 기반 접근법을 포함한 현재 유망한 인과 추론 방법들을 개괄적으로 살펴보고, 실제 데이터/증거에 대한 FDA의 산업 지침 초안을 제시합니다. 휴스턴 재향군인 의료센터 흉부외과 프로그램의 여러 임상 연구를 지원하는 후향적 연구 데이터베이스를 활용하여 JMP에서 몇 가지 절차를 시연합니다. 마지막으로, 인과 관계 규명이 목표이지만 실험 설계(DOE)가 불가능한 경우 실무자가 고려해야 할 권장 사항, 팁 및 주의 사항을 제공합니다.
안녕하세요, 팀 디스커버리 얼리 유저 여러분. 저는 Adsurgo의 짐 위스니오스키입니다. 공동 발표자로는 휴스턴 재향군인 의료센터와 베일러 의과대학에서 심흉부외과 전문의로 재직 중이신 로레인 콘웰 박사님과, 연구 코디네이터이신 파벨 콜로지에스키 박사님이 함께 계십니다.
오늘은 심흉부외과 분야에서 일반적인 무작위 대조 시험 방식이 아닌, 데이터베이스를 활용한 몇 가지 연구에 대해 이야기해 보려고 합니다. 저희는 후향적 연구를 통해 인과 관계를 규명하고자 합니다.
컨설턴트로서 저는 다양한 산업 분야의 고객사를 방문하여 며칠 동안 실험 설계(DOE) 강의를 하고, 이어서 예측 분석 강의를 하는 경우가 종종 있습니다. 이때 제가 "실험 설계는 인과관계를 규명하는 방법입니다."라고 말하며 강의를 시작하는데, 예측 분석, 인공지능, 머신러닝 분야로 넘어가면서 종종 오해가 생깁니다. "물론 인과관계를 규명하는 개념은 DOE에서 비롯되었지만, 다른 방법론들도 여전히 매우 유용합니다."라고 설명해야 할 때가 있습니다.
우리가 하려는 것은 무작위 대조 시험에 기반하지 않고, 실행 가능한 정보, 즉 데이터 기반의 증거를 어떻게 도출할 수 있을지 알아보는 것입니다.
자, 그럼 시작해 볼까요? 먼저 근거와 실험 설계라는 개념, 그리고 그 하위 개념인 무작위 대조 시험(RCT)에 대해 간략히 설명하겠습니다. RCT 분야에서 나타나는 몇 가지 문제점들을 살펴본 후, JMP를 이용한 데모를 진행하겠습니다. 초기 사용자 버전이기 때문에, 실험 설계와 관련하여 여러분이 미처 보지 못했거나 생각지도 못했던 몇 가지 기능들을 보여드리겠습니다.
다음으로 무작위 배정 연구가 아닌 관찰 연구에서 어떤 일이 발생하는지 설명드리겠습니다. 편향을 제어하는 방법 중 하나로 성향 점수 매칭(propensity scoring)을 사용할 것입니다. 시연을 통해 개념을 간략하게 보여드리겠습니다. 그런 다음 콘웰 박사님께 마이크를 넘겨 현재 진행 중인 연구 사례를 소개하고, 해당 연구가 어떤 근거와 연관되는지, 어떤 유형의 정보가 필요한지, 그리고 어떤 수준의 근거가 실질적인 조치로 이어지는지 설명해 주시도록 하겠습니다.
그다음에는 해당 예제와 관련된 몇 가지 메서드를 시연해 보이겠습니다. 그리고 JMP 19에 추가될 몇 가지 고급 메서드에 대해 설명드리겠습니다.
서론부터 말씀드리자면, 상관관계가 인과관계를 의미하는 것은 아니라는 말은 누구나 들어보셨을 겁니다. 오늘은 8월이고, 아마도 우리나라 일부 지역에서는 올해 들어 가장 더운 날일 겁니다. 그런데… 개 물림 사고, 익사 사고, 그리고 아이스크림 판매량 사이에는 매우 강한 상관관계가 있습니다. 개 물림 사고와 익사 사고를 줄이려면 아이스크림을 덜 먹는 것이 우리의 의무입니다.
분명히, 올바른 인과관계가 아닙니다. 사실, 제3의 변수가 원인입니다. 제가 말씀드리고 싶은 것은 우리가 종종 관찰하지 못하는 잠재적인 차원이 존재한다는 것입니다. 이 특정 사례에서는 온도를 통해 쉽게 기록할 수 있습니다. 하지만 우리의 많은 연구에서, 우리가 알지 못하지만 실제로는 인과관계의 원인이 되는 잠재적인 차원이 존재합니다. 우리는 이 점을 인식해야 합니다.
우리 세계에는 실제로 몇 가지 요소가 더 있습니다. 상관관계는 좋은 출발점이지만, 그 상관관계가 성립하려면 한 가지가 다른 한 가지보다 먼저 발생해야 합니다. 그리고 마지막으로 중요한 것은 그것이 허위 상관관계가 아니라는 점입니다. 우리 경우에는 다른 대안적 설명이 없는 허위 상관관계입니다.
실험 설계에서 우리는 입력 변수가 있을 때 반응 변화를 유발한다는 점을 통해 인과 관계를 확립한다고 배웠습니다. 여기서 중요한 점은 이러한 변수들을 통제해야 한다는 것입니다. 이번 실험에서는 온도와 압력을 이 수준으로 유지하고 반응을 관찰해 보겠습니다.
JMP는 오랫동안 실험설계(DOE) 소프트웨어의 대표적인 선택지였습니다. 최근 2017년과 2018년에는 Easy DOE 플랫폼을 출시했는데, 특히 초보 사용자에게는 워크플로우에 도움이 되는 훌륭한 옵션들이 많아 적극 추천합니다. JMP의 모든 기능을 Easy DOE 플랫폼에 통합하는 데 있어 상당한 발전을 이루었습니다. 일반적으로 실험설계는 계획, 설계, 실행, 분석 단계로 생각하지만, Easy DOE 플랫폼에서는 정의, 모델링, 설계, 데이터 입력, 분석, 예측, 보고 단계까지 모두 포함합니다.
거기에 좋은 참고 자료들이 있습니다. 어떻게 하는지 보여주는 영상도 있으니 참고해 보세요. 다시 한번 말씀드리지만, 초기 사용자 그룹을 염두에 두고 있습니다. 오늘은 무작위 대조 설계(RCT)에 대해 이야기해 보겠습니다. RCT는 실험 설계(DOE)의 하위 개념입니다. RCT는 근거 중심 의학의 핵심 개념입니다. 실제로 의학 분야에서 RCT의 활용은 1980년대 심장학 분야에서 시작되었는데, 당시 많은 획기적인 연구들이 심흉부 시술 및 중재술의 발전뿐 아니라, 이러한 결과들을 어떻게 신뢰할 수 있는지에 대한 과학적 근거를 확립하는 데 크게 기여했습니다. 핵심은 내부 타당도에 대한 편향을 최소화하는 것입니다.
어떻게 하는 걸까요? 간단히 말해서, 환자를 무작위로 중재 그룹에 배정하거나 대조군에 배정하면 됩니다. 통계학의 아버지라 불리는 로널드 피셔 경은 실제로 필요한 것은 각 사람을 무작위로 선택하여 대조군과 치료군으로 나누는 것뿐이라고 말했습니다. 층화와 같은 복잡한 과정은 필요 없다는 거죠.
사실 그는 모든 것이 귀무 가설에 기반한다고 주장했습니다. 데이터를 수집하고 치료군과 대조군이 동등할 확률은 얼마인가라고 묻는 것이죠. 그러면 증거를 통해 두 집단이 동등하지 않을 확률을 알 수 있다는 겁니다. 그는 거기서 설명을 마쳤습니다.
하지만 저지 나이먼과 더글러스 루빈은 이를 확장하여 1종 오류와 2종 오류를 도입하고 오늘날 우리가 사용하는 무작위 대조 시험(RCT) 접근법을 확립했습니다. 참고로, 오른쪽 구석에 파이프 담배 연기 속에 있는 로널드 피셔 경을 볼 수 있습니다. 1950년대 중반, 영국 의학 저널(British Medical Journal)에 흡연과 암 사이에 상당한 연관성이 있다는 연구 결과가 많이 발표되었고, 그 때문에 많은 사람들이 금연하게 되었습니다.
하지만 피셔는 무작위 배정에 대한 확고한 신념 때문에 이러한 증거들을 전혀 인정하지 않았습니다. 그래서 그는 신문 투고란에 편지를 써서 이것이 사실이 아니라고 주장했습니다. 사실 그는 담배 업계의 열렬한 친구였습니다. 그는 세계 통계학의 거장이었지만, 증거가 충분하지 않다고 주장했습니다. 왜냐하면 무작위 대조 시험이 없었기 때문입니다. 물론 그는 3,000명을 흡연자로, 3,000명을 비흡연자로 무작위 배정하는 것이 윤리적으로 문제가 될 수 있다는 점은 인정했습니다.
하지만 그는 여전히 자신의 입장을 고수하며, 상관관계가 상당하다는 증거를 믿으려 하지 않았습니다. 무작위 대조 시험이 아니라는 이유로 승인해 주지 않으려 했던 것입니다.
결국 그는 어쩌면 여기에도 어떤 잠재적인 요인이 있을지도 모른다고 말했습니다. 어쩌면 흡연 성향뿐만 아니라 폐암 발병 성향까지 유발하는 유전자가 있을지도 모른다는 것입니다. 결국 그는 포기하지 않았고, 얼마 지나지 않아 암으로 세상을 떠났습니다.
다른 아이디어로는 이중맹검법이 있는데, 이는 환자와 의료진 모두 치료 내용이 무엇인지, 치료를 받는지 여부, 특정 자극을 차단했는지 여부를 모르는 상태를 말합니다.
하지만 오늘날 우리가 접하는 일부 무작위 대조 시험의 문제점은 여러 가지 이유로 인해 많이 사용되지 않고 있다는 점입니다. 그중 가장 큰 이유는 무작위 대조 시험이 매우 부담스럽다는 인식 때문입니다. 국제 의약품 규제 조화 회의(ICH)에서 제시하는 가이드라인은 문자 그대로 따르기보다는 그 정신을 따르는 데 중점을 두고 있지만, 이러한 가이드라인 때문에 사람들이 무작위 대조 시험을 꺼리는 경향이 있습니다.
놀랄 것도 없이, 무작위 대조 시험은 매우 비용이 많이 들고, 일반적으로 단기적인 결과에 더 초점을 맞춥니다. 비용 때문에 무작위 대조 시험을 계속 진행하는 것은 아니기 때문입니다. 앞서 언급했듯이 흡연과 피셔의 윤리적 문제도 있습니다. 이 모든 것은 치료 효과의 이질성으로 귀결됩니다. 즉, 무작위 대조 시험에 참여하려면 특정 기준을 충족해야 합니다. 따라서 시험 결과가 전체 대상 집단에 반드시 적용되는 것은 아닙니다.
이는 여러 차례 입증된 사실입니다. 2020년에 발표된 한 연구에서는 주요 연구 결과들을 살펴본 후, 실제 임상 데이터와 무작위 대조 시험(RCT) 결과를 비교했을 때 완전히 상반된 결론이 나왔다고 지적했습니다. 따라서 무작위 대조 시험의 내적 타당성을 검증하는 것 이상으로 연구 범위를 확장해야 한다는 점에 매우 신중해야 합니다. 무작위 배정을 통해 교란 변수를 제거해야 하기 때문입니다.
내부 교란 요인을 고려했다는 점은 훌륭하지만, 우리가 놓치고 있는 것은 외부 요인입니다. 만약 우리가 의도적으로 75세 이상 고령자나 BMI가 높은 사람들을 임상시험에서 제외한다면, 연구 결과를 일반화할 수 없는 큰 위험에 직면하게 될 것입니다.
무작위 대조 시험을 잘 수행하기 위한 몇 가지 지침이 있는데, 제가 강조하고 싶은 것은 우리 분야에서는 이러한 지침들이 모두 통계적 방법론에 기반한다는 점입니다. 우리는 무작위 배정을 제대로 하고, 적절한 표본 크기를 확보하고, 편향을 제거해야 합니다. 이를 위한 몇 가지 방법을 살펴보겠습니다. 심흉부외과 분야에서도 작년쯤부터 이러한 대조 시험을 개선하고 1980년대처럼 선도적인 역할을 하려는 움직임이 활발하게 일어나고 있습니다.
이는 코로나19 사태에서 실제로 입증되었는데, 무작위 대조 시험이 너무 오래 걸렸고, 실행 가능한 근거 기반 정보가 더 많았기 때문에 이러한 개입에서 상당한 진전을 이룰 수 있었습니다.
지금부터 무작위 대조 시험을 수행하는 경우를 가정한 JMP 데모를 간단히 보여드리겠습니다. 세 가지 작업을 진행할 예정입니다. 첫째, DOE 플랫폼에서 어떻게 설정하는지 알아보겠습니다. 둘째, 무작위 대조 시험을 수행하든 안 하든, 종종 묻는 질문 중 하나는 적절한 표본 크기가 얼마인지입니다.
먼저 그 부분을 살펴보고, 몇 가지 분석 옵션을 살펴보겠습니다. 저널로 넘어가겠습니다. 이 저널은 제가 이번 세션 자료와 슬라이드에 포함시켜 드렸습니다. 여기 소개 부분에 저희 소개와 연락 방법이 나와 있습니다. 자, 이제 무작위 대조 시험을 설계한다고 가정해 보겠습니다. BMI, 연령, 성별에 따라 층화 분석을 하고 싶은데, 일반적으로 이러한 요소들은 중요한 위험 요인으로, 각 변수가 동등하게 포함되도록 해야 하기 때문입니다.
그래서 제가 필요한 요소들을 여기에 저장해 두었으니 빠르게 시작할 수 있습니다. 제가 Easy DOE가 여러분 모두에게 큰 도움이 된다고 말씀드렸지만, 이번 경우에는 일반 Design of Experience 플랫폼을 사용하려고 합니다. 왜냐하면, 예를 들어 BMI가 매우 높은 사람이나 고령자는 위험도가 높기 때문에 이번 임상시험에서 제외하고 싶을 수 있기 때문입니다.
우리는 DOE(미국 에너지부) 규정에 따라 맞춤형 설계를 진행할 겁니다. 요인을 입력하기만 하면 바로 시작할 수 있습니다. 여기 보시면 BMI는 낮음, 중간, 높음 세 단계로, 연령도 세 단계로 설정되어 있습니다. 허용되지 않는 조합을 사용해서 BMI와 연령을 입력해 보겠습니다. 여기서 원하지 않는 것은 높은 연령과 높은 BMI가 동시에 나타나는 경우입니다.
이제 이 작업을 수행하는 설계를 만들어 보겠습니다. 예를 들어, 이 시술을 담당할 의사가 두 명 또는 외과의사가 두 명 있을 수 있습니다. 30명으로 구성된 그룹을 만들어 총 60명을 선택하겠습니다. 이것은 무작위 블록화인데, 외과의사가 매우 많은데 그중 두 명만 고려하는 경우, 이는 무작위 효과로 작용합니다. 이제 설계를 만들어 보겠습니다. JMP는 BMI, 나이, 성별 세 가지 요인 간에 균형을 이룬 설계를 제공합니다. 그다음, 이 60번의 시행에서 누가 치료를 받고 누가 받지 않는지 알아내야 합니다. 간단하게 새 열을 추가하면 됩니다.
이건 신규 사용자들을 위한 설명입니다. 얼마나 쉬운지 알 수 있죠. 먼저 '치료' 항목으로 들어가서, 여기에 수식을 하나 만들 거예요. 이 수식은 다음과 같습니다. 0에서 1 사이의 균일 분포를 따르는 임의 값이 0.5보다 크면 치료군으로, 그렇지 않으면 대조군으로 설정하는 거죠.
좋아요, 적용해 볼게요. 좋아요. 이제 여기에 입력할 수 있는 디자인이 생겼네요. 중요한 건, 보시다시피 제가 나이를 표시해 둔 부분에, 이 실험에는 나이가 많으면서 BMI가 높은 사람은 아무도 없다는 겁니다. 마찬가지로, BMI가 높은 사람은 나이가 적거나 중간 정도인 사람들만 있는데, 그 이유는 제 실험 결과가 그 규칙을 잘 따랐기 때문입니다.
다음으로, 몇 번의 임상시험을 진행해야 할까요? 이는 일반적으로 검정력 분석이라고 하는 것을 통해 답을 얻을 수 있습니다. DOE 표본 크기 탐색기를 사용하면 검정력 분석을 할 수 있습니다. 예를 들어, 수술 후 심방세동 발생률에 관심이 있다고 가정해 보겠습니다. 일반적으로 전체 인구에서 심방세동 발생률은 약 25%입니다.
저는 이 개입이 그 비율을 예를 들어 15%까지 낮추는 데 도움이 되는지 확인하고 싶습니다. 두 개의 독립적인 표본 비율을 비교해 보겠습니다. 먼저 0.25의 비율을 입력하고, 그다음 0.15의 비율을 입력하겠습니다. 이 차이는 실질적으로 우리에게 의미 있는 수치입니다. 만약 10%포인트의 차이가 나타난다면, 우리는 이 정도의 차이가 개입할 가치가 있다고 판단하여 프로토콜에 포함시킬 것입니다.
만약 제가 방금 설계한 것처럼 60번의 시험만 진행한다면, 검정력은 16.5%에 불과합니다. 검정력에 대해 자세히 설명할 수도 있지만, 검정력이란 치료 효과가 실제로 중요하다면, 10.1의 차이를 관찰했을 때 연구 결과가 그 효과를 입증할 확률을 나타냅니다. 일반적으로 검정력은 최소 80% 정도가 되어야 합니다. 각 실험군에 250번씩, 그리고 여기에도 250번씩 시행해 보겠습니다. 이렇게 하면 검정력이 약 80%가 됩니다. 이처럼 검정력 곡선을 이용하여 설계할 수 있습니다. 그래프에서 아래로 스크롤하면 검정력이 감소하는 것을 확인할 수 있습니다.
이 도구는 여러분이 심도 있는 토론을 하고 위험 부담을 균형 있게 조절하는 데 매우 유용합니다. 예를 들어 연구 책임자가 "500명까지는 감당할 수 없어요. 각 100명씩만 진행해야 합니다."라고 말할 수도 있습니다. 그러면 "좋습니다. 그렇다면 검정력이 어떻게 변하는지 살펴보세요."라고 답할 수 있습니다. 자, 이제 다시 파워포인트로 돌아가서 실제 데이터를 바탕으로 몇 가지 다른 아이디어에 대해 이야기해 보겠습니다.
무작위 대조 시험을 하지 않는다면 어떻게 해야 할까요? 최근 연구에 따르면, RCT의 법적 요건을 문자 그대로 적용할 수는 없지만 실용적인 RCT를 시행하는 것이 좋을 수 있다고 합니다. 웨어러블 센서나 가상 추적 관찰과 같은 기술을 더 적극적으로 활용하여 전반적인 부담을 줄일 수 있을 것입니다.
마찬가지로, 레지스트리 대조 시험이라는 개념이 있는데, 이는 무작위 대조 시험에서 수집하는 데이터와 거의 동등하거나 경우에 따라서는 더 나은 수준의 잘 정리된 데이터베이스를 활용하는 것입니다. 이제 이러한 데이터베이스를 기반으로 무작위 배정을 통해 대상을 선정할 수 있습니다. 예를 들어, 시설 1과 시설 2 또는 의료 제공자 1과 의료 제공자 2 간의 무작위 배정을 진행할 수 있습니다.
더 높은 수준에서 무작위 배정을 수행합니다. 하지만 핵심은 이 데이터베이스가 매우 잘 검증되고 확인되었다는 것입니다. 이제 이러한 조사를 매우 신속하게 수행할 수 있게 되었습니다. 그리고 우리가 지금 살펴보고 있는 것은 후향적 연구인데, 이러한 연구는 평판이 좋지 않고 어쩌면 부당할 수도 있지만, 관찰 연구와 후향적 연구를 통해서도 여전히 할 수 있는 일들이 있다는 것입니다.
최근에 알게 된 매우 유용한 방법 중 하나는 메타 분석 연구, 즉 체계적인 연구들을 살펴보는 것입니다. 예를 들어 "다양한 코호트에서 이 주제에 대해 발표된 논문이 9편 정도 있다"라고 가정해 봅시다. 이렇게 모든 연구 결과를 종합하면, 모든 연구가 동일한 결론을 내리고 있는지, 아니면 차이점이 있어서 신뢰할 수 없는지 명확하게 알 수 있습니다.
이러한 메타 분석은 매우 유용하며, 깔때기 도표, Q 통계량, I² 통계량과 같은 자체적인 통계적 측정 지표를 가지고 있습니다. 우리에게는 희망이 있습니다. 특히 FDA의 신약 승인 절차를 예로 들면, 현재 FDA는 2상, 3상 임상시험에서 결정을 내릴 때 실제 데이터와 실제 증거를 최대한 연구에 통합하려는 노력을 기울이고 있습니다.
관찰 연구의 유용성을 확보하는 가장 좋은 방법 중 하나는 매칭입니다. 만약 1,000명의 환자 중 200명이 치료를 받았다면, 남은 800명 중에서 치료를 받은 200명과 매우 유사한 200명을 찾을 수 있을까요? 저는 제가 지정한 여러 기준들을 살펴봅니다. BMI, 나이, 그리고 다른 몇 가지 지표들이 유사한 환자들을 찾고자 할 수 있습니다.
성향 점수 매칭의 목적은 가능한 한 깔끔하게 각 대상을 서로 매칭하는 것입니다. 이렇게 하면 편향을 어느 정도 제거할 수 있습니다. 다시 말해, 변수 측면에서 우리의 문제는 두 가지입니다. 우리가 놓치고 있는 잠재적 차원이 있거나 변수들이 서로 교란되어 있다는 것입니다. 우리는 이것이 실제로 우리의 개입 효과인지, 아니면 단순히 치료 집단에 젊은 사람들이 더 많았기 때문인지 알 수 없습니다.
이제 매칭 작업을 진행하여 모든 것이 최대한 깔끔하게 정리되었는지 확인해야 합니다. 그런 다음, 코널웰 박사님께 마이크를 넘기겠습니다. 코널웰 박사님께서는 인과 분석 분야에 새로운 시각을 제시할 수 있는 저희 연구 중 하나를 소개해주시겠습니다.
짐, 정말 감사합니다. 저는 로레인 콘웰입니다. 심장외과 및 흉부외과 전문의로, 휴스턴 재향군인병원에서 근무하고 있으며 베일러 의과대학과도 연계되어 있습니다. 저희가 진행하고 있는 이번 연구에 관심을 갖게 된 계기에 대해 간략히 소개드리고자 합니다. 이번 연구는 개심술 시 후방 심막절개술을 추가했을 때 수술 후 합병증이 감소하는지 여부를 확인하는 것입니다.
배경 설명을 드리자면, 이러한 논의가 시작된 이유는 수술 후 합병증 중 일부가 심장 및 흉부 손상, 그리고 심낭 내 출혈로 인한 염증과 관련이 있다는 증거가 있었기 때문입니다. 심낭 내 출혈은 염증을 유발하고, 이로 인해 수술 후 심방세동, 부정맥, 재수술이 필요한 혈종, 장기간 지속되는 염증으로 인한 통증 악화, 드레슬러 증후군, 수술 후 염증 증후군, 그리고 입원 기간 연장과 같은 합병증 발생 가능성을 높입니다.
문헌 연구를 통해 심낭 내 체액 배출이 잘 될수록 환자의 예후가 좋아진다는 것을 알게 되었습니다. 저는 지난 10년 동안 심낭 뒤쪽에 간단한 절개를 하여 심낭 내 체액 배출을 돕는 시술을 시행해 왔습니다. 이번 연구에서는 후향적 관찰 연구를 통해 심낭 뒤쪽 절개술을 시행한 환자들과 그렇지 않은 환자들의 예후에 차이가 있는지 살펴보기로 했습니다.
짐이 JMP에서 이 작업을 어떻게 진행했는지 우리와 함께 검토할 예정인 걸로 알고 있습니다. 하지만 우리는 연구에서 얻은 근거 수준이 중요한지 판단하는 방법, 연구 결과를 발표하는 방법, 그리고 연구 결과를 바탕으로 실제 진료 방식을 어떻게 변화시키는지에 대해서도 이야기하고 싶었습니다. 짐, 다음 슬라이드로 넘어가 주시겠어요?
다시 말하지만, 새로운 치료법을 임상 프로토콜, 즉 환자 치료 방식에 통합할 만큼 충분한 정보가 확보되는 시점은 언제일까요? 고려해야 할 요소가 너무나 많습니다. 이 추가 시술에는 어떤 위험이 있을까요? 기대되는 개선 효과는 무엇일까요? 위험보다 개선 효과가 더 클까요? 다른 연구 결과는 어떨까요? 이 치료법에 대한 전반적인 근거는 얼마나 탄탄하고 최신 자료일까요? 이러한 근거가 우리 환자 집단에도 일반화될 수 있을까요? 짐이 앞서 말했듯이, 만약 어떤 치료법이 젊은 환자에게만 해당된다면, 우리는 노인, 허약한 환자, 질병이 있는 환자들을 치료해야 하므로 상황이 달라질 수 있습니다.
그렇다면 우리가 근거로 삼을 만한 경험적 증거가 있을까요? 과학적으로 타당할까요? 비용은 얼마나 들까요? 이 개입은 매우 간단합니다. 연구하기도 비교적 쉬울 거라고 생각했습니다. 이번 후향적 데이터가 기존 연구들의 신뢰도를 높이고, 그에 맞춰 프로토콜을 표준화하는 데 도움이 될 거라고 생각했습니다.
짐, 다음 슬라이드 보여주세요. 저희가 연구 결과를 어떻게 활용하여 지침과 권고사항을 결정하는지에 대한 내용입니다. 연구 결과를 지침에 어떻게 반영하는지 보여주는 예시인데요, 예를 들어 지침에는 "이것은 1등급 권고사항입니다. 강력히 권장합니다." 또는 "2등급이나 3등급인가요?"와 같은 내용이 포함됩니다.
등급은 1등급이 가장 강력한 권고 사항으로, 위험보다 이점이 훨씬 크다는 것을 의미합니다. 즉, 해당 시술이 권장되며 시행되어야 한다는 뜻입니다. 2등급은 2a와 2b로 나뉘는데, 2a등급은 해당 시술을 시행하는 것이 합리적인 선택이라는 의미입니다. 유용하거나 유익할 가능성이 높다는 뜻입니다. '아마도'라는 표현은 '시행해야 할 필요성이 있다'라는 의미로 약간 다릅니다. 2b등급은 약한 권고 사항으로, 시행하는 것이 합리적일 수는 있지만 충분한 근거가 없는 경우를 나타냅니다.
물론, 3등급에 이르면 효과가 전혀 없거나 오히려 해롭다는 것이 강력하게 입증된 경우를 말합니다. 실제로 해롭다는 강력한 증거가 있는 것이죠. 저희는 관련 기관들과 함께 가이드라인을 작성할 때, 어떤 권고 사항이 어느 등급에 속하는지 고려합니다. 이를 위해 다음 슬라이드에서 보시는 것처럼 해당 문제와 관련된 모든 연구를 검토하고, 증거의 질을 평가합니다.
'A 등급 권고'라는 것은 높은 수준의 근거를 의미합니다. 하나 이상의 무작위 대조 시험이나 고품질 무작위 대조 시험에 대한 메타 분석이 있는 경우입니다. B 등급은 중간 수준의 근거를 나타내며, 무작위 대조 시험이 하나 또는 몇 개 있거나 소규모인 경우입니다. B 등급 이상은 무작위 대조 시험조차 아닌, 잘 설계된 연구이지만 무작위 대조 관찰 연구는 아닌 경우를 말합니다.
그것이 바로 우리가 이번에 진행한 심낭절개술 연구에서 말하는 근거 수준입니다. 물론, 그보다 더 낮은 수준의 근거도 있는데, 단순히 전문가 의견일 수도 있습니다. 물론, 전문가 의견은 우리가 바라는 수준의 근거는 아니죠. 하지만 외과나 의학 분야에서는 아직 양질의 근거가 부족하지만 전문가들이 중요하다고 생각하는 경우가 종종 있습니다.
이 특정 질문에 대해 우리는 과거 데이터를 분석했습니다. 8년간의 추적 관찰 기간 동안 700명 이상의 환자가 모두 개심술을 받았습니다. 우리는 심낭절개술을 받은 환자와 받지 않은 환자를 비교했습니다. 처음에는 성향 점수 매칭 없이도 두 그룹이 상당히 잘 매칭되었습니다. 그 후 성향 점수 매칭을 추가로 실시했습니다. 매칭 전 데이터와 매칭 후 데이터 모두에서 수술 후 심방세동 발생률이 감소한 것으로 나타났습니다.
거의 10%에 달하는 수치였고, 통계적으로 유의미했습니다. 입원 기간도 더 짧았고, 퇴원 속도도 빨랐으며, 재입원 횟수도 적었습니다. 장기 생존율에 대한 카플란-마이어 곡선을 분석한 결과, 심낭절개술을 받은 환자들이 더 오래 생존하는 것으로 나타났습니다. 이는 중요한 정보이며, 앞으로 발표될 다른 데이터들과 함께 임상 진료에 변화를 가져올 수 있을 것으로 생각합니다. 저희는 자금 지원이 된다면 이 주제에 대한 대규모 다기관 무작위 대조 시험에 참여하고 싶습니다. 물론 모든 일이 복잡하게 얽혀 있지만, 이 데이터 분석에 대한 자세한 설명은 짐에게 맡기겠습니다.
좋습니다. 감사합니다, 콘웰 박사님. 이제 바로 본론으로 돌아가서… 원래는 성향 점수 매기기가 어떻게 작동하는지 간단히 설명드리려고 했는데, 시간이 촉박하니 바로 결과로 넘어가겠습니다. 원래 45분 정도 예상했는데 30분밖에 안 남았네요. 바로 결과로 넘어가겠습니다. 죄송하지만 이 파일은 아직 공개되지 않았습니다. 하지만 몇 가지 분석 결과와 워크플로우를 살펴보겠습니다.
첫 번째로, 여기에 426개의 열이 있다는 것을 알 수 있습니다. 신규 사용자라면 열을 그룹화하는 기능이 얼마나 유용한지 아무리 강조해도 지나치지 않습니다. 여기서는 위험 요인들을 모두 그룹화했고, 그 다음에는 결과 변수들을 그룹화했습니다. 핵심은 이러한 위험 요인들(더 많은 요인이 있지만, 여기서는 일부만 보여드리겠습니다)이 두 그룹에서 상대적으로 동질적이어야 한다는 것입니다. 이를 위해 'Y를 X로 적합 분석'을 사용하면 반응 변수를 얻을 수 있습니다. 여기서는 심낭절개술을 중재로 살펴보겠습니다.
두 그룹의 비율이 거의 비슷하기를 바라는 거죠. 그런데 바로 그렇지 않다는 걸 알 수 있네요. 그래서 각 셀에 비율을 표시해야겠어요. 다시 한번 해볼게요. 셀에 비율을 표시해 볼게요. 이제 모두 그렇게 됐네요. 여기서 COPD 환자 비율에 통계적으로 유의미한 차이가 있음을 확인할 수 있어요. 성향 점수 매칭의 목적은 두 그룹을 최대한 균등하게 만드는 거예요. 그런데 이 경우에는 심낭절개술을 받지 않은 그룹에서 COPD 환자가 더 많은 것으로 나타났어요.
우리는 상황을 우리에게 유리하게 만들고 있습니다. 폐기종 환자가 없다는 것이죠. JMP에서 활용할 수 있는 아주 좋은 방법은 로컬 데이터 필터를 적용하는 것입니다. 그룹 매칭 여부를 기준으로 필터링하는 거죠. 성향 점수 매칭을 생각해 보면, 심낭절개술을 받은 환자가 약 286명 정도 있습니다. 이제 이들을 매칭해 보겠습니다. 매칭을 진행하면 두 그룹의 비율이 35% 대 32%로 매우 비슷해집니다. 이것이 바로 우리가 추구하는 방식이며, 모든 과정에 적용합니다.
이것들은 비율이지만, 백분율로 표현해도 마찬가지입니다. 예를 들어, 실험실 평균값이 서로 매우 유사해야 하는 연구들이 있습니다. 이러한 연구에서 가장 먼저 확인하는 것은 데이터의 동질성입니다. 처음부터 동질성을 확보하면 좋지만, 성향 점수 매칭을 수행한 후에는 더욱 확실해집니다.
이제 결과 분석을 살펴볼 때도 같은 방식으로 진행할 수 있습니다. 분석을 실행하고 Y를 X로 적합시키겠습니다. 이 경우 결과는 반응이 되고 심낭절개술이 X 요인이 됩니다. 여기 POF 부분을 살펴보겠습니다. 시간 관계상 모든 데이터를 사용했을 때 POAF에서 통계적으로 유의미한 차이가 있음을 확인할 수 있습니다. 다시 한번 백분율을 입력해 드리겠습니다. 어쨌든 매우 근소한 차이로 통계적으로 유의미한 결과입니다. 이제 로컬 데이터 필터를 사용하여 성향 점수 매칭을 적용하고 매칭 여부를 확인해 보겠습니다. 매칭된 결과는 다음과 같습니다.
이제 통계적으로 유의미한 차이가 더 크다는 것을 알 수 있습니다. 정확하게 매칭했을 때 차이가 훨씬 더 두드러지게 나타납니다. 또 하나 보여드리고 싶었던 것은 이것이 범주형 변수라는 점입니다. 경제적인 측면에서 중요한 변수는 입원 기간과 환자 예후입니다. 환자들은 가능한 한 빨리 퇴원하고 싶어하며, 입원 기간은 회복 속도를 나타내는 지표입니다.
여기서 우리가 할 수 있는 것은 평균 검정을 해보는 것입니다. 그러면 평균값 사이에 통계적으로 유의미한 차이가 있음을 알 수 있습니다. 하지만 대부분의 경우, 중앙값 검정을 해보는 것이 더 나을 수 있습니다. 제가 여기에 표시해 보겠습니다. 여기 평균값이 있습니다. 평균 재원 기간이 8년 반인 반면, 다른 쪽은 9년 반입니다. 하지만 중앙값 검정도 해볼 필요가 있습니다. 중앙값 검정도 가능하다는 것을 알려드리고 싶었습니다. 여기에서도 통계적 유의성이 나타납니다. 왜냐하면 재원 기간이 너무 길어서 데이터에 왜곡을 초래하는 경우가 있기 때문입니다.
그래서 우리는 중앙값에 집중하는 것입니다. 중앙 입원 기간에도 하루 차이가 있음을 알 수 있습니다. 이러한 것들이 결과 분석을 수행하는 방법에 대한 몇 가지 아이디어입니다. 콘웰 박사님께서 말씀하셨듯이 생존율도 훨씬 더 높았습니다. 이는 여기 생존 플랫폼에서 확인할 수 있습니다. 심낭절개술을 기준으로 그룹을 나누고, 생존 기간(년)을 살펴본 다음, 중도절단값을 계산할 것입니다.
검열이란, 데이터 수집을 중단했을 때 모든 환자가 사망한 것은 아니므로 일부 환자는 검열 처리된다는 것을 의미합니다. 이제 차이점을 살펴보겠습니다. 차이가 있음을 바로 확인할 수 있습니다. 0은 심낭절개술을 받지 않았다는 뜻입니다. 여기서는 생존 확률을 연수로 나타낸 그래프를 볼 수 있습니다. 두 곡선의 차이는 통계적으로 유의미합니다. 4년 후 생존율을 살펴보겠습니다. 심낭절개술을 받지 않은 경우 4년 생존율은 81%이고, 1은 심낭절개술을 받은 경우 88%입니다. 생존율에서 8%의 차이가 있음을 알 수 있습니다.
마지막으로, 간단히 말씀드리자면, 저희가 분석을 하다 보면 위험 요인들이 너무 두드러져서 어려움을 겪는 경우가 있습니다. 나이, 성별, BMI 같은 요소들이 저희가 관찰하는 효과들을 약화시킬 수 있다는 것을 알고 있습니다. 그래서 다양한 요인들을 살펴보고 의사결정 트리를 활용합니다. 이분들은 정말 훌륭해서 통찰력을 얻는 데 큰 도움이 될 테니 강력히 추천합니다.
예를 들어, 수술 후 심방세동(POAF)을 살펴보고 싶다고 가정해 보겠습니다. 시간 관계상 몇몇 환자를 살펴보고 심낭절개술을 시행했다고 가정해 봅시다. 지금 우리가 보고 있는 것은 전체적인 발생 확률과 환자 수입니다. 여기서 약 71%는 수술 후 심방세동이 발생하지 않았습니다. 그렇다면 가장 중요한 변수를 하나 찾아보면, 60세 미만의 젊은 환자일 경우 발생 확률이 91%로 나타납니다. 즉, 8%에서 92%로 나뉘는 셈입니다. 우리 환자 중 122명이 이러한 경우에 해당합니다. 이는 많은 통찰력을 제공하며, 나이가 얼마나 중요한 요소인지 보여줍니다.
하지만 제가 여기 젊은 환자들을 대상으로 분석해 보면, 이런 결과가 나옵니다. 심낭절개술이 좀 더 정확한 감별 진단에 도움이 된다는 것을 알게 되었습니다. 젊은 환자들의 전체 발병률은 8%입니다. 하지만 심낭절개술을 받은 경우, 발병률은 3%로 떨어집니다. 더 많은 연구를 진행할 수 있지만, 시간이 촉박합니다. 이제 마무리하면서, 이것이 이러한 아이디어들을 실제로 적용하는 시작이라고 할 수 있을 것이라고 말씀드리고 싶습니다. JMP 19에서는 더 많은 연구 결과가 나올 예정입니다.
그들은 구조방정식 모델링과 도구변수 활용을 통해 훌륭한 연구를 진행하고 있습니다. JMP 19에서는 성향점수화(propensity scoring)가 자동화될 예정입니다. 기존의 표준적인 방법 외에도 다양한 방법들이 활용되고 있습니다. 앞으로 더욱 발전된 기술들이 기대됩니다. 21세기 연구 방법들을 살펴보면서 인과관계에 대한 논의가 더욱 활발해지고 있는데, 이는 무작위 대조 시험(RCT)만이 전부가 아니라는 것을 깨닫게 해줍니다. 실제로, 우리가 분석하는 데이터와 이를 탐구하는 혁신적인 방법들을 통해 많은 것을 배우고 실질적인 결과를 도출할 수 있습니다.
이것으로 이번 발표가 여러분께 도움이 되었기를 바라며, 질문이 있으시면 언제든지 말씀해 주세요. 감사합니다.
