검증에 대한 개념적 질문저보다 통계적 배경 지식이 더 풍부한 분들이 이 질문에 대해 좀 더 자세히 설명해 주셨으면 합니다. JMP는 교차 검증을 포함한 모든 예측 모델링에 대해 강력한 검증 기능을 제공합니다(적합 모델 플랫폼에는 검증 세트 사용 기능이 있지만, 적합 모델 플랫폼에는 없습니다). 데이터 과학자들은 일상적으로 데이터를 학습 데이터 세트와 검증 데이터 세트(때로는 테스트 데이터 세트)로 분할합니다. 그러나 기존의 통계적 방법(다중 회귀, 로지스틱 회귀)을 사용하는 대부분의 발표된 논문은 검증을 전혀 사용하지 않습니다. 왜 그런지 궁금했습니다. 제가 생각할 수 있는 가능성은 다음과 같습니다. (1) 통계적 유의성 때문에 검증이 불필요하다고 여겨진다. (2) 변화가 느린 역사적 관행이다. (3) 예측보다는 추론에 중점을 둔다(브리먼의 두 문화권처럼). 어쨌든 저는 검증을 사용하지 않는 데 대한 정당성을 이해하지 못하므로, 여러분의 의견을 듣고 싶습니다.
예측 모델링 및 머신 러닝Re: 검증에 대한 개념적 질문검증 부족의 상당 부분은 두 번째 선택지에서 비롯된 것으로 생각됩니다. 특히 변화가 느린 다른 관행/전통과 결합될 때 더욱 그렇습니다. 학계가 중요한 연구 결과만 발표하는 경향이 있다는 생각과 "발표하지 않으면 사라진다"는 격언을 받아들인다면, 우리는 자연스럽게 출판 전 매우 엄격한 이해에 대한 동기를, 적어도 어느 정도는, 약화시키는 셈입니다. 이는 많은 과학 연구가 재현될 수 없다는 최근 발견의 일부를 설명할 수 있을 것입니다. 제 생각에는 과학계가 검증을 더 기꺼이 받아들이고 "평범한" 연구 결과를 기꺼이 발표한다면, 재현은 더 쉽지만 흥미는 덜한 결과를 보게 될 것으로 예상합니다.
하지만 제가 틀리거나 일반화하는 경향이 있을 수도 있습니다. 저도 여러분처럼 다른 분들의 생각을 듣고 싶습니다.
Re: 검증에 대한 개념적 질문먼저 검증이 무엇을 의미하는지 정의해 주세요. 한 가지 방법은 특정 추론 공간에서 데이터 세트를 수집하여 무작위로 분할하는 것입니다. 즉, 일부만 모델을 개발하는 데 사용하고 나머지는 해당 모델이 보유된 데이터에서 얼마나 잘 예측하는지 확인하는 데 사용하는 것입니다. 이는 일반적인 관행일 수 있지만, 제가 생각하는 검증은 아닙니다 (저만 그렇게 생각하는 것일 수도 있습니다).
제가 믿는 한 가지는 모델을 진정으로 "검증"하려면 물리적 "샘플"을 만들고 모델이 실제 샘플을 얼마나 잘 예측했는지 평가해야 한다는 것입니다. 제 생각에 검증이란 모델이 미래(변화하는 조건)를 얼마나 잘 예측하는지를 의미합니다. 충분히 큰 추론 공간(매우 어렵고 리소스가 많이 필요할 수 있음)에 대해 연구를 충분히 잘 설계했다면, 모델은 미래 예측에서 더 나은 성능을 보일 것입니다.
Re: 검증에 대한 개념적 질문첫 번째 정의(당신이 좋아하지 않는 정의)를 말씀하시는 건데, 문헌에서 검증이라고 부르는 게 바로 그 정의라고 생각합니다. 물론 거의 모든 모델은 결국 표본 외 예측에 사용되며, 분할은 미래의 변화하는 상황을 다루지 못할 것입니다. (적어도 완벽하게는) 어떤 것도 다루지 못할 것입니다. 궁극적으로 두 번째 아이디어는 필수적입니다. 첫 번째 의미에서 모델을 "검증"했더라도, 계속 사용할 수 있을 만큼 충분히 잘 작동하는지 성능을 모니터링해야 합니다. 하지만 대부분의 출판된 논문(데이터 과학 저널 제외)은 첫 번째 종류의 검증조차 하지 않는데, 저는 그 이유를 묻고 싶습니다.
Re: 검증에 대한 개념적 질문@스탯맨 과 @제드_캠벨 의 의견에 전적으로 동의합니다. 다만 한 가지 덧붙이자면, 네 번째 '이유'가 있을지도 모릅니다. 모델 검증이 모델링을 구성하는 확장된 문제 해결 과정의 필수 요건으로 교육되기 전까지는 관련 문헌에서 모델 검증에 대한 내용을 거의 찾아볼 수 없을 것입니다. '변화가 느린 역사적 관행'의 또 다른 일부이거나 결과일 뿐입니다.
Re: 검증에 대한 개념적 질문안녕하세요 @dlehman1 ,
흥미로운 개념적 질문을 제기해 주셔서 감사합니다. 전반적으로 지금까지 모든 분들이 말씀하신 내용에 동의합니다. 이 경우 "검증"의 의미를 정의하는 것이 중요합니다. 하지만 검증은 두 가지 의미를 모두 가질 수 있다고 생각합니다. 모델 예측을 개선하기 위한 홀드 아웃 세트와 모델의 예측 능력을 테스트하는 새로운 샘플을 생성하는 것입니다.
저는 두 가지 모두 중요하고 반드시 해야 한다고 생각합니다. 하나는 모델을 개선하기 위한 것이고, 다른 하나는 모델이 제대로 작동하는지 확인하기 위한 것입니다. 특히 매개변수 공간의 경계에 가까운 새로운 샘플을 생성할 때 모델의 정확도가 떨어지는 경향이 있기 때문입니다.
출판된 저작물이 검증을 사용하지 않는 경향이 있는 이유 는 대부분 당신과 @제드_캠벨 이 논평한 내용과 같습니다. 역사적 관행은 변화가 느립니다. 하지만 이는 견고한 모델보다는 유의미한 결과를 찾는 방향으로 나아가는 과학계 내부의 영향에 더 가깝습니다. 저는 물리학을 전공했는데, 물리학자들은 한 가지 상황에 대한 간단한 모델을 만든 다음 다른 상황에 적용하는 것으로 악명이 높습니다. 단진자를 예로 들어 보겠습니다. 이것은 거의 모든 기본 물리 문제의 기초이지만 실제로는 가장 훌륭한 모델은 아닙니다. 다른 비이상적인 상황에서도 모델을 작동시키기 위해 너무 많은 수정과 변경이 있었습니다(원자의 전자 상태에 대한 궤도 역학에 전자 스핀을 추가해야 한다고 생각해 보세요).
제 생각에 이 단순한 진자만으로는 그다지 견고한 모델을 만들 수 없습니다. 하지만 데이터에서 의미 있는 무언가를 "발견"하려는 관심과 욕구는 충족시켜 줍니다. 물론 좋은 시작이지만, 우리 모두 어딘가에서 시작해야 합니다. 하지만 더 일반화된 영역에서 활용할 수 있는 더 광범위하고 견고한 모델을 만들고 싶다면, 앞서 논의된 두 가지 정의 모두에 대한 검증이 필요합니다.
더 "일상적인" 결과는 궁극적으로 과학에서 더욱 견고하고 더 나은 모델과 예측 능력으로 이어질 수 있지만, 과학 커뮤니티 내의 문화적 변화는 바뀌어야 하며, 화려하고 눈부신 새로운 발견에 대한 강조가 줄어들어야 할 것입니다.
간단히 말해서, 역사적 관행이 변화하기 어려울 뿐만 아니라, 과학계 내에서 과학에서 어떤 결과를 어떻게 인정해야 하는지에 대한 문화적 변화도 필요하다고 말하고 싶습니다. 일종의 우선순위 재조정이 필요한 것입니다.
디에스
Re: 검증에 대한 개념적 질문제가 드릴 말씀은 다음과 같습니다.
“문학은 성장하면서 문제의 과학적 측면과 논리적 측면을 상대적으로 소홀히 하는 불균형을 보이는 듯합니다. 이는 아마도 예상된 일일 것입니다. 많은 저자들이 재능 있는 수학자임에도 불구하고, 특정 자연과학 분야의 교육적 영역에 관심을 기울여 본 적이 없고, 실제 실험에 대한 개인적인 책임을 맡아본 적도 없으며, 관련된 자료에 대한 직접적인 경험도 없기 때문입니다…”
로널드 피셔 경, 콜로크. 국제 백. 자연 과학 연구, 파리, No. 110: 13-19(1962)
Re: 검증에 대한 개념적 질문이는 제가 흔히 접하는 관점이며, 저는 이에 대해 심정적으로는 분명히 동의합니다. 하지만 사회과학을 다룰 때는 이 관점이 부적절하다고 생각합니다. 최저임금의 영향, 경쟁 정책, 소셜 미디어 사용의 심리적 영향 등 많은 문제들은 물리과학처럼 과학적 실험에 적합하지 않습니다. 그렇다고 해서 좋은 과학적 관행을 무시해도 된다는 것은 아니지만, 이러한 탐구 영역에서 어떻게 진행해야 할지에 대한 (제 생각에는) 공백이 남습니다. 그리고 이는 타당성 검증 문제와도 관련이 있다고 생각합니다. 제 생각에는 이러한 영역에서 첫 번째 유형의 타당성 검증(무작위 분할)이 더욱 필수적이게 됩니다(당신이 지적했듯이 충분하지는 않지만).
Re: 검증에 대한 개념적 질문안녕하세요 @dlehman1 ,
사회과학에 대한 좋은 지적입니다. DOE를 재현하거나 이전 실험 결과가 나중에 참여자의 반응에 영향을 미치지 않고 "새로운 표본"을 생성하는 것은 훨씬 더 어렵습니다. 한 사람의 인생 경험은 다른 사람의 경험과 결코 동일하지 않습니다.
이 질문을 뒤집어서 사회과학 분야 설문지로 생각해 보는 건 어떨까요? 사회과학계에 다음과 같은 질문을 던져보는 건 어떨까요? "주제를 연구할 때 분석 및 모델 구축 과정에서 검증(validation) 개념을 사용하시나요?" "검증(validation)을 사용하거나 사용하지 않는 이유는 무엇인가요?" "검증(validation)을 사용하는 관행에 대해 알고 계신가요?" 개방형 질문을 통해 응답자가 더 많은 정보를 얻을 수 있는 기회를 제공할 수 있습니다. 다양한 답변이 나올 것으로 예상되지만, 몇 가지 공통적인 답변이 있을 수 있습니다. 적어도 개념적/일반적인 아이디어에서 비롯된 것이지 구체적인 내용은 아닙니다.
디에스
Re: 검증에 대한 개념적 질문음, 사회 과학 분야에서 일하는 전문가를 참여시켜 설문 조사나 표본 추출 계획, DOE 또는 이러한 도구에서 얻은 데이터 해석을 개발하는 데 참여시키는 것은 부적절한 것인가요?
왜 그들은 " 물리 과학처럼 과학적 실험에 적합하지 않은" 걸까요? 측정 시스템이 상당히 까다롭다는 점에는 동의하지만, 검증(일부 데이터만 공개)이 어떻게 이를 개선할 수 있을까요?
Re: 검증에 대한 개념적 질문매우 이상한 의견이라고 생각합니다. 관세가 GDP에 미치는 영향을 추정하고 싶다고 가정해 보겠습니다. 실험은 어렵고 비용이 많이 들며 시간이 걸립니다. 그 시간 동안 다른 많은 것들이 변합니다(물론, 지금 우리는 그런 실험을 하고 있습니다!). 이는 사회과학 분야의 실험과는 상당히 다릅니다. 그러나 사회과학에도 그러한 실험이 있고, 때로는 활용할 수 있는 자연 실험(예: 상당한 차이를 보이는 기존 관세 체계)도 있습니다. 따라서 사회과학 분야의 실험을 배제하지는 않지만, 당신이 사회과학 실험이 물리과학만큼 실현 가능하다고 믿는다고 생각하기는 어렵습니다. 그리고 의학은 그 중간쯤에 있다고 생각합니다. RCT는 많지만 비용과 윤리적 문제로 인해 일반적으로 우리가 원하는 것보다 훨씬 작은 표본 크기를 사용합니다(따라서 우리가 원하는 많은 하위 집단 분석이 생략됩니다).
검증이 어떻게 상황을 개선할 수 있는지 질문하셨습니다. 이상적인 실험을 대체할 만큼 충분하지는 않지만, 이상적인 실험이 없는 상황에서는 필요하다고 생각합니다. 현재 우리가 가진 데이터에 모델이 적용되지 않는다면, 미래에도 효과가 있을 거라고 믿을 이유가 무엇이겠습니까?
Re: 검증에 대한 개념적 질문제가 이상 하고 당신과 생각이 다를 수도 있다는 것은 의심의 여지가 없습니다. 열거형 상황과 분석적 상황의 차이점을 이해하신다면, 제가 분석적 접근 방식에 완전히 편향되어 있다는 것을 알려드리겠습니다(저는 독실한 결정론자입니다). 지시 표본 추출(가설 기반)과 실험(추론 공간을 늘리는 동시에 설계 정밀도를 높이는 방법에 중점을 두는)을 모두 사용합니다. 저는 설명적 연구에는 "관심"이 적고 예측 모델링에 더 관심이 있습니다(물론 둘 다 유용할 수도 있지만요).
어떤 실험도 "이상적"일 수 없습니다(어차피 이상적인 실험인지 알 수 없으니까요). 그렇기 때문에 저는 연구자에게 여러 가지 실험/표본 추출 계획을 개발할 것을 항상 제안(하고 권장)합니다. 각 계획은 획득 가능한 잠재적 지식(예: 할당 가능한 것(모형), 교란되는 것, 제한되는 것(추론))을 평가하고, 그 잠재적 지식을 필요한 자원과 비교해야 합니다.
정치에 대해 이야기하고 싶지 않습니다. 모든 결과에는 원인이 있다고 생각합니다. 어떤 분야든 상관없습니다. 모든 분야는 데이터 수집 도구를 사용하는 데 어려움을 겪습니다. 그렇다고 해서 도구를 사용하지 않는 것은 변명이 될 수 없습니다.
