적합성의 우수성친애하는 커뮤니티 여러분,
적합도 테스트에 대한 질문이 하나 있습니다.
데이터 분포를 만들었습니다.
적합도 검정을 실행하면 결과는 다음과 같습니다. 시뮬레이션된 p-값 = 0.1440
X축의 최대값(또는 최소값)을 변경하고 Fif의 장점을 다시 실행하면 시뮬레이션된 p 값이 달라집니다.
저에게는 이상한 일인데요... X 척도의 유일한 변화가 적합도 계산에 어떻게 영향을 미칠 수 있는지 이해할 수 없거든요.
피드백을 주셔서 감사합니다.
시몬
기본 데이터 분석 및 모델링데이터 탐색 및 시각화품질 및 공정 엔지니어링Re: 적합성의 우수성핵심은 '시뮬레이션'이라는 단어입니다. 어떤 경우에는 이 p-값과 같은 양에 대해 폐쇄형 솔루션이나 근사값을 사용할 수 없습니다. 그런 경우, 우리는 시뮬레이션을 사용하여 p-값을 도출합니다. 시뮬레이션은 많은 수의 임의 샘플을 기반으로 합니다. 이러한 샘플은 재현할 수 없지만, 그 수가 많으면 결과는 상당히 안정적입니다.
Re: 적합성의 우수성답변을 자세히 설명해 주시면 감사하겠습니다. 제가 말하고 싶었던 것은 적합도 옵션은 사용하지 않았지만 다른 소프트웨어를 사용하여 분포를 데이터에 맞추는 경우가 많았습니다. 매개변수 제한 없이 적합도 검정을 실행하는 대신 일부 매개변수를 수정하면 적합도가 변경될 것으로 예상합니다. 매개변수를 제한하면 원래 적합도에 없던 제약 조건을 도입했기 때문에 적합도가 감소할 것으로 예상합니다. 예를 들어 정규 분포의 평균이 데이터에 적합하도록 한 다음 평균을 특정 값으로 제한한 적합도와 비교하면 적합도가 더 나빠질 뿐 좋아질 수 없다고 생각합니다. 이에 대해 더 자세히 설명해 주세요.
원래 작업에 한 가지 코멘트를 추가하려고 했습니다. 데이터가 많으면 데이터가 지정된 분포에서 나왔다는 가설을 거의 항상 기각할 수 있습니다. 그래서 가설 검정에 관심이 있는 경우는 드뭅니다. 적합도의 시각화가 훨씬 더 유익합니다. 종종 p-값이 종종 <.0001이더라도 적합도가 매우 비슷해 보입니다. 질문에서 ap 값이 0.144로 명확하게 언급되어 데이터가 내가 작업한 것과 다르다는 것을 알 수 있습니다. 알려진 분포의 시뮬레이션 데이터이든, 더 잘 동작하는 데이터 생성 프로세스이든 말입니다. 시각화도 매우 비슷해 보일 것이라고 생각합니다. 그런 경우 적합도 외의 값으로 매개변수를 고정하면 내 생각에 이 p-값이 상당히 줄어들 것입니다(적합도가 악화됨). 맞나요?
Re: 적합성의 우수성안녕하세요 @dlehman1 /; 좋은 질문이네요.
(1) 그래서 저는 가설 검정이 관심 있는 경우가 거의 없습니다. 저는 적합도의 시각화가 훨씬 더 유익하다고 생각합니다. 종종 p-값이 종종 <.0001이더라도 적합도가 꽤 비슷해 보입니다. 질문에서 ap 값이 0.144로 너무 명확하게 언급되어서 데이터가 제가 작업한 데이터와 다릅니다. 알려진 분포에서 시뮬레이션된 데이터이든, 더 잘 동작하는 데이터 생성 프로세스이든 말입니다.
네, 이건 매우 흔한 일입니다. 샘플 크기가 클 때 "과도한" 상황에 빠질 수 있습니다. 이 경우 작은
(그리고 아마도 무시할 수 있는) 분포에서의 이탈은 분포를 거부하는 결과를 가져올 것입니다. 저도 플롯 등을 살펴봅니다.
가정된 분포에서 의미 있는 차이가 있는지 평가합니다.
(2) 매개변수 제한 없이 적합도 검정을 실행하는 대신 일부 매개변수를 수정하면 적합도가 변경될 것으로 예상합니다. 매개변수를 제한하면 원래 적합도에 없던 제약 조건을 도입했기 때문에 적합도가 감소할 것으로 예상합니다. 예를 들어 정규 분포의 평균이 데이터에 적합하도록 한 다음 평균을 특정 값으로 제한한 적합도와 비교하면 적합도가 더 나빠질 뿐 좋아질 수 없다고 생각합니다. 이에 대해 더 자세히 설명해 주세요.
일반적으로 적합성이 더 나쁠 것으로 예상하고 GOF 테스트에서 이를 반영할 것으로 예상합니다. 예를 들어 설명해 주시겠습니까?
그렇지 않은 경우는?
Re: 적합성의 우수성질문(2)을 이해하지 못합니다. 우리가 동의하는 것 같습니다. 매개변수를 제한하면 적합성이 더 나빠질 것입니다. 제가 말한 것이 바로 그것이고 당신이 말하는 것 같습니다.
Re: 적합성의 우수성안녕하세요 @dlehman1 : 네, 우리는 동의합니다! 이게 사실이 아닌 예가 있는지 궁금했습니다.
Re: 적합성의 우수성저는 그런 사례를 모릅니다. 하지만 제 생각에는 그런 사례는 존재하지 않아야 합니다. 초기 제한 없는 적합은 일부 손실 함수를 최소화하기 때문에, 초기 적합에 대한 알고리즘이 최적이 아닌 이상 제한 있는 적합은 더 나은 결과를 낼 수 없을 것이라고 생각합니다. 예를 들어, 지역적이지만 전역적이지 않은 솔루션이 발견된 경우, 매개변수를 결정 공간의 다른 부분으로 제한하면 더 나은 솔루션을 찾을 수 있습니다. 하지만 개념적으로 제한된 적합은 제한 없는 적합보다 결코 나을 수 없는 것 같습니다. 말이 되나요?
Re: 적합성의 우수성안녕하세요 @dlehman1 : 동의합니다. 몇 가지 단서가 있을 수도 있을 것 같습니다.
- 매개변수 추정 방법. MoM(Method of Moments), MLE 등. 논의를 위해 정규 분포를 가정해 보겠습니다. s 에 대한 MLE(및 MoM 추정치)는 "일반적으로" 사용되는 비편향 추정치와 다릅니다(작습니다). s 의 어떤 추정치( m이 표본 평균으로 추정된 경우)가 GOF 검정과 관련하여 더 나은 "적합"을 가져올까요? 잘 모르겠습니다. 그리고 이 예에서 두 추정치가 모두 일관되고 큰 n에 대해 그 차이가 극히 작다는 것을 알고 있습니다.
- 시뮬레이션을 사용하여 GOF를 평가하는 경우, 특정 상황에서 우리의 직관이 (시뮬레이션 오류를 통해) 실패하는 경우가 0이 아닐 가능성이 있을 수 있다고 생각합니다. 하지만 제 생각에는 그럴 가능성은 매우 낮아 보입니다.
여기에는 생각할 거리가 많이 있습니다!
Re: 적합성의 우수성친애하는 마크,
감사합니다. 피드백이 늦어져서 죄송합니다. 커뮤니티 등록에 문제가 있었습니다.
이제는 괜찮아요.
귀하의 피드백에 다시 한번 감사드립니다.
감사합니다,
시몬
