신경망 및 소규모 데이터 세트 - 검증 및 예측 모델링의 솔루션은 무엇입니까?동료들에게,
이 질문은 다소 철학적인 질문일 수 있으니, 추측을 피하기 위해 전문가들의 의견을 듣고 싶습니다.
예를 들어 약 80-300개의 인스턴스(행)로 구성된 작은 데이터 세트에 대해 말하면 일반적으로 신경망을 적용해도 충분할까요? 그렇다면 다음을 수행하십시오.
- 카테고리적 반응과 연속적 반응에 각각 가장 중요한 측정항목은 무엇입니까?
- K-겹 교차 검증을 제외하고 어떤 검증 전략이 더 바람직한가요? 아니면 K-폴드 교차 검증만 하나요?
귀하의 조언에 매우 감사하겠습니다.
많은 감사를 드립니다.
남자 이름
품질 및 프로세스 엔지니어링Re: 신경망 및 소규모 데이터 세트 - 검증 및 예측 모델링의 솔루션은 무엇입니까?위의 2가지 답변은 정말 훌륭합니다! 나는 거의 항상 크기는 중요하지 않다고 말합니다(실제로 대표적인 문제를 강조하기 위해). 나는 개념적인 예를 든다. 어느 쪽이 더 나은 표본 크기인지 묻습니다.
ㅏ. 10,000 또는
비. 5
이제 밝혀내야 할 문제는 일상적인 변화입니다. 1일에 10,000개의 샘플을 채취하고, 5일 동안 하루에 1개씩 5개의 샘플을 채취합니다. 그렇다면 어느 것이 더 낫습니까?...분명합니다.
Re: 신경망 및 소규모 데이터 세트 - 검증 및 예측 모델링의 솔루션은 무엇입니까?데이터 세트가 관심 있는 모집단의 샘플인 한 항상 데이터 세트의 크기에 대해 걱정해야 합니다. 하지만 크기만 중요한 것이 아닙니다. 크기는 통계적 위험에 영향을 미치지만 표현 위험에는 거의 또는 전혀 기여하지 않습니다.
왜 항상 사이즈를 고민해야 하나요? 왜냐하면 표본 크기에 관계없이 항상 Type I 또는 Type II 오류가 발생할 위험이 있기 때문입니다. 나는 몇 년 전 Rochester Institute of Technology의 응용수리통계학 석사 프로그램 광고 브로셔에서 '통계'를 '불확실성에 직면한 의사결정 과학'으로 정의했던 것을 기억합니다. 이러한 불확실성은 표본 크기에 의해 부분적으로 영향을 받거나 통제되는 통계적 위험과 표현 위험이라는 두 가지 구성 요소로 구성됩니다. 표본 크기는 표현 위험이 아니라 통계적 위험만을 의미합니다.
통계 위험과 표현 위험의 상호 작용에 대한 작지만 예시적인 예: 파일럿 장비 및 규모에 대한 관찰 결과가 너무 많고(대량의 데이터에 대한 비과학적인 용어임) p 값이 있다고 가정해 보겠습니다. 우리 모델에 모든 핵심 x 변수가 있고 영향력이 없는 변수는 전혀 없다는 절대적인 확신이 있습니다. 하지만 여기에 큰 문제가 있습니다. 이제 우리는 제조 프로세스와 제조 규모에 대한 예측을 할 것입니다. 예를 들어 비커(파일럿) 규모에서 철도 차량(제조) 규모로 이동하는 것입니다. 그리고 우리의 결과는 예측에 가깝지도 않은 것으로 나타났습니다. 그런 다음 샘플 크기는 아무 의미가 없습니다. 표현 위험으로 인해 큰 어려움을 겪을 수 있습니다.
사람들이 표본 크기에만 초점을 맞추고 대표성 위험을 무시하는 이유는 정말 놀랍습니다. 알겠습니다...통계적 위험, 알파, 베타, 감지할 차이, 유형 I 및 II 오류에 대해 이야기하는 것은 쉽습니다. 모두 마음을 가다듬기 쉽고 이제 우리에게 필요한 것을 알려주는 컴퓨터가 있습니다. 알아요...더 이상 성가신 ASQ/ANSI 조회 테이블이 필요하지 않습니다.
하지만 표현 위험을 절대 잊지 마세요.
Re: 신경망 및 소규모 데이터 세트 - 검증 및 예측 모델링의 솔루션은 무엇입니까?이것은 광범위한 주제이고 응답하기 쉬운 주제가 아닙니다.데이터를 모델링하는 것은 항상 가치 있는 일이라고 말하고 싶습니다. 하지만 데이터 세트가 작을수록 찾은 모든 것에 대해 더 겸손해야 합니다.주어진 변수 수에서 도출할 수 있는 관측치의 개수는 확실히 없습니다. 변수가 많을수록 데이터를 이해하는 데 필요한 관측치가 더 많아집니다.실제로 그 반대는 생각해 볼 가치가 있습니다. 변수가 몇 개만 있는 경우 "합리적인" 모델을 구축하기 위해 많은 관찰이 필요하지 않지만 이것이 신뢰의 원천이 되어서는 안 됩니다.정반대입니다. 변수가 몇 개만 있으면 그림의 대부분(또는 대부분)이 누락됩니다.퍼즐의 중요한 부분 중 하나는 데이터에 얼마나 많은 이론적 구조를 적용할 수 있는지에 관한 것입니다.물리 과학에는 데이터 모델링을 위한 구조로 직접적으로 연결되는 잘 발달된 이론이 있는 경우가 많습니다.사회 과학에서는 이것이 훨씬 덜 사실입니다.하지만 제가 보기에 결론은 모델을 구축하는 것 외에는 대안이 없다는 것입니다(모델을 구축하지 않는 경우 어떤 기준으로 결정을 내릴까요?).(저에게 있어서) 핵심은 모델의 성능을 과장하지 않는 것입니다. 이는 얼마나 많은 변수와 관찰을 갖고 있는지와 관련이 있습니다.
Re: 신경망 및 소규모 데이터 세트 - 검증 및 예측 모델링의 솔루션은 무엇입니까?당신 말이 맞아요. 이제 새로운 문제가 대두되고 있습니다. 일반적으로 소규모 데이터 세트에 대한 모델 세트를 만드는 것이 가치가 있습니까? NN 뿐만이 아니다. 그러한 경우에는 예측 모델링을 제안하는 것이 두렵습니다.
이 질문을 다시 표현해 보겠습니다. 데이터 세트의 크기에 대해 걱정하지 않고 예측 모델링을 수행하는 데 충분한 인스턴스(행) 및/또는 속성(열) 수는 얼마입니까?
감사해요
Re: 신경망 및 소규모 데이터 세트 - 검증 및 예측 모델링의 솔루션은 무엇입니까?특히 신경망에 관한 귀하의 질문과 관련하여 저는 소규모 데이터 세트에 대해 NN을 사용하여 많은 성공을 거두지 못했습니다. 일반적으로 데이터가 많을 때 가장 잘 작동한다고 생각합니다.그러나 이에 관계없이 의사결정 트리, 부스팅 트리, 랜덤 포레스트, 로지스틱/다중 회귀 등 다양한 예측 모델을 실행하는 것이 좋습니다.나는 이를 정확도(ROC, R2, 특정 관심 오분류 등 사용) 측면에서 비교할 뿐만 아니라 어떤 변수가 가장 중요하다고 식별하는지 측면에서도 비교할 것입니다.예측과 이해의 문제는 중요하지만, 이해가 없는 예측은 궁극적으로 의미가 있는 모델을 갖는 것보다 가치가 떨어질 것이라고 생각합니다.하나의 모델링 기술을 선택할 필요가 없습니다. 동일한 데이터에서 모든 기술을 실행하고 얻은 결과를 비교/대조하는 것은 쉽습니다.
Re: 신경망 및 소규모 데이터 세트 - 검증 및 예측 모델링의 솔루션은 무엇입니까?정말 좋은 인터뷰네요, 감사합니다 @P_바텔 . 그럴게요 또한 철학적인 ...예측 모델링에는 관심 있는 "현상"의 인과 관계를 이해하는 것이 필요하다고 생각합니다. 일부 합리적인 사고 순서는 다음과 같을 수 있습니다. 관심 있는 현상을 정량화하는 방법(그리고 측정 시스템이 적절한지)을 알아내야 합니다. 그런 다음 현상이 왜 변하는지에 대한 가설을 세웁니다(저는 이러한 가설이 자연 과학에 뿌리를 두고 있다고 생각하고 싶습니다). 이는 지시된 샘플링이나 실험을 통해 가설을 테스트하는 것으로 이어집니다. 예, 가설은 데이터가 수집되기 전에 구성됩니다. 가설이 없으면 "데이터 마이닝" 기술을 사용하여 가설을 만들고/개발하려는 마음. 내 관점에서 볼 때, 인과 관계가 무엇인지에 대한 통찰력과 이해를 제공하지 않고 데이터 세트(예: 신경망)를 직접 설명하는 모델을 갖는 것은 효과적인 예측 모델이 될 수 없습니다.
준수해야 할 단어: 대답할 수 있는 모든 질문, 분석에 사용할 도구, 도출할 결론에 대한 확신, 결과를 추정하는 능력은 데이터 획득 방법에 따라 달라집니다.
Re: 신경망 및 소규모 데이터 세트 - 검증 및 예측 모델링의 솔루션은 무엇입니까?교차 검증 대화는 다른 사람에게 맡기겠습니다. 다음은 신경망의 적용 가능성에 대한 저의 견해입니다. 또한 철학적인 입장을 취하겠습니다. 나는 당면한 실제 문제, 데이터(넓고 좁은 데이터 세트, 다중 공선형 등), 통계 및 표현 모두의 위험, 모델의 최종 사용 사례에 대한 맥락 없는 적용 가능성 문제가 모두 다음과 같은 문제를 가질 것이라고 생각합니다. 완전한 표본 크기 자체에 비해 방법의 적용 가능성에 더 큰 영향을 미칩니다.
예를 들면: 연구의 목적은 무엇입니까? 예측인가 탐색인가? 추가 연구 기회가 있습니까? 아마도 설계된 실험의 맥락에서요? 그리고 계속해서.
예측과 탐색 구성에 대한 통찰력 있는 설명을 보려면 다음을 살펴보는 것이 좋습니다.
https://www.jmp.com/en_us/events/ondemand/analytically-speaking/to-explain-or-predict-that-is-the-question.html
