모델 스크리닝: 방법을 비교하기 위한 그래프 및 새로운 측정항목: AICc/BIC, 계산 시간, CO2 배출량...?
JMP 팀 및 커뮤니티 여러분, 안녕하세요.
다음은 주로 "모델 스크리닝" 플랫폼에 초점을 맞춘 제 제안이지만, 관련성이 있는 경우 다른 플랫폼으로 확장될 수도 있습니다. 나는 이러한 아이디어가 너무 이상하거나 "엉뚱한" 것처럼 들리지 않기를 바랍니다.
- 이 위시리스트 요청에 영감을 준 것은 무엇입니까?
- "Model Screening" 플랫폼을 통해 다양한 방법을 비교할 때, 방법 비교에 사용되는 지표는 R², Mean/Std RASE입니다. 이미 "최상의 방법"에 관한 몇 가지 선택 사항을 안내하고 강조할 수 있더라도 결과가 여러 방법에서 유사하면 비교하고 선택하는 것이 어려울 수 있습니다.
- 이 플랫폼에서 사용되는 방법의 "복잡성"에 대한 표시는 없는 것 같습니다(아마도 AICc/BIC와 같은 정보 기준 또는 간단한 계산 시간 측정 기준(빨간색 삼각형으로 표시되는 "경과 시간"은 기본적으로는 제공되지 않음)을 통해). ) 이는 모델의 대기 시간이 중요한 매개변수가 될 수 있는 프로덕션 환경에서 모델이 사용될 경우 흥미롭고 중요한 정보가 될 수 있습니다.
- 마지막으로, 지속 가능성은 오늘날 가장 중요한 우선 순위 중 하나이므로 "통계적" 성능뿐만 아니라 관련 지표를 통해 계산 시간/에너지 소비를 고려하는 모델을 비교하는 것도 흥미로울 수 있습니다.
- 어떤 개선이 있었으면 좋겠나요? ?
- 다양한 방법에 대한 R²의 변화에 관한 그래프를 추가하고 방법 간의 차이점을 더 잘 평가하기 위해 평균 RASE(및 그래프의 간격으로 Std RASE)가 포함된 그래프를 추가할 수 있습니까?
- 다른 평가 지표, 특히 모델 복잡성(기본적으로 AICc/BIC 및/또는 계산 시간)에 초점을 맞춘 지표를 추가할 수 있습니까? 이는 가장 단순한 모델을 승격하여 유사한 모델 성능을 분류하는 데 도움이 될 수 있습니다(가능한 경우 항상 간결하고 단순한 모델을 선호해야 합니다).
- 계산 시간은 쉽게 기록되므로(빨간색 삼각형 옵션에서 "경과 시간" 사용 가능) "모델의 지속 가능성/복잡성"에 대한 표시로 플랫폼 결과에서 이 정보를 강조 표시하는 것이 좋습니다. 가능하다면 이 정보와 JMP에서 사용하는 장비/장치/컴퓨터 정보를 사용하면 "Code Carbon" 오픈 소스 이니셔티브와 같은 지표를 생성하여 계산 시간, GPU/CPU, 에너지를 기반으로 CO2 배출량을 제공할 수 있습니다. 소비 : 동기 부여 — CodeCarbon 2.0.0 문서(mlco2.github.io)
- 이 아이디어가 왜 중요한가요?
- JMP는 그래픽 전반에 걸친 상호작용성과 비통계학자가 관련 정보를 얻는 데 도움이 되는 유용한 그래프를 통한 사용/액세스 용이성으로 유명하므로 "모델 선별" 플랫폼에 몇 가지 시각화 기능을 추가하는 것을 고려해 보는 것도 흥미로울 것입니다. "유일한" "예측에 따른 실제" 및 "프로파일러"입니다. 방법 선택에 대한 의사결정 과정에 대한 시각화가 부족할 수 있습니다.
- JMP는 엔지니어와 과학자를 대상으로 하기 때문에 모델의 복잡성에 대한 명확한 아이디어가 있으면 정밀도, 설명 가능성, 속도 사이에서 최선의 절충안을 선택하는 데 도움이 될 수 있습니다. 복잡성 측정항목을 추가하면 JMP 사용자가 탐색/발견 목적뿐만 아니라 모델 지연 시간이 중요한 요소인 생산 모드를 위한 프로토타입 도구로도 이를 고려하는 데 도움이 될 수 있습니다.
- JMP 커뮤니티에는 이미 환경에 헌신하거나 열정을 갖고 있는 많은 사람들이 있습니다. "친환경 데이터"에서는 지속 가능성과 환경에 대한 JMP의 참여도 강조합니다. 영향을 강조하고 관련 지표를 기반으로 방법을 차별화하는 데 도움이 될 수 있는 정보를 이 플랫폼에서 제공할 수 있다는 것은 다른 소프트웨어에 비해 엄청난 기회이자 주요 차별화 요소인 것처럼 보이며 인식을 제고할 수 있습니다.
여러분의 피드백을 기대하고 있으며, 댓글을 달고 싶은 분들이 계시다면 언제든지 연락주세요 
새해 복 많이 받으시고, 하시는 일 모두 잘 되세요.
데이터 탐색 및 시각화답변: 모델 스크리닝: 방법을 비교하기 위한 그래프 및 새로운 측정항목: AICc/BIC, 계산 시간, CO2 배출량...?이 제안에 감사드립니다. @Victor_G , 고려 사항을 개발자와 공유했습니다.
답변: 모델 스크리닝: 방법을 비교하기 위한 그래프 및 새로운 측정항목: AICc/BIC, 계산 시간, CO2 배출량...?안녕 @mia_stephens ,
예, 이러한 종류의 그래프는 Model Screening 플랫폼의 성능을 시각화하는 데 흥미로울 수 있습니다.
StdDev RASE를 사용하여 예측의 변동성을 더 잘 평가하기 위한 K-겹 교차 검증(다이아몬드 데이터 세트)의 경우 RASE 그래픽에 대한 또 다른 옵션:
AICc 및 BIC 계산에 대해 답변해 주셔서 감사합니다!
최상의,
답변: 모델 스크리닝: 방법을 비교하기 위한 그래프 및 새로운 측정항목: AICc/BIC, 계산 시간, CO2 배출량...?안녕 @Victor_G ,
Model Screening에서 이런 종류의 그래프를 찾고 계십니까? 아니면 다른 예를 염두에 두고 있나요?
모델 복잡성과 관련된 개발자의 답변은 다음과 같습니다. AICc 및 BIC는 트리 기반 방법이나 신경망과 같은 많은 방법에 사용할 수 없지만 근사 방법에 대한 일부 문헌이 있습니다. 예측 방법은 검증 세트를 사용하여 조기 중단함으로써 제한되는 복잡한 모델을 생성하는 경향이 있으므로 복잡성에 대한 어느 정도 제한이 있습니다."
미아
답변: 모델 스크리닝: 방법을 비교하기 위한 그래프 및 새로운 측정항목: AICc/BIC, 계산 시간, CO2 배출량...? - 상태가 조사 중으로 변경되었습니다.답변: 모델 스크리닝: 방법을 비교하기 위한 그래프 및 새로운 측정항목: AICc/BIC, 계산 시간, CO2 배출량...? - 상태가 다음으로 변경됨: 승인됨안녕 @Victor_G , 제안해 주셔서 감사합니다! 귀하의 요청을 포착했으며 이를 고려할 것입니다.
Re: 모델 스크리닝: 방법을 비교하기 위한 그래프와 새로운 지표: AICc/BIC, 계산 시간, CO2 배출량... ? - 상태가 다음으로 변경됨: 확인됨
