586394_ko-KR
모델 스크리닝: 방법을 비교하기 위한 그래프 및 새로운 지표: AICc/BIC, 계산 시간, CO2 배출량 ... ?JMP 팀 및 커뮤니티 여러분, 안녕하세요.
다음은 주로 "모델 스크리닝" 플랫폼에 초점을 맞춘 제 제안이지만 관련성이 있는 경우 다른 플랫폼으로 확장될 수 있습니다. 나는 이러한 아이디어가 너무 이상하거나 "엉뚱한" 것처럼 들리지 않기를 바랍니다.
- 이 위시리스트 요청에 영감을 준 것은 무엇입니까?
- "모델 스크리닝" 플랫폼을 통해 서로 다른 방법을 비교할 때 방법을 비교하는 데 사용되는 메트릭은 R² 및 Mean/Std RASE입니다. 이미 "최상의 방법"에 관한 일부 선택 사항을 안내하고 강조 표시하더라도 여러 방법에서 결과가 유사할 때 비교하고 선택하기가 어려울 수 있습니다.
- 이 플랫폼에서 사용되는 방법의 "복잡성"에 대한 징후가 없는 것 같습니다(아마도 AICc/BIC와 같은 정보 기준 또는 간단한 계산 시간 메트릭("경과 시간"은 빨간색 삼각형에서 사용할 수 있지만 기본적으로는 아님)을 통해). ), 모델의 대기 시간이 중요한 매개변수가 될 수 있는 프로덕션에서 모델을 사용할 경우 흥미롭고 중요한 정보가 될 수 있습니다.
- 마지막으로, 지속 가능성은 오늘날 가장 중요한 우선 순위 중 하나이므로 "통계적" 성능뿐만 아니라 관련 메트릭을 통해 계산 시간/에너지 소비를 고려하여 모델을 비교하는 것이 흥미로울 수 있습니다.
- 보고 싶은 개선 사항은 무엇입니까 ?
- 다른 방법에 대한 R²의 진화에 관한 그래프를 추가하고 방법 간의 차이를 더 잘 평가하기 위해 평균 RASE(및 그래프의 간격으로 표준 RASE)가 있는 그래프를 추가할 수 있습니까?
- 다른 평가 메트릭, 특히 모델 복잡성(기본적으로 AICc/BIC 및/또는 계산 시간)에 중점을 둔 메트릭을 추가할 수 있습니까? 이렇게 하면 가장 단순한 모델을 홍보하여 유사한 모델 성능을 분류하는 데 도움이 될 수 있습니다(그렇게 해야 하므로 가능하면 항상 간결하고 단순한 모델을 선호하십시오).
- 계산 시간이 쉽게 기록되기 때문에("경과 시간"은 빨간색 삼각형 옵션에서 사용 가능) 플랫폼 결과에서 이 정보를 "모델의 지속 가능성/복잡성"에 대한 표시로 강조하는 것이 좋습니다. 가능한 경우 이 정보와 JMP에서 사용하는 장비/장치/컴퓨터의 정보를 사용하면 계산 시간, GPU/CPU, 에너지를 기반으로 CO2 배출량을 제공하는 "Code Carbon" 오픈 소스 이니셔티브와 같은 지표를 만들 수 있습니다. 소비 : 동기 부여 — CodeCarbon 2.0.0 문서(mlco2.github.io)
- 이 아이디어가 중요한 이유는 무엇입니까?
- JMP는 교차 그래픽의 상호작용성과 비통계학자가 관련 정보를 얻는 데 도움이 되는 유용한 그래프를 통한 사용/액세스 용이성으로 유명하므로 "모델 스크리닝" 플랫폼에 일부 시각화를 추가하는 것을 고려하는 것이 흥미로울 것입니다. "오직" "예측에 의한 실제" 및 "프로파일러"입니다. 방법 선택에 대한 의사 결정 과정에 대한 시각화가 부족할 수 있습니다.
- JMP는 엔지니어와 과학자를 대상으로 하기 때문에 모델의 복잡성에 대한 명확한 아이디어가 있으면 정밀도, 설명 가능성 및 속도 사이에서 최상의 절충안을 선택하는 데 도움이 될 수 있습니다. 복잡성 메트릭을 추가하면 JMP 사용자가 탐색/발견 목적뿐만 아니라 모델 대기 시간이 중요한 요소인 프로덕션 모드를 위한 프로토타이핑 도구로 고려하는 데 도움이 될 수 있습니다.
- JMP 커뮤니티에는 이미 환경에 헌신하거나 열정을 가진 많은 사람들이 있습니다. "Data for Green"은 또한 지속 가능성과 환경에 대한 JMP의 참여를 강조합니다. 이 플랫폼에서 영향을 강조하고 관련 메트릭을 기반으로 방법을 차별화하는 데 도움이 될 수 있는 정보를 제공할 수 있다는 것은 인식을 높일 수 있을 뿐만 아니라 다른 소프트웨어와 비교할 때 큰 기회이자 주요 차별화 요소로 보입니다.
여러분의 피드백을 기다리겠습니다. 사람들이 댓글에 관심이 있다면 부담 없이 댓글을 남겨주세요. 
새해 복 많이 받으시고,
Comments
There are no comments yet
