Re: 신경망 조정안녕 스콧,
매우 편리한 추가 기능. 이전에는 NN 플랫폼을 시도하고 탐색하기 위해 공간 채우기 설계를 수동으로 생성해야 했습니다. 테스트 실행을 제공합니다! NN 플랫폼의 레이어 수를 확장할 계획이 있습니까? 또한 장르 플랫폼에서도 임의의 튜닝을 구현할 수 있습니까?
감사해요,
빈
Re: 신경망 조정안녕, @빈스 !.
이것에 차임하고 싶었습니다. GenReg는 이미 조정할 수 있습니다. 알파 하이퍼 매개변수를 "."로 설정하기만 하면 됩니다. 그러면 JMP가 이를 최적화합니다. NN의 더 많은 레이어는 Scott보다 JMP Development의 손에 달려 있습니다. 에 요청을 넣어야 합니다. JMP 위시리스트 그들이 당신이 더 깊은 NN을 보고 싶어한다는 것을 알 수 있습니다.
최상의,
중
Re: 신경망 튜닝@빈스 -
현재 이 추가 기능은 매개변수를 JMP NN 플랫폼으로 전달하여 최대 2개의 계층으로 NN을 구축합니다. 플랫폼이 변경되고(더 많은 레이어, 활성화 기능 등) 충분한 관심이 있으면 추가 기능을 업데이트할 수 있습니다. 나는 두 번째하고 싶다 @MikeD_앤더슨 의 제안을 참조하고 향후 JMP 버전에서 보고 싶은 기능이 있는 경우 위시리스트로 이동하십시오.
테스트 실행 방법을 알려주세요!
-스콧
Re: 신경망 조정이것은 훌륭합니다. 이와 같은 기능이 언제 JMP Pro에 도입될지 궁금했지만, 이 추가 기능을 만드는 훌륭한 이니셔티브입니다.그리핀도르에 +50점!
Re: 신경망 튜닝훌륭한 도구입니다. 정말 감사합니다. 다양한 데이터 세트에 대해 테스트를 해봤기 때문에 시간이 많이 절약되고 시간 때문에 굳이 테스트하지 않았을 조건(매개변수)을 찾을 수 있었습니다. 고마워요 스캇 !!
Re: 신경망 튜닝훌륭한 일 @scott_allen 이 추가 기능의 멋진 설정과 기능에 대해 알아보세요!
두 가지 우려 사항/경고:
1. 신경망 플랫폼은 모델 피팅을 수행하는 동안 검증 데이터를 엿보기 때문에 검증 결과가 누출되고 지나치게 낙관적입니다.따라서 나는 이것이 일반화 성능에 대한 좋은 추정치를 제공하지 않거나 튜닝 설계에서 다양한 모델을 비교하는 좋은 방법을 제공하지 않는다고 생각합니다.제가 알고 있는 이 문제를 해결하는 유일한 방법은 3단계 검증 열(분석 > 예측 모델링 > 검증 열 만들기로 생성 가능한 교육, 검증 및 테스트)을 사용한 다음 테스트 결과만 사용하여 모델을 비교하는 것입니다.방금 추가 기능이 이 사례를 처리하는지 확인하고 일반적인 사항을 확인하기 위해 유효성 검사 R2와 테스트 R2를 플롯했습니다.
2. 단일 테스트 홀드아웃 세트에 많은 모델을 사용하면 해당 테스트 세트에 과적합이 발생할 가능성이 높습니다.이는 XGBoost의 자동 조정 기능(동일한 빠른 유연한 설계 접근 방식 사용)에서 발생했으며, 자동 조정 시 앙상블 모델만 출력하고 누출을 방지하기 위해 각 접기 내에서 중첩을 사용하도록 변경되었습니다.
@빈스 새로운 Torch Deep Learning 추가 기능에서는 임의의 깊은 NN을 사용할 수 있습니다. 가입해서 사용해 보세요 JMP 18 얼리 어답터 아직 자동 튜닝 기능은 없지만 향후에는 가능할 수도 있습니다.
Re: 신경망 튜닝@russ_wolfinger
좋은 점. 나는 두 가지 모두에 동의하며 이러한 문제를 해결하기 위해 이 추가 기능을 계속 개발하기를 바랍니다.
나의 첫 번째 목표는 현재 모델 생성 워크플로를 자동화하는 것이었고 이제는 "가드레일"을 포함하는 방법을 고려하거나 추가 검증 방법을 포함하는 방법을 찾는 데 도움을 주고 싶습니다.
나는 또한 앙상블 모델의 아이디어를 좋아합니다. 사용자가 모델 비교 플랫폼에 모델을 전달하는 간단한 방법을 추가하는 것을 고려 중입니다. 그러나 일부 모델 적합 통계를 기반으로 이를 자동화하는 것이 더 나을 수도 있습니다. 생각할 거리!
Re: 신경망 튜닝@scott_allen NN에 더 많은 레이어를 추가하기 위해 위시리스트에 추가했습니다.
@russ_wolfinger , 저는 이미 EA5에서 여러 테스트 실행을 위해 Torch Deep Learning 추가 기능을 사용했습니다. 나는 xgboost 추가 기능보다 더 나은 모델을 얻습니다. 그러나 나는 항상 xgboost 추가 기능으로 돌아가서 각 변수에 대한 "gain", "splits", "cover" 점수 테이블을 저장합니다. 이 테이블을 사용하여 0이 아닌 값이 있는 변수만 선택하고 더 작은 예측 변수 세트를 사용하여 xgboost를 다시 실행합니다. 일반적으로 2~3라운드 후에는 0이 아닌 예측 변수를 얻지 못합니다. 이렇게 하면 중요하지 않은 변수를 필터링하고 프로파일러를 통해 더 작은 모델을 시각화할 수 있습니다. 내 예측 변수는 일반적으로 60-300K입니다. 옵션을 보고 싶습니다. 중요하지 않은 변수를 제거하는 데 사용할 수 있는 값이 포함된 테이블에 액세스할 수 있는 Torch Deep Learning 추가 기능입니다.
범주형 매개변수를 포함하는 다른 ~ 30개의 고급 옵션도 포함하는 확장된 Fast Flex Design이 xgboost에 있을 예정입니까?그리고 마지막으로 @russ_wolfinger , 다음 채택자 EA 릴리스에는 Torch Deep Learning 추가 기능에 대한 조정 테이블이 포함됩니까? 기다릴 수가 없어요. 모델이 훨씬 더 좋아졌어요!
Re: 신경망 튜닝@빈스 피드백을 보내주셔서 감사합니다.중요도가 0인 변수는 어떤 모델에서도 사용되지 않기 때문에 XGBoost의 변수 감소 접근 방식이 합리적이라고 생각합니다(저도 똑같이 해봤습니다).변수 중요도와 자동 튜닝 모두 Torch의 "해야 할 일" 목록에 있습니다.
모든 고급 옵션에 대한 XGBoost 자동 조정에는 훨씬 더 크고 복잡한 인터페이스가 필요하며 이에 대해 생각해 볼 수 있습니다.한편, 조정하려는 매개변수에 대해 직접 DOE FFF를 호출하여 생성된 설계 포인트가 있는 보조 JMP 테이블을 지정할 수 있는 조정 설계 테이블 옵션이 있습니다.
우리는 또한 베이지안 최적화 접근 방식에 대해서도 더 많이 살펴보고 있습니다.이 있습니다 추가 기능 .
Re: 신경망 튜닝업데이트
신경망 조정 추가 기능이 업데이트되었습니다.이제 버전 1.1을 다운로드할 수 있으며 버전 1은 제거되었습니다. 이 버전에는 사용자 피드백을 바탕으로 여러 가지 버그 수정과 전반적인 개선 사항이 포함되어 있습니다.
버그 수정
- 유익한 누락 작품.
- 열 지정 또는 매개변수 지정 단계에서 문제가 발생하면 JMP 오류 메시지를 방지하기 위해 다양한 경고가 발생합니다.
- 이제 다단계 명목 및 순서 응답이 지원됩니다.
개량
- 일반 인터페이스 업데이트
- 이제 KFold 검증을 사용할 수 있습니다
- "도움말" 버튼을 클릭하면 도움말 창이 열립니다. 도움말 창에는 버전 1.1에서 모델 검증, 모델 비교 및 모델 저장이 처리되는 방법에 대한 추가 정보가 있습니다.
- 이제 모델 재현성을 돕기 위해 모델 검증이 항상 컬럼을 통해 수행됩니다.
- 이제 모델 비교는 중복된(숨겨진) 데이터 테이블에서 모델 비교 플랫폼을 사용하여 수행됩니다.
- 모델 저장 버튼을 사용하여 튜닝 결과 창에서 직접 모델을 저장하세요.
- 이전에 저장된 데이터 테이블이 로드되면 추가 기능은 저장된 데이터 테이블의 X 변수가 추가 기능을 시작할 때 지정한 X 변수와 다른 경우 경고를 표시합니다.
- 이제 그래프 빌더 출력에는 각 매개변수에 대한 훈련, 검증 또는 테스트 R2 값을 볼 수 있는 열 전환기 토글이 있습니다.
- 결과 창에 두 개의 모델 시각화 그래프가 탭으로 추가됩니다. 이는 또한 데이터 테이블과 상호 작용하여 최상의 모델을 식별하는 데 도움이 됩니다.
- 모델 진행 창에는 몇 가지 업데이트가 있습니다.
- 전체 모델링 시간이 표시됩니다.
- 모델별 평균 시간이 표시됩니다.
- 전체 모델링 시간이 원하는 것보다 긴 경우 모델 진행률 창에서 취소 버튼을 사용할 수 있습니다. 모델링 단계에서 완성된 모든 모델은 결과 창에 저장됩니다. 모델링 시간이 길면 이 버튼이 "지연"될 수 있으며 명령을 등록하려면 몇 번의 클릭이 필요할 수 있습니다.
- 데이터 테이블에 저장된 모델에는 모델을 생성하는 데 사용된 모든 매개변수가 포함된 업데이트된 Notes 섹션이 있습니다.
Re: 신경망 튜닝업데이트
이제 버전 1.2를 사용할 수 있습니다. 이 버전에는 사용자 피드백을 기반으로 한 다양한 버그 수정 및 추가 개선 사항이 포함되어 있습니다.
버그 수정
- 모델 비교는 이전에 생성된 모든 모델 대신 최근 준비된 NN 모델만 모델 비교 플랫폼으로 가져옵니다.
- 이제 명목 및 순서 Y 값을 사용한 모델 비교가 작동합니다.
- 기타 사소한 수정
개량
- 이제 튜닝 매개변수를 불러올 수 있습니다.
- 다양한 모델 저장 옵션 추가
- 튜닝 테이블을 표시하면 테이블의 복사본이 생성됩니다.
- 이제 데이터 테이블이 결과 창에 탭으로 저장됩니다.
- 다양한 무작위 시드가 있는 모델을 쉽게 비교할 수 있도록 고유한 모델 ID를 추가했습니다.
- 여러 개의 무작위 시드를 사용하면 새로운 그래프를 사용할 수 있습니다.
신경망 튜닝업데이트
2023년 11월 27일 - 버전 1.1 - 개선 및 버그 수정, 자세한 내용은 아래 게시물에 있습니다.
2023년 11월 28일 - 버전 1.11 - 사소한 버그 수정
2023년 12월 15일 - 버전 1.2 - 개선 및 버그 수정, 자세한 내용은 아래 게시물에 있습니다.
목적
신경망 조정 추가 기능은 숨겨진 레이어 구조, 부스팅 및 피팅 옵션에 대한 최상의 매개변수 세트를 식별하기 위해 수많은 신경망을 생성하는 쉬운 방법을 제공하는 대체 신경망 플랫폼입니다.
작동 원리
사용자는 실행할 신경망 모델 수를 지정하고 매개변수 범위와 피팅 옵션을 설정합니다. 조정 매개변수를 요인으로 하고 학습, 검증 및 테스트 R을 사용하여 빠르고 유연한 공간 채우기 DOE가 생성됩니다. 2 값을 응답으로 사용합니다.
DOE의 각 시험은 신경망 플랫폼과 R로 전달됩니다. 2 값은 출력 DOE 테이블에 기록됩니다. 모든 모델이 실행된 후 Validation R을 기준으로 테이블이 정렬됩니다. 2 검증 R을 극대화하기 위한 가장 중요한 효과를 사용자가 식별하는 데 도움이 되는 일련의 그래프가 표시됩니다. 2 가치.
튜닝 매개변수를 조정하고 DOE를 다시 실행하여 추가 모델을 생성할 수 있습니다. 새 실행이 원본 테이블에 추가됩니다.
데이터 테이블을 저장하고 플랫폼에 다시 로드하여 진행 상황을 저장하고 추가 분석을 다시 시작할 수 있습니다. 이는 상당한 계산 시간이 걸릴 수 있는 신경망을 조정하는 방법입니다.
비디오 가이드
Re: 신경망 튜닝안녕하세요 @Marco2024
두 개 이상의 변수를 분석하려면 각각에 대한 모델을 만든 다음 프로파일러에 예측 표현식을 로드해야 합니다.
- 첫 번째 출력(Y)에 대한 NN 모델을 구축하고 "모델 저장" 버튼을 클릭하여 예측 표현식을 저장합니다. "프로파일러 수식" 옵션은 단일 수식 열을 데이터 테이블에 저장합니다.
- 비교하려는 모든 Y-변수에 대해 이 작업을 반복합니다.
- 프로파일러(그래프 > 프로파일러)를 실행하고 예측 표현식을 로드합니다.
이렇게 하면 서로 겹쳐진 각 Y 변수에 대한 프로파일러가 제공되어 시스템을 비교하고 공동 최적화하는 데 도움이 됩니다.
Re: 신경망 튜닝안녕하세요 스콧,
인사드리게 되어 기쁘게 생각합니다......귀하에게 응답하기 위해 내 사용자 이름으로 블로그에 들어갈 수 없었습니다......, 제 질문에 대한 귀하의 응답에 감사드립니다!!..... 아래에서 제가 주목한 사항은 다음과 같습니다. 다음과 같은:
1. 관찰:
- 플러그인이 스페인어에서는 작동하지 않습니다
- 플러그인은 선택한 모델을 테이블에 저장하지 않습니다.
2. 쿼리:
- 사용자가 지정한 매개변수 범위에 따라 플러그인이 1단계 및 2단계 신경망을 검색하는 옵션이 있을 수 있나요?
인사말,
마르코
Re: 신경망 튜닝안녕하세요 스콧,
관찰 2(보완은 모델을 저장하지 않음)는 효과 없이 그대로 두고, 보완은 모델을 저장합니다.
인사말,
마르코
Re: 신경망 튜닝안녕하세요 스콧,
질문: 플러그인에 입력으로부터 실시간으로 학습하는(증분 학습) 신경망, 즉 정적 신경망이 아닌 신경망을 생성하는 옵션이 있습니까?
인사말,
마르코
