심층 학습 질문 및 리소스안녕하세요 여러분,
Torch 추가 기능의 고급 설정에 대한 논문이나 서적을 추천해 줄 사람이 있는지 궁금합니다.
예를 들어, X와 Y 슬라이드 시그마는 무엇인가? L1 값을 선택하는 방법은 무엇인가? 등.
이미지와 테이블형 모델의 조합에 대한 추천 자료도 큰 도움이 될 것입니다.
최상의,
클로비스
Re: 딥러닝 질문과 리소스@cweisbart 상기시켜 주셔서 감사합니다. "_optim.pt" 파일은 모든 것을 포함하고 훈련 자체에 대한 정보도 포함되어 있어 재개할 수 있으므로 가장 큽니다. Torch 대화 상자에서 "Restore From"을 지정할 때 사용되지만, 주요 모델 구성 요소를 별도로 저장하기 때문에 배포에는 필요하지 않습니다.
Re: 딥러닝 질문과 리소스@russ_wolfinger "_optim.pt" 파일에 대한 피드백을 주시면 정말 감사하겠습니다! 미리 도움을 주셔서 감사합니다!
Re: 딥러닝 질문과 리소스답변 감사합니다. 매우 도움이 됩니다! 저장된 .pt 파일에 대한 도움말 PDF를 스캔하고 있었습니다. "inet"이 이미지 백본이고, "tnet"이 임베딩 레이어이고, "linp"가 최종 레이어인 것을 알 수 있습니다. "_optim.pt" 파일도 몇 개 있습니다. 그것들은 무엇을 나타내는 것일까요? 미리 감사드립니다!
Re: 딥러닝 질문과 리소스질문 감사합니다 @cweisbart . 이 애드인은 여러 주요 구성 요소의 조합이며 현재는 단 하나의 훌륭한 확정적 참조가 없을 가능성이 높지만 시간이 지남에 따라 교육 자료를 계속 확장할 계획입니다. 지금으로서는 몇 가지 아이디어가 있습니다.
- 매개변수의 레이블 위에 마우스를 직접 올리면 간단한 팝업 설명이 표시됩니다. 예: X Slide Sigma: "X축을 따라 가우시안 무작위 이동의 표준 편차".
- 일반적으로 세 번째 열의 모든 고급 옵션은 학습 중 동적 이미지 증강을 위한 것입니다. 증강은 각 배치에 대한 가상 데이터를 만드는 강력한 딥 러닝 방법입니다. 예를 들어 개나 고양이 사진을 수평으로 뒤집으면 여전히 개나 고양이로 레이블을 지정할 수 있으며 모델은 더 광범위한 가능한 이미지를 볼 수 있습니다. 이동, 회전, 흐림과 같은 다른 이미지 조작도 마찬가지입니다. 증강을 사용하여 학습된 모델은 일반화가 더 잘 되는 경향이 있습니다.
- L1 페널티는 GenReg의 올가미 페널티와 유사하며 솔루션을 희소화하는 경향이 있습니다. 시도해 볼 만한 좋은 값은 1e-6과 1e-5입니다. 마찬가지로 Weight Decay는 능선 페널티와 같으며 동일한 두 값이 종종 잘 작동합니다.
- 이미지와 표 모델의 조합은 이 추가 기능에서만 볼 수 있는 독특한 특징입니다. 우리는 더 유연하게 혼합하고 매치할 수 있는 기능을 제공하기 위해 이런 방식으로 했습니다. 표 모델은 항상 이미지 모델 다음에 실행되고 이미지 모델의 임베딩을 입력으로 받습니다.
- 문서(추가 기능 > Torch Deep Learning > 도움말 클릭)의 28~31페이지에 추가 세부 정보가 나와 있습니다.
- 우리는 전반적으로 상당히 표준적인 용어를 사용하려고 노력했기 때문에 특정 용어를 웹에서 검색하면 도움이 되는 결과, 배경, 심지어 예까지 제공될 가능성이 높습니다. PyTorch 문서 자체의 모든 히트는 매우 견고할 것입니다.
언제든지 추가 피드백이나 질문을 보내주세요. 더 빠른 GPU를 시도하고 싶다면 TDL 및 새로운 Campfire 서버를 사용할 수 있다는 사실을 잊지 마세요.
