토치 딥러닝 내부 토론 및 피드백안녕하세요 여러분. 오늘 현장 기술 영업 구성원이 Torch Deep Learning Add-In(TDLA)에 대한 피드백을 어떻게 제공할 수 있는지에 대한 질문이 나왔습니다. 내부 토론과 버그 보고를 위해 이 스레드를 사용하고 싶습니다. 버그를 발견하면 문제가 발생한 단계에 대한 설명과 사용된 데이터세트(또는 최소한 데이터세트에 대한 설명)를 제공해 주세요.
또한 오늘 TDLA 교육에서 언급한 것처럼 이 JMP 확장에 대해 기술 지원팀에 버그나 충돌 보고서를 보내지 마세요.
답변: Torch Deep Learning 내부 토론 및 피드백이 데이터 세트로 시도한 몇 가지 이미지 모델에서 오류 메시지가 표시되었습니다. AlexNet, EfficientNetB0, DenseNet121은 모두 아래 오류 메시지를 표시했습니다.
답변: Torch Deep Learning 내부 토론 및 피드백@Peter_Hersh 보고해 주셔서 감사합니다. 8개의 서로 다른 이미지 모델이 포함된 내장 스크립트는 GPU가 있는 내 컴퓨터에서 약 10분 만에 깔끔하게 실행되며 최종 GPU 메모리 사용량은 4GB입니다. 귀하가 받은 오류 메시지는 정상적인 것 같습니다. 컴퓨터에 메모리가 부족합니다. 어떤 종류의 하드웨어를 실행하고 있는지 물어봐도 될까요?
AlexNet 및 DenseNet121에는 112 또는 224와 같은 더 큰 이미지 크기 값이 필요합니다. 우리는 이에 대해 더 나은 오류 메시지를 제공하기 위해 노력하고 있습니다.
흉부 엑스레이를 통해 얻은 좋은 데이터입니다. 스토리북에 추가해도 괜찮을까요? 데이터의 출처는 무엇입니까?
답변: Torch Deep Learning 내부 토론 및 피드백@russ_wolfinger , 네, Kaggle에서 얻은 더 큰 데이터 세트의 하위 세트인 데이터 세트를 사용하세요. 나는 ~3000개의 이미지가 포함된 중간 크기의 데이터 세트를 실행했으며 LeNet5 이미지 모델을 사용하여 기본 설정에 잘 작동했습니다. 이 세 가지 모델 유형에 관한 문제가 나에게 문제를 일으켰습니다.
6GB 전용 메모리를 갖춘 NVIDIA RTX A3000 GPU가 있습니다. 64GB CPU가 있습니다.
답변: Torch Deep Learning 내부 토론 및 피드백@Peter_Hersh 에게 감사드립니다. 방금 SE 교육 팀 채팅에 다음 내용을 게시했으며 사람들이 볼 수 있도록 여기에 다시 게시하겠습니다. 특히, CUDA가 설치되어 있는지, 그리고 RTX A3000이 많은 경우에 꽤 잘 작동할 것이라고 생각하므로 차이가 있는지 듣고 싶습니다. 또한 AlexNet 및 기타 여러 모델에서는 이미지 크기가 28보다 커야 합니다. 224는 종종 매우 좋지만 실행 시간이 느려집니다. 56과 112의 이미지 크기도 많은 경우에 잘 작동할 수 있으며 224보다 빠릅니다.
Windows 노트북 사용자: 적어도 작은 이미지와 텍스트 모델의 경우 NVIDIA 카드를 사용하면 속도 향상을 누릴 수 있습니다. 다음 단계를 시도해 보세요.
1. 작업 관리자를 열고 가지고 있는 NVIDIA 카드가 무엇인지 확인하고 성능 탭을 클릭한 다음 하단을 살펴보세요. 내 ThinkPad에는 6GB RAM을 갖춘 Quadro RTX 3000이 있는데, 이는 카드로서 나쁘지 않습니다.
2. NVIDIA 카드가 괜찮아 보이면 명령 프롬프트를 열고 "nvidia-smi" 명령을 입력하세요. 출력은 다음과 같아야 하며 CUDA 버전, 카드 이름, 현재 메모리 및 컴퓨팅 사용량을 보여줍니다.
3. nvidia-smi를 찾을 수 없는 경우 다음 지침에 따라 CUDA 드라이버를 설치하십시오. Microsoft Windows용 CUDA 설치 가이드(nvidia.com) 내용이 길어 보이지만 대부분 확인에 불과하며 10분 정도 소요됩니다. 2단계를 반복하여 CUDA가 올바르게 설치되었는지 확인합니다.
4. myjmp.com의 Early Adopter 페이지에서 Torch 추가 기능을 설치합니다. 플랫폼을 처음 실행하면 7개의 대용량 파일이 다운로드됩니다. 인내심을 갖고 100% 다운로드하고 압축을 완전히 풀도록 하십시오. 어떤 이유로 설치가 중단되거나 부분적으로만 완료되는 경우 전체 com.jmp.torchdeeplearning 추가 기능 폴더를 삭제하고(보기 > 추가 기능, Torch Deep Learning, 홈 폴더 클릭) 다시 시도하십시오.
5. 추가 기능 > Torch Deep Learning > 예제 데이터 > MNIST를 클릭하여 전체 MNIST 예제를 사용해 보세요. 왼쪽 상단 근처에 포함된 Torch 스크립트 녹색 화살표를 클릭한 다음 Go를 클릭합니다. 실행되는 동안 명령 셸에서 nvidia-smi를 여러 번 시도하여 GPU 사용량을 확인하세요. 내 것은 MNIST를 실행할 때 약 1GB의 메모리와 40%의 컴퓨팅을 보여줍니다. 내 ThinkPad에서 총 실행 시간은 50초입니다. 너무 초라하지는 않습니다. 비교하자면 어제 사용했던 더 큰 Quadro RTX 6000을 사용하는 내 데스크톱에서는 동일한 작업이 실제로 2분 정도 걸립니다.
6. 더 큰 이미지 및 텍스트 모델의 경우 배치 크기를 줄여 GPU 메모리를 덜 사용합니다. 배치 크기 8 또는 심지어 4 또는 2가 필요할 수도 있습니다. 모델이 더 자주 단계를 수행하고 더 빠르게 수렴하기 때문에 일반적으로 배치 크기를 줄일 때 더 적은 Epoch를 사용할 수도 있습니다.
7. NVIDIA C++ API는 현재 GPU 메모리를 정리하는 좋은 방법을 제공하지 않으며 여러 모델을 실행한 후에 누적되는 경향이 있습니다. 메모리 부족 오류 메시지가 표시되거나 nvidia-smi 출력에 메모리가 거의 가득 찼다고 표시되는 경우 유일한 방법은 JMP Pro를 완전히 종료하고 다시 시작하는 것입니다. 모델을 저장하기 전에 빨간색 삼각형에서 모델을 저장하면 중단한 부분부터 다시 시작할 수 있습니다. 또한 Ctrl-J는 현재 출력의 스냅샷을 찍어 JMP 저널로 저장하는 데 편리합니다. 이것이 제가 스토리북의 저널에 대해 수행한 작업입니다.
답변: Torch Deep Learning 내부 토론 및 피드백@russ_wolfinger , 감사합니다. 이미지 크기 문제였습니다. 이미지 크기를 112로 높였더니 모델이 문제 없이 작동했습니다. 선택한 이미지 모델과 호환되도록 체크를 추가하거나 기본 이미지 크기를 설정할 수 있습니까?
답변: Torch Deep Learning 내부 토론 및 피드백NIST 데이터 세트의 하위 집합을 사용하여 창에 표시된 설정으로 인해 페이지가 너무 오랫동안 스크롤되어 페이지를 닫을 수 없어서 JMP를 수동으로 종료해야 했습니다. MacBook Pro M3/Max에서 실행됩니다.
답변: Torch Deep Learning 내부 토론 및 피드백이 내용을 추가 기능에 대한 새 지원 이메일인 JMPLSAddins@JMP.com 으로 보내면 조사할 수 있습니다. 그러나 동일한 문제를 보았으며 이는 알려진 문제입니다.
답변: Torch Deep Learning 내부 토론 및 피드백저는 얼마 전에 이 이슈에 대한 Jira 티켓을 만들었습니다. 폐쇄되었습니다.
답변: Torch Deep Learning 내부 토론 및 피드백@malcolm_moore1에게 감사드립니다. 모든 사람이 읽기/쓰기를 할 수 있도록 C:\Public에 대한 권한을 재설정했습니다. 나는 그것들을 이전에 설정했는데 어떻게 든 다시 변경되었습니다. 이번에는 그들이 붙기를 바랍니다.
답변: Torch Deep Learning 내부 토론 및 피드백안녕하세요 여러분,
Torch Add-in 주문형 웹 세미나에서 발표하는 데 사용된 슬라이드를 공유해 달라는 요청을 받았습니다.
여기요!
답변: Torch Deep Learning 내부 토론 및 피드백이 지침에 추가할 두 가지 사항은 다음과 같습니다.
- 서버에 액세스하려면 컴퓨터가 VPN을 통해 연결되어 있어야 합니다. 그렇지 않으면 연결할 수 없습니다.
- 완료되면 서버에서 로그오프하세요. 연결 수가 제한되어 있습니다. 몇 초 전에 연결했을 때 두 사람이 켜져 있는 걸 봤어요. 한 명은 자리 비움으로 표시되었고 다른 한 명은 1시간 30분 동안 유휴 상태였습니다.
답변: Torch Deep Learning 내부 토론 및 피드백@Chris_Kirchberg 에게 감사드립니다. 방금 첫 번째 단계가 VPN이라는 지침을 업데이트했습니다. 컴퓨터 자체의 경우 IT는 어제 오후 동시 사용자 수와 관련된 모든 제한을 제거한 것으로 추정됩니다. 오늘 이 제한사항을 보셨나요? 그렇다면 다시 물어볼 수 있습니다.
답변: Torch Deep Learning 내부 토론 및 피드백Russ에게 감사드립니다. 이제 모든 것이 작동하고 있습니다.
답변: Torch Deep Learning 내부 토론 및 피드백오늘 아침에 봤어요 @russ_wolfinger
답변: Torch Deep Learning 내부 토론 및 피드백모두들 안녕,
Torch 추가 기능에서 모델을 생성한 후 고객이 JMP 외부에서 모델을 배포하는 방법에 대한 제안이 궁금합니다. JMP는 Formula Depot에서 분배할 수 있는 공식의 '외부'에 있기 때문에 가장 좋은 프로세스는 무엇입니까? ?
감사해요,
벤
답변: Torch Deep Learning 내부 토론 및 피드백안녕하세요 @Ben_Ingham 님 , 우리는 여전히 프로세스를 간소화하기 위해 노력하고 있지만 지금은 저장된 .pt 파일을 Python 노트북에 배포하는 몇 가지 예가 있습니다. 보기 > 추가 기능을 클릭하고 TorchDeepLearning을 선택한 후 홈 폴더 링크를 클릭한 다음 노트북 하위 폴더를 살펴보세요.
각 모델은 2~3개의 별도 .pt 파일에 저장되어 중간 임베딩을 출력할 수 있습니다. Python에서는 정확히 동일한 아키텍처를 지정해야 하며 그런 다음 모델 가중치가 .pt 파일에서 로드됩니다. K-fold를 하면 보다 안정적이고 정확한 예측을 위해 평균/앙상블이 가능한 여러 모델이 저장되어 있습니다.
답변: Torch Deep Learning 내부 토론 및 피드백안녕 러스,
정말 좋은 소식이네요 감사합니다.
" 원격 데스크톱 연결"이란 정확히 무엇을 의미합니까? 어떻게 해야 하나요?
감사해요
플로리안
답변: Torch Deep Learning 내부 토론 및 피드백안녕하세요 플로리안,
노트북에서 Microsoft 원격 데스크톱 앱을 검색하세요. 표시되지 않으면 관리 소프트웨어 센터에서 설치해야 할 수도 있습니다. 원격 데스크톱 앱을 시작할 때 Russ의 지침에 따라 연결을 설정해야 합니다.
말콤
답변: Torch Deep Learning 내부 토론 및 피드백안녕하세요 @Florian_Vogt 방금 처음에 원격 데스크톱에 대한 자세한 내용으로 지침을 업데이트했습니다. 그것이 당신에게 효과가 없다면 알려 주시기 바랍니다. 국제적으로 업무가 어떻게 진행되는지 잘 모르며 추가 단계가 필요할 수 있습니다.
답변: Torch Deep Learning 내부 토론 및 피드백
두 번째로, 사용 후 인스턴스를 로그오프하세요. 유휴 사용자는 여전히 RAM을 소비하고 있습니다.
첨부된 내용은 5명의 유휴 사용자가 누적되었으며 이미 128GB RAM의 ~23%를 소비했습니다.
답변: Torch Deep Learning 내부 토론 및 피드백@lkimhui 감사합니다. 모두가 명확히 알 수 있도록 "연결 끊기"와 "로그아웃" 사이에는 차이가 있습니다. 원격 데스크톱 연결 응용 프로그램을 연결 해제하거나 단순히 닫아도 세션은 종료되지 않으며, JMP 및 사용자가 연 다른 앱은 여전히 서버에서 실행 중입니다. 세션을 종료하고 사용한 리소스를 확보하려면 "로그아웃"해야 합니다. "로그아웃" 옵션은 Windows 메뉴에서 사용할 수 있습니다. 로그인 이름을 클릭한 다음 "로그아웃"을 선택하세요.
답변: Torch Deep Learning 내부 토론 및 피드백고마워요 김!
답변: Torch Deep Learning 내부 토론 및 피드백감사합니다~!
답변: Torch Deep Learning 내부 토론 및 피드백안녕하세요 여러분,
정말 빠른 NVIDIA GPU를 사용해 보고 싶으신가요? 자원봉사자를 구합니다! 이로 인해 영업 업무에 방해가 되지 않도록 하십시오. 이는 중요한 영업 기회나 여가 시간에 사용할 수 있는 것입니다.
SAS가 현재 여러 분석 부서에서 CUDA 코딩을 통해 NVIDIA 전용 GPU 개발에 매우 적극적이라는 소식을 들어보셨을 것입니다. 그들은 25,000달러 이상의 비용이 드는 최신 H100에 이르는 다양한 새로운 NVIDIA 장비를 구입하고 있습니다.
그들은 벤치마킹이 필요하며 이미지와 텍스트 분류에 대해 우리가 가지고 있는 모든 새로운 예를 사용하여 Torch 추가 기능과 페깅 GPU를 사용하여 JMP Pro를 시작하고 실행하는 것이 얼마나 쉽고 빠른지 알려드리기 위해 연락을 드렸습니다. 회귀.
그들은 각각 48GB 메모리를 갖춘 4개의 별도 L40 GPU를 갖춘 새로운 Windows 2022 서버를 설정했습니다! L40은 TDL에서 P100보다 3세대 더 현대적입니다.
이 새로운 서버를 사용해보고 싶으시면 저에게 직접 메시지를 보내주시면 로그인 자격 증명과 지침을 보내드리겠습니다. 우리가 요청하는 것은 시도한 모델(귀하가 선택하거나 일부를 추천할 수 있음)의 몇 가지 실행 시간을 다시 보내달라는 것입니다. 이 시간은 적합한 각 Torch 모델 다음에 JMP 로그에 인쇄됩니다.
나는 몇 가지 초기 사례에 대해 Torch Storybook에서 여러 가지 다른 예를 시도했으며 P100에 비해 ~2-3배의 속도 향상을 확인했습니다.
이 물건을 사랑 해요,
러스
