토치 딥러닝 내부 토론 및 피드백JMP Pro용 Torch Deep Learning 추가 기능의 공식 내부 채팅 게시판입니다. 이 추가 기능은 현대의 과장된 광고 속에서 예측 모델링, 기계 학습, 인공 지능을 위한 JMP 로드맵의 핵심 구성 요소를 제공합니다. 질문, 의견, 문제는 언제든지 게시해 주세요.
답변: Torch Deep Learning 내부 토론 및 피드백훌륭하네요, @russ_wolfinger .
수동 코드 수정과 관련하여 고객과 귀하에게 이메일을 보내겠습니다.
다시 한번 감사드리며, 곧 연락드리겠습니다.
답변: Torch Deep Learning 내부 토론 및 피드백안녕하세요 @DaeYun_Kim 현재는 아닙니다. 하지만 추가 기능 설치 파일에는 모든 다운로드가 이루어지는 웹 위치를 지정하는 경로 변수가 정의되어 있습니다. 고객은 이를 온프레미스 주소로 쉽게 변경할 수 있으며 모든 zip 파일을 저장하기 위해 온라인에서 사용하는 것과 동일한 폴더 구조를 모방할 수 있습니다. 이에 대해 더 자세히 설명하고 코드 수정을 돕기 위해 귀하 및 고객과 협력하게 되어 기쁩니다.
또 다른 옵션은 초기 추가 기능을 설치한 다음 각 사용자가 내부 공유 위치에서 로컬 추가 기능 폴더로 모든 동적 라이브러리 파일을 수동으로 복사하도록 하는 것입니다. 우리는 종종 테스트 목적으로 내부적으로 이 작업을 수행하며 잘 작동합니다.
답변: Torch Deep Learning 내부 토론 및 피드백@russ_wolfinger Torch Deep Learning 추가 기능을 폐쇄된 환경(인터넷 연결 또는 방화벽 없음)에 설치할 수 있습니까? 그렇지 않은 경우 이러한 환경에 이 추가 기능을 설치할 수 있는 대체 방법이 있습니까? 미리 감사드립니다.
답변: Torch Deep Learning 내부 토론 및 피드백안녕하세요 여러분,
우리는 Torch 모델 배포에 관해 훌륭한 피드백을 받아왔습니다. 이는 고객이 파이프라인에서 Torch 모델을 진지하게 사용하기를 원한다는 좋은 신호입니다. 추가 기능은 현재 몇 가지 Jupyter Notebook 예제만 제공하므로 실제 배포 코드 측면에서 부족한 부분이 많습니다.
우리는 최근 모델 빨간색 삼각형에서 완전히 새로운 "Python 코드 생성" 옵션을 구현하여 상당한 개선을 이루었으며 이를 18.1 및 19 Early Adopter와 함께 제공할 예정입니다. 이 옵션은 추가 기능의 향후 버전에 포함될 JMPTorch라는 새로운 Python 클래스를 호출하는 Python 코드를 생성합니다. 이 클래스의 예측 방법은 Torch 디렉터리에 저장된 모든 모델을 처리하고 모든 중간 단계와 임베딩을 처리하여 평균 앙상블 예측을 생성합니다. 첨부된 zip 파일에는 이 클래스가 포함된 현재 jmptorch.py 파일과 예제 호출 코드 및 10개의 예제 이미지가 포함되어 있습니다.
이 코드는 모두 Python이며 필수 패키지를 설치한 후 JMP의 Python이나 외부 Python에서 실행할 수 있습니다. 물론 토치 자체를 포함하여 설치할 패키지에 대해서는 "Model 1.py" 상단에 설명된 지침을 참조하세요.
이에 대한 피드백과 개선을 위한 아이디어를 듣고 싶습니다. 어제 Lumentum에 보여줬더니 아주 좋아했어요.
노트:
- JMPTorch 클래스는 텍스트 및 더 복잡한 모델에서는 아직 불완전하지만 기본 이미지 및 표 형식 분류 모델에서는 작동해야 합니다.
- 현재 추가 기능의 Torch 동적 라이브러리와 JMP Python에 설치된 유사한 라이브러리 사이에 충돌이 있으므로 단일 JMP 세션에서는 둘 중 하나만 실행할 수 있습니다. 저는 두 개의 별도 JMP 인스턴스에서 작업을 성공적으로 실행해 왔습니다.
답변: Torch Deep Learning 내부 토론 및 피드백이를 확인해 주신 @nick_shelton 에게 감사드립니다. CAM 저장 옵션은 현재 제대로 작동하지 않지만 향후 릴리스에서 이 문제를 해결할 계획입니다. 이것이 컨볼루션 신경망이 어떻게 작동하는지 시각화하고 해석하는 좋은 방법이라는 점에 전적으로 동의합니다.
답변: Torch Deep Learning 내부 토론 및 피드백@russ_wolfinger 저는 "CAM 저장" 옵션을 탐색해 왔습니다. 시각화에 있어서 JMP의 강점을 고려하면 이것이 ML 모델을 설명하기 위해 JMP를 사용하는 것에 대한 훌륭한 대화의 시작이 될 것이라고 생각합니다. 문제는 내가 나를 위해 일할 수 있는 선택권을 얻지 못했다는 것입니다. 모델을 만들고 해당 옵션을 사용할 때마다 완전히 어둡게 보이는 이미지를 얻습니다. 내가 놓친 단계가 있나요?
답변: Torch Deep Learning 내부 토론 및 피드백안녕하세요 여러분,
정말 빠른 NVIDIA GPU를 사용해 보고 싶으신가요? 자원봉사자를 구합니다! 이로 인해 영업 업무에 방해가 되지 않도록 하십시오. 이는 중요한 영업 기회나 여가 시간에 사용할 수 있는 것입니다.
SAS가 현재 여러 분석 부서에서 CUDA 코딩을 통해 NVIDIA 전용 GPU 개발에 매우 적극적이라는 소식을 들어보셨을 것입니다. 그들은 25,000달러 이상의 비용이 드는 최신 H100에 이르는 다양한 새로운 NVIDIA 장비를 구입하고 있습니다.
그들은 벤치마킹이 필요하며 이미지와 텍스트 분류에 대해 우리가 가지고 있는 모든 새로운 예를 사용하여 Torch 추가 기능과 페깅 GPU를 사용하여 JMP Pro를 시작하고 실행하는 것이 얼마나 쉽고 빠른지 알려드리기 위해 연락을 드렸습니다. 회귀.
그들은 각각 48GB 메모리를 갖춘 4개의 별도 L40 GPU를 갖춘 새로운 Windows 2022 서버를 설정했습니다! L40은 TDL에서 P100보다 3세대 더 현대적입니다.
이 새로운 서버를 사용해 보고 싶으시면 저에게 직접 메시지를 보내주시면 로그인 자격 증명과 지침을 보내드리겠습니다. 우리가 요청하는 것은 시도한 모델(귀하가 선택하거나 일부를 추천할 수 있음)의 몇 가지 실행 시간을 다시 보내달라는 것입니다. 이 시간은 적합한 각 Torch 모델 다음에 JMP 로그에 인쇄됩니다.
나는 몇 가지 초기 사례에 대해 Torch Storybook에서 여러 가지 다른 예를 시도했으며 P100에 비해 ~2-3배의 속도 향상을 확인했습니다.
이 물건을 사랑 해요,
러스
답변: Torch Deep Learning 내부 토론 및 피드백감사합니다~!
답변: Torch Deep Learning 내부 토론 및 피드백고마워요 김!
답변: Torch Deep Learning 내부 토론 및 피드백@lkimhui 감사합니다. 모두가 명확히 알 수 있도록 "연결 끊기"와 "로그아웃" 사이에는 차이가 있습니다. 원격 데스크톱 연결 응용 프로그램을 연결 해제하거나 단순히 닫아도 세션은 종료되지 않으며, JMP 및 사용자가 연 다른 앱은 여전히 서버에서 실행 중입니다. 세션을 종료하고 사용한 리소스를 확보하려면 "로그아웃"해야 합니다. "로그아웃" 옵션은 Windows 메뉴에서 사용할 수 있습니다. 로그인 이름을 클릭한 다음 "로그아웃"을 선택하세요.
답변: Torch Deep Learning 내부 토론 및 피드백
두 번째로, 사용 후 인스턴스를 로그오프하세요. 유휴 사용자는 여전히 RAM을 소비하고 있습니다.
첨부된 내용은 5명의 유휴 사용자가 누적되었으며 이미 128GB RAM의 ~23%를 소비했습니다.
답변: Torch Deep Learning 내부 토론 및 피드백안녕하세요 @Ben_Ingham 님 , 우리는 여전히 프로세스를 간소화하기 위해 노력하고 있지만 지금은 저장된 .pt 파일을 Python 노트북에 배포하는 몇 가지 예가 있습니다. 보기 > 추가 기능을 클릭하고 TorchDeepLearning을 선택한 후 홈 폴더 링크를 클릭한 다음 노트북 하위 폴더를 살펴보세요.
각 모델은 2~3개의 별도 .pt 파일에 저장되어 중간 임베딩을 출력할 수 있습니다. Python에서는 정확히 동일한 아키텍처를 지정해야 하며 그런 다음 모델 가중치가 .pt 파일에서 로드됩니다. K-fold를 하면 보다 안정적이고 정확한 예측을 위해 평균/앙상블이 가능한 여러 모델이 저장되어 있습니다.
답변: Torch Deep Learning 내부 토론 및 피드백모두들 안녕,
Torch 추가 기능에서 모델을 생성한 후 고객이 JMP 외부에서 모델을 배포하는 방법에 대한 제안이 궁금합니다. JMP는 Formula Depot에서 분배할 수 있는 공식의 '외부'에 있기 때문에 가장 좋은 프로세스는 무엇입니까? ?
감사해요,
벤
답변: Torch Deep Learning 내부 토론 및 피드백안녕하세요 여러분,
Torch Add-in 주문형 웹 세미나에서 발표하는 데 사용된 슬라이드를 공유해 달라는 요청을 받았습니다.
여기요!
답변: Torch Deep Learning 내부 토론 및 피드백오늘 아침에 봤어요 @russ_wolfinger
답변: Torch Deep Learning 내부 토론 및 피드백안녕하세요 @Florian_Vogt 방금 처음에 원격 데스크톱에 대한 자세한 내용으로 지침을 업데이트했습니다. 그것이 당신에게 효과가 없다면 알려 주시기 바랍니다. 국제적으로 업무가 어떻게 진행되는지 잘 모르며 추가 단계가 필요할 수 있습니다.
답변: Torch Deep Learning 내부 토론 및 피드백안녕하세요 플로리안,
노트북에서 Microsoft 원격 데스크톱 앱을 검색하세요. 표시되지 않으면 관리 소프트웨어 센터에서 설치해야 할 수도 있습니다. 원격 데스크톱 앱을 시작할 때 Russ의 지침에 따라 연결을 설정해야 합니다.
말콤
답변: Torch Deep Learning 내부 토론 및 피드백Russ에게 감사드립니다. 이제 모든 것이 작동하고 있습니다.
답변: Torch Deep Learning 내부 토론 및 피드백@Chris_Kirchberg 에게 감사드립니다. 방금 첫 번째 단계가 VPN이라는 지침을 업데이트했습니다. 컴퓨터 자체의 경우 IT는 어제 오후 동시 사용자 수와 관련된 모든 제한을 제거한 것으로 추정됩니다. 오늘 이 제한사항을 보셨나요? 그렇다면 다시 물어볼 수 있습니다.
답변: Torch Deep Learning 내부 토론 및 피드백@malcolm_moore1에게 감사드립니다. 모든 사람이 읽기/쓰기를 할 수 있도록 C:\Public에 대한 권한을 재설정했습니다. 나는 그것들을 이전에 설정했는데 어떻게 든 다시 변경되었습니다. 이번에는 그들이 붙기를 바랍니다.
답변: Torch Deep Learning 내부 토론 및 피드백안녕 러스,
정말 좋은 소식이네요 감사합니다.
" 원격 데스크톱 연결"이란 정확히 무엇을 의미합니까? 어떻게 해야 하나요?
감사해요
플로리안
답변: Torch Deep Learning 내부 토론 및 피드백이 지침에 추가할 두 가지 사항은 다음과 같습니다.
- 서버에 액세스하려면 컴퓨터가 VPN을 통해 연결되어 있어야 합니다. 그렇지 않으면 연결할 수 없습니다.
- 완료되면 서버에서 로그오프하세요. 연결 수가 제한되어 있습니다. 몇 초 전에 연결했을 때 두 사람이 켜져 있는 걸 봤어요. 한 명은 자리 비움으로 표시되었고 다른 한 명은 1시간 30분 동안 유휴 상태였습니다.
답변: Torch Deep Learning 내부 토론 및 피드백Russ에게 감사드립니다 . 추가 기능을 설치하려고 할 때 액세스가 거부되었으므로 C:\Public에 대한 액세스 권한을 확인해 주시겠습니까?
최상의,
말콤
답변: Torch Deep Learning 내부 토론 및 피드백Windows Server tdl.na.sas.com 이 JMP를 사용하는 모든 사람, 특히 로컬 컴퓨팅 기능이 느린 사용자를 위해 원격 데스크톱에 접속하고 활용할 수 있도록 만들어졌다는 사실을 알리게 되어 기쁩니다. 각각 12GB GPU 메모리와 128GB CPU RAM을 갖춘 2개의 NVIDIA P100 GPU가 잘 장착되어 있습니다. 2~4명이 동시에 Torch를 실행할 수 있어야 합니다. 지침:
1. VPN 연결을 설정합니다. Cisco Secure Client AnyConnect VPN을 사용하고 있지만 모든 사람들이 국제적으로 무엇을 하는지 잘 모르겠습니다.
2. Windows에서 원격 데스크톱 애플리케이션을 시작합니다. 나는 이 기능이 Microsoft의 Mac에서도 사용 가능하다고 생각합니다(Mac에서 작동하지 않거나 더 나은 대안이 있는 경우 수정해 주십시오). 컴퓨터에 tdl.na.sas.com을 입력한 후 메시지가 나타나면 Windows 자격 증명을 입력합니다. 그러면 서버의 가상 세션이 시작됩니다.
3. 원격 데스크톱을 시작한 후 JMP Pro 19(최신 버전, 준비되면 18.0.1로 대체됨) 또는 JMP Pro 18(잘 작동하지만 19에서 몇 가지 문제가 해결됨)을 찾아 실행합니다. .
2. C:\Public\TorchDeepLearning.jmpaddin을 JMP Pro로 드래그하여 Torch 추가 기능 사본을 설치합니다. 또는 https://community.jmp.com/t5/JMP-Add-Ins/Torch-Deep-Learning-Add-In-for-JMP-Pro/ta-p/733478 에서 추가 기능을 다운로드할 수도 있습니다.
3. 추가 기능 > Torch Deep Learning > Torch Deep Learning을 클릭하고 NVIDIA-GPU를 선택합니다.
모든 파일이 성공적으로 다운로드되고 압축이 풀릴 때까지 몇 분 정도 기다리면 준비가 완료됩니다.
4. 이것은 공유된 자료이므로 때때로 교대로 진행해야 할 수도 있습니다. 현재 사용량을 확인하려면 먼저 작업 관리자를 열고 CPU 및 메모리를 확인한 다음 사용자 탭을 클릭하여 누가 로그인했는지 확인하세요. 그런 다음 명령 프롬프트를 열고 "nvidia-smi"를 입력하여 현재 GPU 사용량을 확인하세요.
GPU 중 하나 이상이 0%이면 그대로 사용할 수 있습니다. 두 GPU를 모두 사용하는 경우 나중에 다시 방문해 주세요. 모델을 실행하고 GPU를 사용하는 경우 몇 시간 동안 계속해도 괜찮지만 완료되면 작업을 저장하고 JMP를 닫아 모든 GPU 메모리를 비워야 합니다. Torch 추가 기능에서 두 번째 GPU를 사용하려면 고급 옵션에서 추가 기능을 처음 실행할 때 장치 "cuda:1"을 선택하십시오.
5. NVIDIA GPU 속도로 Torch 모델을 실행해 보세요! 예제 데이터, Torch Storybook 또는 자체 데이터 중에서 선택하세요. C:\Public 폴더는 모든 사람과 공유되며 파일 전송에 편리해야 합니다. 데이터와 결과를 저장하려면 C:\에 폴더를 생성해 주시기 바랍니다.
6. 문제, 피드백, 질문, 제안 사항이 있으면 여기로 보고하거나 저에게 직접 메시지를 보내주세요.
우리는 2단계가 디스크 공간을 낭비한다는 것을 알고 있습니다. 왜냐하면 우리 각자는 자신만의 대형 dll 세트를 갖게 되기 때문입니다. C: 드라이브에는 1TB 공간이 있으므로 잠시 동안은 괜찮을 것입니다. 이와 같은 서버에서 공유 파일이 포함된 추가 기능을 설정하는 데 익숙한 분이 계시다면 저에게 연락해 주세요. 여기서 시도해 볼 수 있습니다. DLL이 재진입 가능한지 확실하지 않습니다. 이는 이와 같은 설정을 선택할 수 있는 고객에게 확인하는 것이 좋을 것입니다. Procter & Gamble은 이미 이에 대해 이야기하고 있습니다.
답변: Torch Deep Learning 내부 토론 및 피드백18.0.1에서는 창 표시를 위한 긴 메시지의 중간을 잘라내고 여전히 전체 메시지를 로그로 보내는 수정이 계획되어 있습니다.
답변: Torch Deep Learning 내부 토론 및 피드백Teams "JMP 18 교육의 새로운 기능" 채팅의 교차 게시:
안녕하세요, 업데이트된 Torch Storybook에 6개의 새로운 예가 첨부되어 있습니다.
따뜻하고 호기심 많은 미소로 수많은 유익한 상호 작용을 촉발했으며 JMP 문화와 소프트웨어를 그토록 강력하게 만드는 중심에 있었던 Ian에게 "Love Your Smile"을 바치고 싶습니다. SMILES 문자열의 화학 구조를 표시하는 훌륭한 추가 기능은 말할 것도 없습니다. 그리고 이것을 얻으십시오: @Chunwei_Ma 의 펩타이드에 대한 액체 크로마토그래피 머무름 시간 예와 유사하게 SMILES 문자열을 입력으로 사용하는 BertTiny와 같은 변환기 언어 모델을 사용하여 IGC50과 같은 화학적 활동을 정확하게 예측할 수 있습니다. Ian에게서 정말 인상적이고 영감을 받았습니다. :cara_que_sonríe_con_ojos_sonrientes:
SEM 이미지의 경우 @lkimhui , M&M 사진의 경우 @Byron_JMP (맨체스터와 동일한 데이터), 토론토 카지노 조사 데이터의 경우 @jiancao , Yeast_RPLC의 경우 @Chunwei_Ma 에 대한 팁을 받으세요. 모든 훌륭한 피드백과 관심에 진심으로 감사드립니다. 우리는 이제 막 시작했습니다! 18.0.1에는 몇 가지 수정 사항과 개선 사항이 적용될 예정입니다.
@lkimhui 와 Amanda Loh는 아시아/오세아니아를 위한 Torch 웹 세미나를 훌륭하게 진행했습니다.
토치 애드인 JMP Pro 18 - 2024년 3월 20일.mp4
마지막으로, 하드웨어가 느린 분들을 위해 우리는 IT와 협력하여 Torch를 통해 원격 데스크톱으로 JMP Pro를 실행할 수 있는 NVIDIA GPU 패스스루를 갖춘 내부 Windows 서버를 구축하고 있습니다. 자세한 내용은 곧 공개될 예정입니다.
답변: Torch Deep Learning 내부 토론 및 피드백@russ_wolfinger님 , 감사합니다. 숙면을 취한 후 JMP를 다시 설치할 수 있었습니다.:)
답변: Torch Deep Learning 내부 토론 및 피드백안녕하세요 @Florian_Vogt 이전에 추가 기능을 실행했거나 두 번째 JMP 인스턴스에서 일부 파일이나 프로세스가 열려 있어야 합니다. 모든 JMP 세션이 닫혔는지 확인하고 작업 관리자에서 아무것도 확인한 후 다시 시도하십시오. 그래도 안되면 com.jmp.torchdeeplearning 폴더를 완전히 삭제하고 다시 시작해도 괜찮습니다. 인터넷 속도가 괜찮다면 처음부터 다운로드하는 데 걸리는 총 설치 시간은 1~2분을 넘지 않아야 합니다.
답변: Torch Deep Learning 내부 토론 및 피드백안녕하세요 여러분,
최근 출시된 버전으로 Add-In을 업데이트하고 싶습니다. 새 파일을 다운로드하고 설치하려고 했는데 다음과 같은 메시지가 나타났습니다.
JMP를 다시 시작한 후 Addin이 메뉴에서 사라졌지만 여전히 설치할 수 없습니다.
내가 엉망으로 만든 아이디어가 있습니까?
답변: Torch Deep Learning 내부 토론 및 피드백저는 얼마 전에 이 이슈에 대한 Jira 티켓을 만들었습니다. 폐쇄되었습니다.
답변: Torch Deep Learning 내부 토론 및 피드백NIST 데이터 세트의 하위 집합을 사용하여 창에 표시된 설정으로 인해 페이지에서 스크롤되는 시간이 너무 길어 페이지를 닫을 수 없어서 JMP를 수동으로 종료해야 했습니다. MacBook Pro M3/Max에서 실행됩니다.
답변: Torch Deep Learning 내부 토론 및 피드백@russ_wolfinger , 감사합니다. 이미지 크기 문제였습니다. 이미지 크기를 112로 올렸더니 모델이 문제 없이 작동했습니다. 선택한 이미지 모델과 호환되도록 체크를 추가하거나 기본 이미지 크기를 설정할 수 있습니까?
답변: Torch Deep Learning 내부 토론 및 피드백@Peter_Hersh 에게 감사드립니다. 방금 SE 교육 팀 채팅에 다음 내용을 게시했으며 사람들이 볼 수 있도록 여기에 다시 게시하겠습니다. 특히, CUDA가 설치되어 있는지, 그리고 RTX A3000이 많은 경우에 꽤 잘 작동할 것이라고 생각하므로 차이가 있는지 듣고 싶습니다. 또한 AlexNet 및 기타 여러 모델에서는 이미지 크기가 28보다 커야 합니다. 224는 종종 매우 좋지만 실행 시간이 느려집니다. 56과 112의 이미지 크기도 많은 경우에 잘 작동할 수 있으며 224보다 빠릅니다.
Windows 노트북 사용자: 적어도 작은 이미지와 텍스트 모델의 경우 NVIDIA 카드를 사용하면 속도 향상을 누릴 수 있습니다. 다음 단계를 시도해 보세요.
1. 작업 관리자를 열고 가지고 있는 NVIDIA 카드가 무엇인지 확인하고 성능 탭을 클릭한 다음 하단을 살펴보세요. 내 ThinkPad에는 6GB RAM을 갖춘 Quadro RTX 3000이 있는데, 이는 카드로서 나쁘지 않습니다.
2. NVIDIA 카드가 괜찮아 보이면 명령 프롬프트를 열고 "nvidia-smi" 명령을 입력하세요. 출력은 다음과 같아야 하며 CUDA 버전, 카드 이름, 현재 메모리 및 컴퓨팅 사용량을 보여줍니다.
3. nvidia-smi를 찾을 수 없는 경우 다음 지침에 따라 CUDA 드라이버를 설치하십시오. Microsoft Windows용 CUDA 설치 가이드(nvidia.com) 내용이 길어 보이지만 대부분 확인에 불과하며 10분 정도 소요됩니다. 2단계를 반복하여 CUDA가 제대로 설치되었는지 확인합니다.
4. myjmp.com의 Early Adopter 페이지에서 Torch 추가 기능을 설치합니다. 플랫폼을 처음 실행하면 7개의 대용량 파일이 다운로드됩니다. 인내심을 갖고 100% 다운로드하고 압축을 완전히 풀도록 하십시오. 어떤 이유로 설치가 중단되거나 부분적으로만 완료되는 경우 전체 com.jmp.torchdeeplearning 추가 기능 폴더를 삭제하고(보기 > 추가 기능, Torch Deep Learning, 홈 폴더 클릭) 다시 시도하십시오.
5. 추가 기능 > Torch Deep Learning > 예제 데이터 > MNIST를 클릭하여 전체 MNIST 예제를 사용해 보세요. 왼쪽 상단 근처에 포함된 Torch 스크립트 녹색 화살표를 클릭한 다음 Go를 클릭합니다. 실행되는 동안 명령 셸에서 nvidia-smi를 여러 번 시도하여 GPU 사용량을 확인하세요. 내 것은 MNIST를 실행할 때 약 1GB의 메모리와 40%의 컴퓨팅을 보여줍니다. 내 ThinkPad에서 총 실행 시간은 50초입니다. 너무 초라하지는 않습니다. 비교하자면, 어제 사용했던 더 큰 Quadro RTX 6000을 사용하는 내 데스크톱에서는 동일한 작업이 실제로 2분 정도 걸립니다.
6. 더 큰 이미지 및 텍스트 모델의 경우 배치 크기를 줄여 GPU 메모리를 덜 사용합니다. 배치 크기 8 또는 심지어 4 또는 2가 필요할 수도 있습니다. 모델이 더 자주 단계를 수행하고 더 빠르게 수렴하기 때문에 일반적으로 배치 크기를 줄일 때 더 적은 Epoch를 사용할 수도 있습니다.
7. NVIDIA C++ API는 현재 GPU 메모리를 정리하는 좋은 방법을 제공하지 않으며 여러 모델을 실행한 후에 누적되는 경향이 있습니다. 메모리 부족 오류 메시지가 표시되거나 nvidia-smi 출력에 메모리가 거의 가득 찼다고 표시되는 경우 유일한 방법은 JMP Pro를 완전히 종료하고 다시 시작하는 것입니다. 모델을 저장하기 전에 빨간색 삼각형에서 모델을 저장하면 중단한 부분부터 다시 시작할 수 있습니다. 또한 Ctrl-J는 현재 출력의 스냅샷을 찍어 JMP 저널로 저장하는 데 편리합니다. 이것이 제가 스토리북의 저널에 대해 수행한 작업입니다.
답변: Torch Deep Learning 내부 토론 및 피드백@russ_wolfinger , 네, Kaggle에서 얻은 더 큰 데이터 세트의 하위 세트인 데이터 세트를 사용하세요. 나는 ~3000개의 이미지가 포함된 중간 크기의 데이터 세트를 실행했으며 LeNet5 이미지 모델을 사용하여 기본 설정에 잘 작동했습니다. 이 세 가지 모델 유형에 관한 문제가 나에게 문제를 일으켰습니다.
6GB 전용 메모리를 갖춘 NVIDIA RTX A3000 GPU가 있습니다. 64GB CPU가 있습니다.
답변: Torch Deep Learning 내부 토론 및 피드백@Peter_Hersh 보고해 주셔서 감사합니다. 8개의 서로 다른 이미지 모델이 포함된 내장 스크립트는 GPU가 있는 내 컴퓨터에서 약 10분 만에 깔끔하게 실행되며 최종 GPU 메모리 사용량은 4GB입니다. 귀하가 받은 오류 메시지는 정상적인 것 같습니다. 컴퓨터에 메모리가 부족합니다. 어떤 종류의 하드웨어를 실행하고 있는지 물어봐도 될까요?
AlexNet 및 DenseNet121에는 112 또는 224와 같은 더 큰 이미지 크기 값이 필요합니다. 우리는 이에 대해 더 나은 오류 메시지를 제공하기 위해 노력하고 있습니다.
흉부 엑스레이를 통해 얻은 좋은 데이터입니다. 스토리북에 추가해도 괜찮을까요? 데이터의 출처는 무엇입니까?
답변: Torch Deep Learning 내부 토론 및 피드백이 데이터 세트로 시도한 몇 가지 이미지 모델에서 오류 메시지가 표시되었습니다. AlexNet, EfficientNetB0, DenseNet121은 모두 아래 오류 메시지를 표시했습니다.
답변: Torch Deep Learning 내부 토론 및 피드백안녕하세요 @russ_wolfinger
방금 한 리드가 자신의 모델 아키텍처를 구현하는 것이 가능한지 물었습니다. 이것이 가능한가? 그러면 어떻게 해야 합니까?
답변해 주셔서 감사합니다.
답변: Torch Deep Learning 내부 토론 및 피드백안녕하세요 @Steph_Georges 님 ,
추가 기능 도움말 문서에 언급된 것 같습니다. 개인적으로 나는 아직 나만의 모델을 만들어 보지는 않았지만 똑같은 질문을 할 가능성이 있습니다.
도움이 되었기를 바랍니다:)
답변: Torch Deep Learning 내부 토론 및 피드백좋은 인용문과 설명을 주신 @lkimhui에게 감사드립니다.
안녕하세요 @Steph_Georges , @lkimhui가 언급했듯이 이미지 또는 텍스트 모델링을 위해 표시된 폴더에 있는 모든 JIT 추적 .pt 파일을 자동으로 읽도록 추가 기능을 설정했습니다. 사용자는 PyTorch에서 이러한 모델을 생성 및 사전 학습하고, JIT 스크립트 또는 추적을 사용하여 저장한 후 해당 폴더에 복사하면 다음에 추가 기능이 실행될 때 메뉴에 표시됩니다. 또한 공식적으로 추가 기능에 모델을 추가하라는 제안도 환영합니다.
또한 표 형식 및 이미지 데이터의 경우 레이어 크기, 활성화, 드롭아웃 및 표준과 같은 고급 옵션을 사용하여 사용자 정의 아키텍처를 설계하는 데 인터페이스 자체가 상당히 유연하다는 점도 언급하겠습니다. 이는 MLP(표 형식), CustomConv1d(시계열/기능) 및 CustomConv2d(이미지)와 함께 작동하도록 설계되었습니다.
Re: Torch Deep Learning 내부 토론 및 피드백안녕하세요 여러분, 새로운 소개 영상을 만들었습니다: jmp.com/support/downloads/TorchDeepLearning18/videos/Torch_Intro2.mp4
Camtasia를 더 잘 다루려고 노력 중이지만, 와우, 정말 잘 만들어진 비디오에 대한 새로운 감상을 얻었습니다. 콘텐츠, 스타일 또는 관련 내용에 대한 피드백을 진심으로 감사히 여깁니다. 비판적일수록 좋습니다!
Re: Torch Deep Learning 내부 토론 및 피드백러스, 이 일을 해주셔서 감사합니다. 당신의 스토리북과 함께라면 SE에게 큰 도움이 될 겁니다.
피드백 요청과 관련하여 대상 고객에 따라 달라집니다. SE의 경우 방법을 더 깊이 파고들면서 더 많은 기술적 세부 정보가 필요할 가능성이 있습니다.
사용자의 경우, 제 지침은 스토리(스토리북)로 시작하는 것입니다. 오늘날 일반적인 사용자가 문제를 해결하기 위해 하는 일, 그대로 유지하는 데 따른 문제점, 토치 애드인이 개선할 수 있는 기회, 그런 다음 최종 결과(아하 순간, 최종 결과에 도달하는 방법을 피함)만 보여주고, 그 결과 사용자 이점과 비즈니스 이점을 설명합니다. 청중이 더 탐구하도록 동기를 부여합니다.
Re: Torch Deep Learning 내부 토론 및 피드백안녕하세요, Torchers, 2분짜리 새로운 인트로 영상을 만들고 있습니다. 첫 번째 컷에 대한 피드백을 구합니다. 첨부했습니다. 감사합니다!
Re: Torch Deep Learning 내부 토론 및 피드백이것은 훌륭하고 기능이 풍부한 트레일러 Russ로, 이미 어느 정도 방법을 적용하고 있지만 시간을 절약하고 더 많은 정보를 얻을 수 있는 결정을 내리고 싶어하는 잠재 사용자에게 어필할 가능성이 큽니다. 반면에 대상 사용자가 문제나 필요성(예: 지루함과 오류를 피하고 시간을 절약하기 위해 수동 이미지 분류를 "자동화된" 이미지 분류로 대체하려는 경우)이 있지만 어떤 방법에도 익숙하지 않은 경우, 대신 고통/문제(예: 이미지를 수동으로 분류하는 것은 시간이 많이 걸리고 오류가 발생하기 쉽고 지루한 작업)부터 시작하여 분석 결과를 보여주는 솔루션 비전을 그려보고 방법 부분에 대한 강조를 덜 하고 사용자에게 더 많은 강조를 하는 것이 좋습니다.
최상의,
말콤
Re: Torch Deep Learning 내부 토론 및 피드백관련해서, XGBoost와 Venn Diagram에 대한 소개 영상이 첨부되었습니다. Marketplace에 공개할 예정입니다. 피드백을 환영합니다!
Re: Torch Deep Learning 내부 토론 및 피드백최신 설명서는 특히 새 데이터를 점수 매기는 방법을 설명하는 데 매우 유용합니다. 두 가지 기능이 더 쉽게 만들 수 있을 것 같습니다. 첫째, 이전 모델을 삭제하는 간단한 방법입니다. 제가 이 작업을 수행하는 위치를 놓쳤을 수도 있지만 모델이 저장된 디스크의 폴더로 이동하여 OS를 통해 삭제했습니다. 둘째, 검증 열에 사용된 내용을 복구하는 간단한 방법입니다. 새 데이터를 점수 매길 때 검증 열의 정확한 수, 모델링 유형 및 수준이 필요하다고 가정합니다. 이 수준의 세부 정보를 추적하는 것은 어려운데, 특히 많은 수의 모델이 빌드될 때 더욱 그렇습니다.
Re: Torch Deep Learning 내부 토론 및 피드백Russ, 모델을 저장하려고 하면 오류가 발생합니다. 기본 AppData 폴더, 한 드라이브, 데스크톱에 로컬로 저장하려고 했는데 폴더가 없다는 경고가 계속 나옵니다. 어떻게 생각하세요?
Re: Torch Deep Learning 내부 토론 및 피드백@피터_폴리토 보고해 주셔서 감사합니다. 현재 코드가 설정된 방식대로, 고급 옵션 아래의 폴더 필드는 모델을 실행하기 전에 지정해야 합니다. 그런 다음 모델이 학습을 마치면 이 기본 폴더 아래에 기본 이름 "모델 1"의 하위 폴더가 생성됩니다. 그런 다음 "모델 저장" 빨간색 삼각형 옵션은 이 하위 폴더의 이름을 바꿉니다.
다른 모든 방법이 실패하면 Windows Explorer나 Mac Finder에서 하위 폴더의 이름을 수동으로 바꾸거나 이동할 수도 있습니다. 이는 @돈맥코맥 의 이러한 폴더를 관리하는 더 쉬운 방법을 제공하려는 제안에 해당합니다. 아직은 이에 대한 내용이 없지만 좋은 생각입니다.
Re: Torch Deep Learning 내부 토론 및 피드백서버에 접속한 지 꽤 됐네요. Torch 애드인을 다시 설치하려고 했는데 다음과 같은 메시지가 나타났습니다. ("설치를 완료할 수 없습니다. 대상 디렉터리 또는 대상 디렉터리의 파일이 잠겨 있습니다.")
Re: Torch Deep Learning 내부 토론 및 피드백모델을 사용하여 새로운 데이터 세트의 점수를 매기려고 할 때마다 몇 가지 오류가 발생했습니다.
저는 과거에 했던 일을 재현하려고 노력했지만 어떤 이유에서인지 더 이상 작동하지 않습니다.
Re: Torch Deep Learning 내부 토론 및 피드백이 기능이 JMP Pro 19.0.0에서 작동한다는 점을 언급했어야 했습니다. (JMP Pro 18에서는 모든 기능이 잘 작동합니다.)
Re: Torch Deep Learning 내부 토론 및 피드백CAM을 제대로 저장할 수 있는 방법에 대한 업데이트가 있나요? "검은색 이미지" 문제를 겪고 있는 고객이 문의해 왔습니다.
제목: Torch 딥러닝 내부 논의 및 피드백 관련고객 중 한 분으로부터 다음과 같은 질문을 받았습니다.
"Torch Deep Learning 사용자 중 상당수는 이미 Python에 능숙할 것으로 생각합니다. 그렇다면 JMP에서 딥러닝을 수행하는 것의 가치는 무엇이며, 실제 적용 사례가 있을까요?"
이에 대한 답변으로, 저는 다음과 같이 제 생각을 정리했습니다.
첫째, PoC 및 탐색 단계에서 JMP는 속도와 실험 용이성 측면에서 분명한 이점을 제공합니다. 이미지 및 텍스트 기반 딥러닝 모델을 코드를 작성하지 않고도 빠르게 테스트할 수 있어 실현 가능성을 신속하게 평가할 수 있습니다.
둘째, JMP Pro는 Python을 대체하기 위한 것이 아닙니다. 실제로 고급 모델링이 Python 사용 능력에만 의존할 경우, 해당 사용자들이 병목 현상을 일으킬 수 있습니다. Python을 사용하지 않는 사용자도 JMP Pro에서 개념 증명(PoC) 및 검증 작업을 수행할 수 있도록 함으로써, 조직 전체에서 책임 분담을 강화하고 분석 작업을 더욱 효율적으로 진행할 수 있습니다.
이를 바탕으로 추가적인 이점과 실제 도입 사례, 특히 PoC(개념 증명)에서 실제 운영 환경으로 전환된 일반적인 사용 사례에 대한 의견을 주시면 감사하겠습니다.
감사해요.
제목: Torch 딥러닝 내부 논의 및 피드백 관련@YusukeKoizumi 좋은 생각과 답변입니다.
셋째, JMP Pro는 학습 및 추론 과정 모두에서 풍부한 수치 및 그래픽 출력을 제공하는 동적이고 상호작용적인 환경을 제공합니다. 예를 들어, 잘못 분류된 검증 지점 위에 사각형을 드래그하여 JMP 테이블에서 해당 지점을 선택하고 시각적인 오류 분석을 수행하거나, 이진 응답에 수익 행렬을 추가하여 결정 임계값을 대화형으로 최적화할 수 있습니다.
