Torcia al dibattito interno e al feedback sul deep learningQuesta è la chat board interna ufficiale per il componente aggiuntivo Torch Deep Learning per JMP Pro. Il componente aggiuntivo fornisce un componente chiave nella roadmap di JMP per la modellazione predittiva, l'apprendimento automatico e l'intelligenza artificiale in mezzo a tutto il clamore moderno. Si prega di pubblicare domande, commenti o problemi in qualsiasi momento.
Oggetto: Discussione interna e feedback sul deep learning su TorchSembra fantastico, @russ_wolfinger .
Scriverò un'e-mail al mio cliente e a te in merito alle modifiche del codice manuale.
Grazie ancora e ti ricontatterò presto.
Oggetto: Discussione interna e feedback sul deep learning su TorchCiao @DaeYun_Kim Al momento no, anche se nel file di installazione del componente aggiuntivo è definita una variabile di percorso che specifica il percorso Web da cui hanno luogo tutti i download. Un cliente potrebbe facilmente modificarlo in un indirizzo locale e quindi imitare la stessa struttura di cartelle che abbiamo online per archiviare tutti i file zip. Felice di collaborare con te e il cliente per spiegarlo in modo più dettagliato e aiutare a modificare il codice.
Un'altra opzione consiste nell'installare il componente aggiuntivo iniziale e quindi fare in modo che ciascun utente copi manualmente tutti i file della libreria dinamica da una posizione condivisa internamente nella cartella del componente aggiuntivo locale. Lo facciamo spesso internamente a scopo di test e funziona bene.
Oggetto: Discussione interna e feedback sul deep learning su Torch@russ_wolfinger È possibile installare il componente aggiuntivo Torch Deep Learning in un ambiente chiuso (senza connessione Internet o con firewall)? In caso contrario, esiste un metodo alternativo per installare questo componente aggiuntivo in un ambiente di questo tipo? Grazie in anticipo.
Oggetto: Discussione interna e feedback sul deep learning su TorchCiao a tutti,
Abbiamo ricevuto ottimi feedback sull'implementazione del modello Torch, il che è un ottimo segnale del fatto che i clienti stanno seriamente cercando di utilizzare i modelli Torch nelle loro pipeline. Il componente aggiuntivo attualmente fornisce solo un paio di notebook Jupyter di esempio, che lasciano molto a desiderare in termini di codice di distribuzione effettivo.
Recentemente abbiamo apportato un miglioramento sostanziale con l'implementazione di una nuovissima opzione "Genera codice Python" dal modello triangolo rosso e stiamo cercando di fornirla con 18.1 e 19 Early Adopter. L'opzione crea codice Python che richiama una nuova classe Python denominata JMPTorch che verrà inclusa nelle versioni future del componente aggiuntivo. Il metodo di previsione di questa classe elabora tutti i modelli salvati in una directory Torch e crea una previsione media dell'insieme, occupandosi di tutti i passaggi intermedi e gli incorporamenti. Il file zip allegato contiene il file jmptorch.py corrente con questa classe insieme al codice di richiamo di esempio e 10 immagini di esempio.
Questo codice è tutto Python e può essere eseguito in Python di JMP o in Python esterno dopo aver installato i pacchetti richiesti. Vedi le istruzioni commentate nella parte superiore del "Modello 1.py" riguardo a quali pacchetti installare, incluso, ovviamente, torch stesso.
Mi piacerebbe sentire il tuo feedback su questo e tutte le idee che hai per migliorare. L'abbiamo mostrato a Lumentum proprio ieri e gli è piaciuto molto.
Appunti:
- La classe JMPTorch è ancora incompleta per testo e modelli più complessi, ma dovrebbe funzionare per modelli di classificazione di immagini e tabelle di base.
- Attualmente esiste un conflitto tra le librerie dinamiche Torch del componente aggiuntivo e quelle simili installate in Python di JMP, quindi è possibile eseguire solo l'una o l'altra in ogni singola sessione JMP. Ho eseguito con successo le cose in due istanze JMP separate.
Oggetto: Discussione interna e feedback sul deep learning su TorchGrazie @nick_shelton per averlo verificato. L'opzione Salva CAM non funziona correttamente al momento, ma stiamo pianificando di rimediare in una prossima versione. Pienamente d'accordo che questo è un ottimo modo per visualizzare e interpretare come funzionano le reti neurali convoluzionali.
Oggetto: Discussione interna e feedback sul deep learning su Torch@russ_wolfinger Ho esplorato l'opzione "Salva CAM". Data la forza di JMP nelle visualizzazioni, penso che questo sarebbe un ottimo inizio di conversazione sull'utilizzo di JMP per spiegare i modelli ML. Il problema è che non sono riuscito a ottenere la possibilità di lavorare per me. Ogni volta che ho creato un modello e ho utilizzato questa opzione, ottengo immagini che appaiono completamente scure. C'è un passaggio che mi manca?
Oggetto: Discussione interna e feedback sul deep learning su TorchCiao a tutti,
Vuoi provare una GPU NVIDIA davvero veloce? Cerco volontari! Per favore, non lasciare che questo ti distragga dai tuoi compiti di vendita, ma è qualcosa che potresti utilizzare per importanti opportunità di vendita o nel tuo tempo libero.
Potresti aver sentito che SAS è attualmente molto attivo con lo sviluppo di GPU specifiche per NVIDIA tramite codifica CUDA in molte delle sue divisioni analitiche. Stanno acquisendo un sacco di nuovi dispositivi NVIDIA che vanno fino agli ultimi H100 che possono costare più di $ 25.000.
Hanno bisogno di alcuni benchmark e li ho contattati indicando quanto sia facile e veloce far funzionare JMP Pro con il componente aggiuntivo Torch e le GPU di ancoraggio utilizzando tutti i nuovi esempi che abbiamo per la classificazione di immagini e testo e regressione.
Hanno appena configurato per noi un nuovo server Windows 2022 con quattro GPU L40 separate, ciascuna con 48 GB di memoria! Gli L40 sono tre generazioni più moderni dei P100 su TDL.
Per favore mandami un messaggio direttamente se vuoi provare questo nuovo server e ti invierò credenziali di accesso e istruzioni. Tutto quello che ti chiediamo è di inviarci alcuni tempi di esecuzione dei modelli che provi (a tua scelta oppure posso consigliarne alcuni), che vengono stampati nel registro JMP dopo ciascun modello Torch che adatti.
Ho provato diversi esempi diversi dal Torch Storybook per alcuni casi iniziali e sto riscontrando un aumento di velocità di circa 2-3 volte rispetto ai P100.
Adoro questa roba,
Russo
Oggetto: Discussione interna e feedback sul deep learning su TorchGrazie~!
Oggetto: Discussione interna e feedback sul deep learning su TorchGrazie Kim!
Oggetto: Discussione interna e feedback sul deep learning su TorchGrazie @lkimhui . Per far capire a tutti che c'è differenza tra "disconnettersi" e "disconnettersi". La disconnessione o la semplice chiusura dell'applicazione di connessione desktop remoto non termina la sessione, JMP e qualsiasi altra app aperta sono ancora in esecuzione sul server. Per terminare la sessione e liberare le risorse utilizzate è necessario "disconnettersi". L'opzione "esci" è disponibile dal menu di Windows, fai clic sul tuo nome di accesso e quindi seleziona "esci".
Oggetto: Discussione interna e feedback sul deep learning su Torch
Successivamente, disconnettersi dopo l'uso, gli utenti inattivi stanno ancora consumando la RAM.
In allegato è riportato l'accumulo di 5 utenti inattivi e già consumati circa il 23% della RAM da 128 GB.
Oggetto: Discussione interna e feedback sul deep learning su TorchCiao @Ben_Ingham , stiamo ancora lavorando per semplificare il processo, ma per ora ci sono alcuni esempi di distribuzione dei file .pt salvati nei notebook Python. Fare clic su Visualizza > Componenti aggiuntivi, selezionare TorchDeepLearning, fare clic sul collegamento Cartella Home, quindi cercare nella sottocartella dei notebook.
Ogni modello viene salvato in 2-3 file .pt separati per consentire l'output di incorporamenti intermedi. In Python è necessario specificare esattamente le stesse architetture e quindi i pesi del modello vengono caricati dai file .pt. Se esegui K-fold, vengono salvati più modelli di cui è possibile calcolare la media/raggruppare per previsioni più stabili e accurate.
Oggetto: Discussione interna e feedback sul deep learning su TorchCiao a tutti,
Sono curioso di vedere suggerimenti su come un cliente distribuirebbe il proprio modello al di fuori di JMP dopo la creazione del modello nel componente aggiuntivo Torch: poiché si trova "al di fuori" delle formule che puoi distribuire nel Formula Depot, quale sarebbe il processo migliore ?
Grazie,
Ben
Oggetto: Discussione interna e feedback sul deep learning su TorchCiao a tutti,
Ho ricevuto alcune richieste di condivisione della diapositiva utilizzata per la presentazione del webinar su richiesta del componente aggiuntivo Torch.
Ecco qui!
Oggetto: Discussione interna e feedback sul deep learning su TorchL'ho visto stamattina @russ_wolfinger
Oggetto: Discussione interna e feedback sul deep learning su TorchCiao @Florian_Vogt, all'inizio ho appena aggiornato le istruzioni con maggiori dettagli su Desktop remoto. Per favore fatemi sapere se non funziona per voi. Non ho familiarità con come funzionano le cose a livello internazionale e potrebbero essere necessari ulteriori passaggi.
Oggetto: Discussione interna e feedback sul deep learning su TorchCiao Floriano,
Cerca un'app desktop remoto Microsoft dal tuo laptop. Se non lo vedi potrebbe essere necessario installarlo dal centro software gestito. Quando avvii l'app desktop remoto dovrai seguire le istruzioni di Russ per stabilire una connessione.
Malcolm
Oggetto: Discussione interna e feedback sul deep learning su TorchGrazie Russ, ora funziona tutto.
Oggetto: Discussione interna e feedback sul deep learning su TorchGrazie @Chris_Kirchberg, ho appena aggiornato le istruzioni specificando che il primo passaggio è una VPN. Per quanto riguarda il computer stesso, ieri pomeriggio l'IT ha presumibilmente rimosso tutte le restrizioni relative al numero di utenti simultanei. Hai visto questa restrizione oggi? Se è così posso chiederglielo di nuovo.
Oggetto: Discussione interna e feedback sul deep learning su TorchGrazie @malcolm_moore1 Ho appena reimpostato le autorizzazioni su C:\Public in modo che tutti possano leggere/scrivere. Li avevo impostati prima e in qualche modo sono cambiati di nuovo. Speriamo che resistano questa volta.
Oggetto: Discussione interna e feedback sul deep learning su TorchCiao Russ,
è una novità fantastica, grazie.
Cosa intendi esattamente con " desktop remoto in"? Come lo faccio?
Grazie
Floriano
Oggetto: Discussione interna e feedback sul deep learning su TorchDue cose da aggiungere a queste istruzioni:
- Devi avere il tuo computer connesso tramite VPN per accedere al server, altrimenti non sarai in grado di connetterti
- Una volta terminato, disconnettersi dal server, esiste un numero limitato di connessioni. Vedo che due persone sono accese quando mi sono connesso pochi secondi fa. Uno era indicato come Assente e l'altro era Inattivo per 1 ora e 30 minuti.
Oggetto: Discussione interna e feedback sul deep learning su TorchGrazie Russ, ti dispiace controllare i permessi di accesso a C:\Public perché mi viene negato l'accesso quando provo a installare il componente aggiuntivo.
Migliore,
Malcolm
Oggetto: Discussione interna e feedback sul deep learning su TorchSiamo entusiasti di annunciare che Windows Server tdl.na.sas.com è stato creato per consentire a chiunque utilizzi JMP di accedere e utilizzare il desktop remoto, in particolare quelli di voi che dispongono di funzionalità di elaborazione locale più lente. È ben equipaggiato con due GPU NVIDIA P100, ciascuna con 12 GB di memoria GPU e 128 GB di RAM CPU. 2-4 di noi dovrebbero essere in grado di eseguire Torch contemporaneamente. Istruzioni:
1. Stabilisci una connessione VPN. Utilizzo Cisco Secure Client AnyConnect VPN, ma non sono sicuro di cosa facciano tutti a livello internazionale.
2. Avvia l'applicazione Desktop remoto su Windows. Credo che questo sia disponibile anche su Mac da Microsoft (correggimi se non funziona da un Mac o se esiste un'alternativa migliore). Per il computer, inserisci tdl.na.sas.com, quindi inserisci le credenziali di Windows come richiesto. Questo dovrebbe avviarti in una sessione virtuale sul server.
3. Dopo aver effettuato l'accesso al desktop remoto, trova e avvia JMP Pro 19 (la versione più aggiornata, verrà sostituita dalla 18.0.1 quando sarà pronta) o JMP Pro 18 (dovrebbe funzionare perfettamente ma ha alcuni problemi risolti nella versione 19) .
2. Installa la tua copia del componente aggiuntivo Torch trascinando C:\Public\TorchDeepLearning.jmpaddin su JMP Pro. In alternativa è possibile scaricare il componente aggiuntivo da https://community.jmp.com/t5/JMP-Add-Ins/Torch-Deep-Learning-Add-In-for-JMP-Pro/ta-p/733478
3. Fare clic su Componenti aggiuntivi > Torch Deep Learning > Torch Deep Learning e selezionare NVIDIA-GPU.
Attendi alcuni minuti affinché tutti i file vengano scaricati e decompressi correttamente, quindi sei pronto per partire.
4. Questa è una risorsa condivisa e a volte potrebbe essere necessario fare a turno. Per verificare l'utilizzo corrente, aprire prima Task Manager, controllare CPU e memoria, quindi fare clic sulla scheda Utenti per vedere chi ha effettuato l'accesso. Quindi aprire un prompt dei comandi e immettere "nvidia-smi" per vedere l'utilizzo corrente della GPU.
Se almeno una delle GPU è allo 0%, sei a posto. Se vengono utilizzate entrambe le GPU, riprova più tardi. Se sei tu a eseguire i modelli e a utilizzare le GPU, va bene continuare per diverse ore, ma al termine assicurati di salvare il tuo lavoro e chiudere JMP per cancellare tutta la memoria della GPU. Per utilizzare la seconda GPU nel componente aggiuntivo Torch, in Opzioni avanzate, seleziona Dispositivo "cuda:1" la prima volta che esegui il componente aggiuntivo.
5. Divertiti con i modelli Torch con la velocità della GPU NVIDIA! Scegli tra i dati di esempio, il libro delle fiabe della torcia o i tuoi dati. La cartella C:\Public è condivisa con Tutti e dovrebbe essere comoda per il trasferimento di file. Sentiti libero anche di creare cartelle in C:\ per salvare dati e risultati.
6. Si prega di segnalare eventuali problemi, feedback, domande o suggerimenti qui o inviarmi un messaggio diretto.
Comprendiamo che il passaggio 2 è uno spreco di spazio su disco perché ognuno di noi si ritrova con il proprio set di DLL di grandi dimensioni. L'unità C: ha 1 TB di spazio, quindi dovremmo essere a posto per un po'. Se qualcuno di voi ha familiarità con la configurazione di un componente aggiuntivo con file condivisi su un server come questo, contattatemi e possiamo provarlo qui. Non sono sicuro che le DLL siano rientranti: sarebbe utile verificarlo per i clienti che potrebbero optare per una configurazione come questa. Procter & Gamble ne parla già.
Oggetto: Discussione interna e feedback sul deep learning su TorchCorrezione pianificata per la versione 18.0.1 che elimina la parte centrale dei messaggi lunghi per la visualizzazione in finestra e invia comunque il messaggio completo al registro.
Oggetto: Discussione interna e feedback sul deep learning su TorchCross-post dalla chat di Teams "Novità nella formazione JMP 18":
Ciao a tutti, è allegato un libro di fiabe aggiornato con sei nuovi esempi:
Vorrei dedicare "Love Your Smile" a Ian, il cui sorriso caloroso e curioso ha scatenato innumerevoli interazioni fruttuose ed è stato al centro di ciò che rende la nostra cultura e il nostro software JMP così forti. Per non parlare del suo fantastico componente aggiuntivo per la visualizzazione delle strutture chimiche delle stringhe SMILES . E ottieni questo: simile all'esempio del tempo di ritenzione della cromatografia liquida di @Chunwei_Ma sui peptidi, possiamo prevedere con precisione attività chimiche come IGC50 utilizzando un modello di linguaggio del trasformatore come BertTiny con stringhe SMILES come input. Davvero impressionante e ispirato da Ian :cara_que_sonríe_con_ojos_sonrientes:
Consigli di cappello a @lkimhui per le immagini SEM, @Byron_JMP per le immagini M&M (stessi dati di Manchester), @jiancao per i dati del sondaggio sui casinò di Toronto e @Chunwei_Ma per Yeast_RPLC. Apprezzo davvero tutto il grande feedback e l'interesse, e siamo appena all'inizio! Nella versione 18.0.1 sono in arrivo numerose correzioni e miglioramenti.
@lkimhui e Amanda Loh hanno fatto un ottimo lavoro con il loro webinar Torch per Asia/Oceania:
Componente aggiuntivo Torcia JMP Pro 18 - 20 marzo 2024.mp4
Infine, per quelli di voi il cui hardware è lento, stiamo lavorando con l'IT per creare un server Windows interno con passthrough GPU NVIDIA su cui è possibile eseguire il desktop remoto ed eseguire JMP Pro con Torch. I dettagli dovrebbero arrivare presto.
Oggetto: Discussione interna e feedback sul deep learning su TorchGrazie @russ_wolfinger , dopo una buona notte di sonno JMP mi ha permesso di installarlo di nuovo:)
Oggetto: Discussione interna e feedback sul deep learning su TorchCiao @Florian_Vogt Deve esserci qualche file o processo aperto dall'esecuzione precedente del componente aggiuntivo o eventualmente da una seconda istanza JMP. Assicurati che tutte le sessioni JMP siano chiuse, non verificare nulla in Task Manager, quindi riprova. Se il problema persiste, è possibile eliminare completamente la cartella com.jmp.torchdeeplearning e ricominciare da capo. Se la velocità di Internet è corretta, il tempo totale di installazione da zero non dovrebbe essere superiore a un minuto o due con i download.
Oggetto: Discussione interna e feedback sul deep learning su TorchCiao a tutti,
Volevo aggiornare il componente aggiuntivo alla versione rilasciata di recente. Ho scaricato il nuovo file e volevo installarlo, ma poi è apparso questo:
Dopo il riavvio di JMP, il componente aggiuntivo era scomparso dal menu, ma non riesco ancora a installarlo.
Qualche idea su cosa ho combinato?
Oggetto: Discussione interna e feedback sul deep learning su TorchHo creato un ticket Jira per questo problema qualche tempo fa. Era chiuso.
Oggetto: Discussione interna e feedback sul deep learning su TorchUtilizzando un sottoinsieme del set di dati NIST, le impostazioni mostrate nella finestra hanno creato un messaggio di errore così lungo da scorrere fuori dalla pagina in modo da non poterlo chiudere, quindi ho dovuto terminare manualmente JMP. Funziona su un MacBook Pro M3/Max.
Oggetto: Discussione interna e feedback sul deep learning su Torch@russ_wolfinger , grazie, era un problema di dimensioni dell'immagine. Quando ho aumentato la dimensione dell'immagine a 112, il modello ha funzionato senza problemi. Sarebbe possibile aggiungere un segno di spunta o impostare la dimensione dell'immagine predefinita per essere compatibile con il modello di immagine selezionato?
Oggetto: Discussione interna e feedback sul deep learning su TorchGrazie @Peter_Hersh, ho appena pubblicato quanto segue nella chat di SE Training Teams e permettimi di ripubblicarlo qui per assicurarmi che la gente lo veda. Nello specifico, sono interessato a sapere se hai installato CUDA e se questo fa la differenza, poiché penso che il tuo RTX A3000 dovrebbe funzionare abbastanza bene in molti casi. Nota anche che AlexNet e molti altri modelli avranno bisogno che la dimensione dell'immagine sia maggiore di 28. 224 è spesso molto buono ma rallenterà i tempi di esecuzione. Anche le dimensioni delle immagini 56 e 112 possono funzionare bene in molti casi ed essere più veloci di 224.
Utenti di laptop Windows: potresti essere ancora fortunato per l'aumento di velocità con una scheda NVIDIA, almeno per modelli di immagini e testo più piccoli. Prova i seguenti passaggi:
1. Controlla quale scheda NVIDIA possiedi aprendo Task Manager, fai clic sulla scheda Prestazioni, quindi guarda nella parte inferiore. Il mio ThinkPad ha una Quadro RTX 3000 con 6 GB di RAM, che non è poi così male come scheda
2. Se la tua scheda NVIDIA sembra a posto, apri un prompt dei comandi e digita il comando "nvidia-smi". L'output dovrebbe essere simile al seguente, mostrando la versione CUDA, il nome della scheda e l'utilizzo attuale della memoria e del calcolo.
3. Se nvidia-smi non viene trovato, installa i driver CUDA seguendo le istruzioni qui: Guida all'installazione di CUDA per Microsoft Windows (nvidia.com) So che sembrano lunghi ma si tratta principalmente di controlli e dovrebbero richiedere solo circa 10 minuti. Verificare che CUDA sia installato correttamente ripetendo il passaggio 2.
4. Installare il componente aggiuntivo Torch da myjmp.com, pagina Early Adopter. La prima volta che avvii la piattaforma verranno scaricati 7 file di grandi dimensioni. Sii paziente e lascia che questi vengano scaricati al 100% e decompressi completamente. Se per qualche motivo l'installazione viene interrotta o viene completata solo parzialmente, elimina l'intera cartella del componente aggiuntivo com.jmp.torchdeeplearning (fai clic su Visualizza > Componenti aggiuntivi, Torch Deep Learning, Cartella Home) e riprova.
5. Prova l'esempio MNIST completo facendo clic su Componenti aggiuntivi > Torch Deep Learning > Dati di esempio > MNIST. Fai clic sulla freccia verde dello script Torch incorporato vicino all'angolo in alto a sinistra, quindi su Vai. Mentre è in esecuzione, prova più volte nvidia-smi nella shell dei comandi per verificare l'utilizzo della GPU. Il mio mostra circa 1 GB di memoria e il 40% di calcolo durante l'esecuzione di MNIST. Il tempo di esecuzione totale è di 50 secondi sul mio ThinkPad: non troppo male. Per fare un confronto, lo stesso lavoro richiede in realtà circa 2 minuti sul mio desktop con una Quadro RTX 6000 più grande che ho usato ieri.
6. Per modelli con immagini e testo più grandi, diminuire la dimensione batch per utilizzare meno memoria GPU. Potrebbe essere necessaria la dimensione lotto 8 o anche 4 o 2. In genere è anche possibile utilizzare meno epoche quando si riduce la dimensione batch, poiché il modello esegue i passaggi più frequentemente e converge più rapidamente.
7. L'API NVIDIA C++ attualmente non offre un ottimo modo per cancellare la memoria della GPU e tende ad accumularsi dopo aver eseguito diversi modelli. Se ricevi un messaggio di errore di memoria esaurita e/o l'output di nvidia-smi mostra una memoria quasi piena, l'unica soluzione è spegnere e riavviare completamente JMP Pro. Salva i modelli prima di farlo dal triangolo rosso e potrai riprendere da dove avevi interrotto. Inoltre, Ctrl-J è utile per scattare istantanee dei risultati correnti e salvarle come diario JMP: questo è quello che ho fatto per i diari nel libro di fiabe
Oggetto: Discussione interna e feedback sul deep learning su Torch@russ_wolfinger , Sì, vai avanti e usa il set di dati, è un sottoinsieme di un set di dati più ampio che ho ricevuto da Kaggle. Ho eseguito un set di dati di medie dimensioni con circa 3000 immagini e ha funzionato bene con le impostazioni predefinite utilizzando il modello di immagine LeNet5. Qualcosa in questi tre tipi di modelli mi stava causando problemi.
Ho una GPU NVIDIA RTX A3000 con 6 GB di memoria dedicata. Ho una CPU da 64 GB.
Oggetto: Discussione interna e feedback sul deep learning su Torch@Peter_Hersh Grazie per la segnalazione. Lo script incorporato con 8 diversi modelli di immagine viene eseguito in modo pulito sul mio computer con una GPU in circa 10 minuti e l'utilizzo finale della memoria della GPU è di 4 GB. Il messaggio di errore che hai ricevuto sembra essere legittimo: la memoria del tuo computer è esaurita. Posso chiederti che tipo di hardware utilizzi?
AlexNet e DenseNet121 richiedono valori più grandi per la dimensione dell'immagine come 112 o 224. Stiamo lavorando su un migliore messaggio di errore a riguardo.
Questi sono dati interessanti con le radiografie del torace. Sarebbe giusto aggiungerlo al libro di fiabe? Qual è la fonte dei dati?
Oggetto: Discussione interna e feedback sul deep learning su TorchUn paio di modelli di immagine che ho provato con questo set di dati mi danno un messaggio di errore. AlexNet, EfficientNetB0 e DenseNet121 hanno tutti fornito il seguente messaggio di errore.
Oggetto: Discussione interna e feedback sul deep learning su TorchCiao @russ_wolfinger
Un lead mi ha appena chiesto se è possibile implementare la propria architettura del modello. È possibile? E come posso procedere?
Grazie per la tua risposta
Oggetto: Discussione interna e feedback sul deep learning su TorchCiao @Steph_Georges ,
Penso che sia stato menzionato nella documentazione della Guida del componente aggiuntivo. Personalmente, devo ancora provare a creare il mio modello, ma ho dei potenziali clienti che mi fanno esattamente la stessa domanda.
Spero che questo ti aiuti:)
Oggetto: Discussione interna e feedback sul deep learning su TorchGrazie mille @lkimhui per la bella citazione e la spiegazione.
Ciao @Steph_Georges , come menziona @lkimhui , abbiamo impostato il componente aggiuntivo per leggere automaticamente tutti i file .pt tracciati JIT nelle cartelle indicate per la modellazione di immagini o testo. Gli utenti possono creare e pre-addestrare questi modelli in PyTorch, utilizzare lo script JIT o la traccia per salvarli, quindi copiarli in queste cartelle e verranno visualizzati nel menu al successivo avvio del componente aggiuntivo. Siamo anche molto aperti a suggerimenti per i modelli da aggiungere ufficialmente al componente aggiuntivo.
Vorrei anche menzionare che per i dati tabulari e di immagine, l'interfaccia stessa è abbastanza flessibile per progettare architetture personalizzate utilizzando Opzioni avanzate come Dimensioni livello, Attivazione, Dropout e Norma. Questi sono progettati per funzionare con MLP (tabellare), CustomConv1d (serie temporali/funzionali) e CustomConv2d (immagine).
Re: Discussione interna e feedback su Torch Deep LearningCiao a tutti, ho appena messo insieme un nuovo video introduttivo: jmp.com/support/downloads/TorchDeepLearning18/videos/Torch_Intro2.mp4
Sto cercando di migliorare con Camtasia, ma wow, ho un apprezzamento completamente nuovo per i video davvero ben fatti. Apprezzerei sinceramente qualsiasi feedback tu possa fornire su contenuto, stile o simili; più sono critici, meglio è!
Re: Discussione interna e feedback su Torch Deep LearningGrazie per averlo fatto, Russ, insieme al tuo libro di fiabe, sarà di grande aiuto per gli SE.
Per quanto riguarda la tua richiesta di feedback, dipende dal tuo pubblico di riferimento. Per gli SE probabilmente avremo bisogno di maggiori dettagli tecnici man mano che approfondiamo i metodi.
Per gli utenti, quindi, il mio consiglio sarebbe di iniziare con la storia (nel tuo libro di fiabe) -- cosa fa un utente tipico oggi per risolvere il problema, i problemi nel rimanere così com'è, l'opportunità che l'add-in Torch offre per migliorarlo, quindi mostrare solo il risultato finale (il momento di illuminazione, evitando come arrivare al risultato finale), quindi descrivere le vittorie dell'utente e i vantaggi aziendali che ne derivano. Lasciando il pubblico motivato a esplorare ulteriormente.
Re: Discussione interna e feedback su Torch Deep LearningCiao Torchers, sto mettendo insieme un nuovo video introduttivo di 2 minuti. Cerco feedback sul primo montaggio, allegato. Grazie!
Re: Discussione interna e feedback su Torch Deep LearningQuesto è un trailer fantastico e ricco di funzionalità Russ che probabilmente piacerà ai potenziali utenti che stanno già applicando i metodi in una certa misura ma desiderano risparmiare tempo e forse arrivare a una decisione più informativa. Se d'altro canto i tuoi utenti target sono coloro che hanno il problema o la necessità (ad esempio sostituire la classificazione manuale delle immagini con la classificazione "automatica" delle immagini per evitare noia, errori e risparmiare tempo) ma che non hanno familiarità con nessuno dei metodi, allora potresti invece voler iniziare con il problema/dolore (ad esempio classificare manualmente le immagini richiede tempo, è un lavoro noioso e soggetto a errori) e dipingere una visione della soluzione che mostra il risultato dell'analisi con meno enfasi sulla parte pratica --- più enfasi sulle vittorie dell'utente.
Migliore,
Malcom
Re: Discussione interna e feedback su Torch Deep LearningA proposito, video introduttivi per XGBoost e diagramma di Venn allegati. Li sto preparando per il Marketplace: feedback benvenuti!
Re: Discussione interna e feedback su Torch Deep LearningLa documentazione più recente è estremamente utile, in particolare per spiegare come assegnare un punteggio ai nuovi dati. Due funzionalità, secondo me, renderebbero il tutto ancora più semplice. Innanzitutto, un modo semplice per eliminare i vecchi modelli. Forse non ricordo dove si fa, ma sono andato nella cartella su disco in cui sono archiviati i modelli e li ho eliminati tramite il sistema operativo. In secondo luogo, un modo semplice per recuperare ciò che è stato utilizzato per la/e colonna/e di convalida. Presumo che quando si assegnano punteggi ai nuovi dati, sia necessario il numero esatto di colonne di convalida, tipi di modellazione e livelli. Trovo che questo livello di dettaglio sia difficile da tenere traccia, in particolare quando viene creato un gran numero di modelli.
Re: Discussione interna e feedback su Torch Deep LearningRuss, mi sto imbattendo in un errore quando provo a salvare un modello. Ho provato a salvarlo localmente nella cartella AppData predefinita, su un'unità, il mio desktop, e continuo a ricevere un avviso che la cartella non esiste. Idee?
Re: Discussione interna e feedback su Torch Deep Learning@Peter_Polito Grazie per la segnalazione. Nel modo in cui è attualmente impostato il codice, il campo Cartella in Opzioni avanzate deve essere specificato prima di eseguire il modello. Quindi, quando il modello termina l'addestramento, viene creata una sottocartella in questa cartella principale con il nome predefinito "Modello 1". L'opzione del triangolo rosso "Salva modello" rinomina semplicemente questa sottocartella.
Se tutto il resto fallisce, puoi anche rinominare o spostare manualmente le sottocartelle in Windows Explorer o Mac Finder. Questo porta al suggerimento di @DonMcCormack di fornire un modo più semplice per gestire queste cartelle: non c'è ancora nulla al riguardo, ma è una buona idea.
Re: Discussione interna e feedback su Torch Deep LearningÈ passato un po' di tempo dall'ultima volta che sono stato sul server. Volevo reinstallare il componente aggiuntivo Torch e ho ricevuto il seguente messaggio ("Impossibile completare l'installazione. La directory di destinazione o il file nella directory di destinazione è bloccato." Suggerimenti?
Re: Discussione interna e feedback su Torch Deep LearningHo ricevuto un paio di errori diversi quando ho provato a valutare un nuovo set di dati con un modello.
Stavo cercando di ricreare qualcosa che avevo fatto in passato ma, per qualche motivo, non funziona più.
Re: Discussione interna e feedback su Torch Deep LearningAvrei dovuto menzionare che questa operazione è stata eseguita in JMP Pro 19.0.0. (Tutto funziona correttamente in JMP Pro 18)
Re: Discussione interna e feedback su Torch Deep LearningCi sono novità su come salvare correttamente le CAM? Un cliente mi chiede informazioni in merito, e sta riscontrando il problema delle "immagini nere".
Re: Discussione interna e feedback su Torch Deep LearningHo ricevuto una domanda da uno dei nostri clienti del seguente tenore:
"Penso che molti utenti di Torch Deep Learning abbiano già una buona conoscenza di Python. In questo contesto, qual è il valore dell'esecuzione di deep learning su JMP? E ci sono esempi concreti di adozione?"
In risposta, ho organizzato i miei pensieri come segue.
In primo luogo, durante le fasi di PoC ed esplorativa, JMP offre un chiaro vantaggio in termini di velocità e facilità di sperimentazione. I modelli di deep learning basati su immagini e testo possono essere testati rapidamente senza dover scrivere codice, consentendo una rapida valutazione della fattibilità.
In secondo luogo, JMP Pro non è concepito per sostituire Python. In pratica, quando la modellazione avanzata si basa esclusivamente su utenti che conoscono Python, questi ultimi possono trasformarsi in colli di bottiglia. Consentire agli utenti non Python di condurre PoC e attività di convalida in JMP Pro aiuta a distribuire le responsabilità e a far progredire l'analisi in modo più efficiente all'interno dell'organizzazione.
Sulla base di ciò, apprezzerei i vostri suggerimenti su eventuali vantaggi aggiuntivi, nonché esempi di adozione nel mondo reale, in particolare casi d'uso tipici ed esempi che sono passati dalla fase di progettazione alla produzione.
Grazie.
Re: Discussione interna e feedback su Torch Deep Learning@YusukeKoizumi Ottima riflessione e ottime risposte.
In terzo luogo, JMP Pro offre un ambiente dinamico e interattivo con una ricca raccolta di output numerici e grafici sia durante l'addestramento che l'inferenza. Ad esempio, è possibile trascinare un rettangolo sui punti di convalida classificati erroneamente per selezionarli nella tabella JMP ed eseguire un'analisi visiva degli errori, oppure aggiungere una matrice di profitto alla risposta binaria e ottimizzare interattivamente le soglie decisionali.
