Malfunzionamento nella foresta Bootstrap con la tabella di progettazione di ottimizzazione?Ciao a tutti,
Ho un caso in cui desidero applicare un approccio Bootstrap Forest in combinazione con una tabella di progettazione di ottimizzazione. Seguendo le istruzioni nell'Aiuto di JMP mi sono imbattuto nel problema che solo due dei sei iperparametri descritti nella tabella di ottimizzazione sono stati inseriti nel numero di modelli costruiti in base al numero di esecuzione della tabella di ottimizzazione.
Questo problema è stato identificato anche da qualcun altro?
Ne ho già parlato con @Jonas_Rinne e non siamo riusciti a trovare una soluzione soddisfacente. o è un bug?
Modellazione predittiva e machine learningRi: Malfunzionamento nella foresta Bootstrap con la tabella di progettazione di ottimizzazione?CIAO @Jonas_Rinne E @Egon_Gross1 ,
L'anno scorso ho utilizzato una tabella di progettazione di ottimizzazione per mettere a punto un albero potenziato (iperparametri simili) su questo argomento: https://community.jmp.com/t5/Discussions/Boosted-Tree-Tuning-TABLE-DESIGN/mp/609591/highlight/true#M81062
Non sono dietro al computer, quindi questo è il meglio che posso fare ora, ma posso fare alcuni test domani se può essere d'aiuto (e se una soluzione non viene trovata prima da qualcun altro). La denominazione delle colonne è piuttosto sensibile, quindi questo potrebbe spiegare perché vengono utilizzate alcune colonne di iperparametri e non altre.
Spero che questo possa aiutare nel frattempo,Ri: Malfunzionamento nella foresta Bootstrap con la tabella di progettazione di ottimizzazione?CIAO @Egon_Gross1 E @Jonas_Rinne ,
Eseguo continuamente l'ottimizzazione dei modelli con tabelle di ottimizzazione e ho persino creato modelli per NN, alberi potenziati, foresta di bootstrap e XGBoost.
Non ho mai avuto problemi con gli iperparametri che non venivano inseriti in una tabella di ottimizzazione, tranne quando sono costanti. Di solito utilizzo la piattaforma DOE per la progettazione del riempimento dello spazio insieme alle tabelle dei modelli di ottimizzazione per generare la tabella di ottimizzazione più grande con tutte le esecuzioni.
Una possibilità potrebbe essere il nome, l'altra è che probabilmente dovrai assicurarti che alle colonne sia associato anche il ruolo di progettazione corretto nei metadati. Se a una colonna manca tale ruolo, le piattaforme DOE potrebbero non funzionare correttamente.
Sembra che le pagine della guida di JMP abbiano i nomi di colonna corretti associati al ruolo di una tabella di ottimizzazione. In allegato sono presenti le tabelle dei dati del mio modello, spero che possano aiutare.
DS
Ri: Malfunzionamento nella foresta Bootstrap con la tabella di progettazione di ottimizzazione?Sembra che ci sia qualche incoerenza tra la pagina della guida e l'indice degli script. Ecco cosa suggerisce la pagina della guida come nomi di colonna per i diversi iperparametri nella tabella di ottimizzazione:
Nell'indice degli script le colonne hanno nomi leggermente diversi (Dividi/Dividi):
Qualcuno ha avuto lo stesso problema prima? Abbiamo usato i nomi delle colonne sbagliati o si tratta di qualcos'altro? I primi due iperparametri funzionano perfettamente.
Ri: Malfunzionamento nella foresta Bootstrap con la tabella di progettazione di ottimizzazione?@Egon_Gross1 E @Jonas_Rinne - Grazie per la domanda, sto esaminando la questione anche dal lato del supporto tecnico JMP. Sembra che la tabella di sintonia che hai condiviso con noi nel tuo esempio sia coerente con come @SDF1 specificato, l'unica differenza è che non sembra avere la proprietà Colonna di codifica specificata per ciascuna colonna.L'ho provato in entrambi i modi con l'esempio fornito sullo stesso seme casuale (= 1234) e sembra non fare alcuna differenza.Continuerò a indagare da parte mia e fornirò un aggiornamento non appena potrò raccogliere ulteriori informazioni utili.Saluti, @PatrickGiuliano
Ri: Malfunzionamento nella foresta Bootstrap con la tabella di progettazione di ottimizzazione?CIAO @SDF1 E @PatrickGiuliano E @Jonas_Rinne E @Victor_G ,
grazie mille per tutti i vostri contributi e supporto.
Provando diversi approcci - tranne il tentativo NN (ormai) - le tabelle Tunung fornite hanno funzionato, tranne quella per la procedura RF. L'ho provato con diverse tabelle dalla cartella di esempio. Dopo aver utilizzato la tabella di ottimizzazione, la sezione Riepiloghi del set di convalida del modello conteneva solo le colonne "N termini, N alberi, N alberi specificati e RSquare". Gli altri parametri di ottimizzazione non sono stati visualizzati e dubito che siano stati utilizzati.
Saluti
Egone
Ri: Malfunzionamento nella foresta Bootstrap con la tabella di progettazione di ottimizzazione?CIAO @Egon_Gross1 ,
Non ho mai avuto problemi con l'utilizzo delle tabelle modello che ho caricato prima. Come stai utilizzando esattamente la tabella di ottimizzazione o ne stai generando una dalla tabella dei modelli? Ancora una volta, se un parametro di ottimizzazione è costante, le piattaforme DOE ignoreranno quel parametro e non lo includeranno in una tabella di ottimizzazione. Non mi è chiaro il motivo per cui stai riscontrando un problema poiché questi modelli funzionano perfettamente per me ogni volta che li utilizzo. Se puoi fornire screenshot di ogni passaggio che stai eseguendo nel processo, ciò potrebbe aiutare a capire qual è il problema principale.
Grazie!,
DS
Ri: Malfunzionamento nella foresta Bootstrap con la tabella di progettazione di ottimizzazione?CIAO @SDF1 ,
sfortunatamente, posso riprodurre i risultati. Per consentirti un riepilogo ho aggiunto un pdf che mostra i miei passaggi per un bootstrap normale e per quello che utilizza la tabella di ottimizzazione. Se c'è qualcosa di sospetto, apprezzo il tuo aiuto.
KR
Egon1
Ri: Malfunzionamento nella foresta Bootstrap con la tabella di progettazione di ottimizzazione?CIAO @Egon_Gross1 ,
La tabella di ottimizzazione e la piattaforma Bootstrap Forest funzionano come previsto e vengono utilizzate in modo piuttosto corretto.
Quindi, prima di tutto, l'output mostrato per l'adattamento del modello è l'output standard per la piattaforma della foresta bootstrap in cui elenca nella tabella Riepiloghi set di convalida modello solo N termini, N alberi, N alberi specificati e RSquare. Gli altri parametri sono elencati di seguito nella casella di riepilogo "Specifiche". Qui è dove troverai i parametri Divisioni minime per albero e Divisione dimensione minima per ottimale solo modello. JMP non salva tutti i dati per ciascuna esecuzione della tabella di ottimizzazione. Se vuoi farlo, dovrai scrivere il tuo codice JSL. L'ho fatto e ho creato un programma di ottimizzazione automatizzato generalizzato all'interno di JMP in modo da poter eseguire modelli utilizzando piattaforme diverse e registrare la bontà dei valori di adattamento per ogni esecuzione del modello e quindi è possibile visualizzare effettivamente i risultati per poi restringere il campo l'adattamento potrebbe effettivamente essere migliore: avere valori R ^ 2 molto alti non è sempre il modello migliore in quanto potrebbe non essere così adattivo ai cambiamenti. A volte è meglio guardare altri parametri.
Ad ogni modo, ho detto che la tavola di accordatura veniva utilizzata "in qualche modo" correttamente. Ciò che intendo con questo è che dovresti davvero utilizzare le tabelle di ottimizzazione che ho inviato come fattori da caricare in un progetto di riempimento dello spazio. Andare su DOE > Scopo speciale > Progettazione del riempimento dello spazio, quindi fare clic sul triangolo rosso e selezionare Fattori di carico. Specifica il numero di esecuzioni che desideri eseguire, quindi fai clic su Riempimento flessibile rapido e otterrai una nuova tabella dati piena di spazio per esplorare lo spazio degli iperparametri. Tieni presente che nei modelli che ho inviato, la prima riga rappresenta le impostazioni inferiori del DOE mentre la seconda riga rappresenta le impostazioni elevate del DOE. Quando si esegue quindi la piattaforma di modellazione (NN o foresta bootstrap), si selezionerà questo nuovo progetto di riempimento flessibile e veloce come tabella di ottimizzazione.
A proposito, sono felice di condividere con te il codice di ottimizzazione generalizzato JSL, se lo desideri, fammelo sapere. Qualche tempo fa ne ho fatto una presentazione per il club degli scripters JSL. Ha i suoi limiti, ma è anche molto utile.
Buona fortuna!,
DS
Ri: Malfunzionamento nella foresta Bootstrap con la tabella di progettazione di ottimizzazione?Ciao @SDF1 ,
grazie per i vostri chiarimenti e commenti, che mi sono stati davvero di grande aiuto!
Ho pensato che la presentazione dei risultati fosse in qualche modo simile a quella delle altre piattaforme, il che era ovviamente sbagliato. Anche l'uso della tabella di ottimizzazione ha funzionato bene e ho ottenuto una tabella "Riepilogo del set di convalida del modello" per tutte le esecuzioni definite della tabella di ottimizzazione.
Forse è interessante per @PatrickGiuliano E @Jonas_Rinne per implementare la "versione completa" di tutti i risultati delle misure di qualità in una tabella corrispondente basata sullo script JSL.
Secondo la tua offerta di ottenere la JSL, lo apprezzerei moltissimo: grazie in anticipo.
Grazie per tutto il supporto e le idee.
KR
Egon1
Ri: Malfunzionamento nella foresta Bootstrap con la tabella di progettazione di ottimizzazione?CIAO @Egon_Gross1 ,
In allegato è riportato il codice JSL per eseguire l'ottimizzazione generalizzata per diverse piattaforme di modellazione JMP.
Grazie!,
DS
Ri: Malfunzionamento nella foresta Bootstrap con la tabella di progettazione di ottimizzazione?Wow, questo è davvero un ottimo strumento per mettere a punto diversi parametri del modello. Grazie per la condivisione!
Ri: Malfunzionamento nella foresta Bootstrap con la tabella di progettazione di ottimizzazione?Ciao @Egon_Gross1 In effetti, ho verificato con lo sviluppatore della piattaforma e hanno confermato che BF sta effettivamente utilizzando tutte le colonne della tabella di ottimizzazione specificate come ha commentato qui @SDF1 , ma semplicemente non le segnala. Stiamo lavorando a una soluzione a questo problema e dovrebbe essere incorporata nel ciclo di sviluppo di JMP 18 (dopo il rilascio iniziale di JMP 18.0 nel primo trimestre del 2024). Saluti, @PatrickGiuliano (supporto tecnico JMP)
