aiuto con la comparazione dei modelli: DOE vs ANN potenziatoBuongiorno ragazzi!
1) Ho un DOE e alcuni modelli di rete neurale potenziata di cui vorrei confrontare i rispettivi Rsquared (il più grande), RASE (il più piccolo) e AAE (il più piccolo) per selezionare i migliori modelli ottimizzati dai miei esperimenti.
Ho visto che nello strumento "Confronto modelli", attraverso le formule predittive salvate nel foglio di calcolo dell'esperimento, posso effettuare la selezione secondo i criteri soprastanti il modello, come mostrato nell'immagine allegata. Ma vorrei includere il mio DOE con i suoi Rsquared, RASE e AAE in questa tabella generata. Qualcuno avrebbe qualche consiglio su come farlo?
2) Altra domanda: nel lancio del modello, nel campo “numero di giri” ci sarebbero i numeri dell'epoca? Come funziona l'incremento di questo campo? Qualcuno ha qualche suggerimento per testare i valori?
*** aggiungere
Mi sono dimenticato di chiedere:
3) Ho solo 27 esperimenti (triplicati di 8 esperimenti + 3 punti centrali risultanti da un DOE fattoriale completo), e non posso realizzarne altri per mancanza di materiale. Alla fine ho scelto di testare i modelli ANN con boosting perché credevo che avrebbe creato un modello con maggiore capacità predittiva attraverso la combinazione di diversi piccoli modelli. Sarebbe questa l'opzione migliore? Qualcuno consiglierebbe un'altra costruzione ANN per questo scenario? Qualche idea per ottimizzare le reti, aumentare Rsquared e diminuire RASE e AAE? Sto davvero iniziando con ANN, qualsiasi contributo sarebbe molto rilevante!
*Segue il file JMP allegato.
Progettazione di esperimentiModellazione predittiva e machine learningfinestreRi: aiuto con la comparazione dei modelli: potenziamento DOE vs ANNCIAO @ivanpicchi ,
Sono confuso e potrei non rispondere direttamente alle tue domande, poiché non sono sicuro di quale sia/quali siano i tuoi obiettivi in questo piano: H/W e FN MED sono le due risposte?
Inoltre, qual è il tuo obiettivo:
- Spiegare il tuo sistema in base ai tuoi fattori?
- Screen fattori importanti?
- Creare un modello predittivo?
Qual è la tua conoscenza del sistema? e tante altre domande... Ecco alcuni primi pensieri, ma c'è molto altro di cui discutere (ma potrebbe volerci troppo tempo per scriverlo su un forum).
L'uso della rete neurale per un DoE basato su modello mi sembra completamente sbagliato, poiché hai solo 3 livelli per ciascuno dei tuoi fattori e usi un modello altamente flessibile che può approssimare qualsiasi funzione complessa... Sembra di usare un bazooka per uccidere una mosca: approccio troppo complesso e inadatto. Quindi uno o più NN sono del tutto prematuri in questa fase. Esistono altri algoritmi (più semplici) che potresti provare: Decision Tree/Random Forests, Support Vector Machines, ...
Inoltre la colonna di validazione non è impostata correttamente per il Machine Learning, in quanto gli esperimenti (tramite repliche) possono essere sia in set di training che di validazione e/o di test. Ciò si traduce in un adattamento eccessivo dei modelli e in un’eccessiva fiducia nei risultati della previsione. Per la validazione del modello predittivo su set di dati di piccole dimensioni, è necessario mantenere lo stesso trattamento nello stesso set per evitare perdite di dati e un adattamento eccessivo al modello. L'approccio di convalida incrociata, come K-folds e Leave-One-Out, potrebbe essere interessante da considerare (con la stessa precauzione con l'uso di repliche).
In ogni caso, un consiglio generale è quello di visualizzare i dati prima della modellazione e utilizzare il principio del rasoio di Occam durante la modellazione: inizia la modellazione con un modello semplice, quindi ripeti e aggiungi complessità (se necessario!). Confronta il tuo nuovo modello con quello precedente e valuta quanti miglioramenti hai ottenuto (e quanto è aumentata la complessità). Consiglierei di iniziare in modo semplice, utilizzare prima i modelli di regressione e valutare correttamente i pro e i contro dei tuoi modelli.
Non so quale tipo di modello di regressione e i termini che hai incluso, ma la risposta H/W può essere modellata abbastanza bene attraverso il modello Fit Least Squares (vedi script "Fit Group"). Per la risposta FN, sembra che ci sia molto rumore nelle misurazioni, quindi forse un ulteriore lavoro sugli intervalli, sul protocollo sperimentale, sui fattori (controllare i fattori di disturbo e/o utilizzare il blocco, ...), il dispositivo di misurazione e forse sul modello a priori si potrebbe prendere in considerazione il miglioramento dei risultati.
Adattare un modello complicato a questa risposta non aiuterà: non ci sono grandi differenze tra i risultati del tuo miglior NN (R² = 0,772 - RASE = 0,174 (con overfitting...)) e un semplice modello di regressione (R² = 0,758 - R² rettificato = 0,715 - RMSE = 0,586).
Tenere inoltre in considerazione che l'approccio di modellazione, le metriche e la progettazione utilizzati dovrebbero essere definiti di conseguenza. Per esempio , in un obiettivo predittivo focalizzato sull'interno dello spazio sperimentale, un progetto Space-Filling è adatto per utilizzare algoritmi di Machine Learning, con possibili metriche come RMSE/RASE/MSE focalizzate sull'accuratezza delle previsioni.
Spero che questi primi punti di discussione ti possano aiutare,
Ri: aiuto con la comparazione dei modelli: potenziamento DOE vs ANNCiao @ivanpicchi ,
Ancora una volta, la complessità del modello che è possibile adattare sarà collegata al numero di livelli, alla qualità e alla rappresentatività dei punti dati. Con solo 3 livelli per i fattori min, mediana e max, i metodi di regressione tradizionali saranno in grado di adattarsi solo a un modello quadratico (con termini di interazione e termini quadratici). Se ti aspetti una superficie di risposta più complessa, ti consiglio di aumentare il tuo progetto con punti di progettazione che riempiono lo spazio all'interno del tuo spazio sperimentale.
Alcune risposte alle vostre domande:
- Nella piattaforma Neural è possibile selezionare come metodi di validazione "K-folds". Se specifichi K = numero di righe, eseguirai il metodo di convalida Leave-One-Out. Fare attenzione a non avere repliche nel datatable, poiché ciò potrebbe fuorviare notevolmente i risultati (poiché un trattamento utilizzato nella convalida potrebbe essere presente anche nell'addestramento se replicato).
Maggiori informazioni sui metodi di validazione nella piattaforma Neural: Metodi di validazione per Neural
Puoi trovare una spiegazione per il numero di tour (una delle tue domande iniziali) qui: Opzioni di adattamento neurale
E posso consigliarti di utilizzare questo componente aggiuntivo per aiutarti a ottimizzare la tua rete neurale: https://community.jmp.com/t5/Discovery-Summit-Americas-2023/JMP-Pro-Neural-Network-Tuning-Add -Nel-2023-US-30MP-1408/ta-p/651647
Più in generale, il Machine Learning è una mentalità diversa rispetto alla modellazione statistica “tradizionale”. Il Machine Learning enfatizza l'accuratezza predittiva, con la scelta e l'ottimizzazione del miglior modello interpolante con pochissime ipotesi, mentre la modellazione statistica enfatizza la comprensione del processo di generazione dei dati, richiedendo la scelta di un modello appropriato e la verifica delle ipotesi, e può richiedere l'uso di repliche per distinguere la variazione della risposta dovuta a fattori dalla variazione casuale o dal rumore.
- Per quanto riguarda la FN di risposta: la ripetizione consiste nell'effettuare misurazioni di risposta multipla sulla stessa esecuzione sperimentale (stesso campione senza alcuna reimpostazione tra le misurazioni), mentre la replica consiste nell'effettuare più esecuzioni sperimentali randomizzate indipendenti (campioni multipli con reimpostazione tra ciascuna esecuzione) per ciascun trattamento combinazione. Le ripetizioni riducono solo la variazione dal sistema di misurazione (utilizzando la media delle misurazioni ripetute), mentre le repliche riducono la variazione sperimentale totale (processo + misurazioni) al fine di fornire una stima dell'errore puro e ridurre l'errore di previsione (con misure più accurate stime dei parametri). Se hai ancora del rumore nella risposta media, ciò potrebbe probabilmente indicare che la maggior parte del rumore/disturbo proviene dal processo, non dalla sola misurazione. Forse alcuni fattori di disturbo potrebbero essere presi in considerazione attraverso il blocco, oppure alcune parti del protocollo sperimentale potrebbero essere migliorate. Più operatori stanno effettuando le misurazioni?
- Per alcuni motivi, il collegamento non funziona per me. Non conosco la conclusione di questo articolo, ma guardando i risultati, posso vedere chiaramente che non c'è una grande differenza tra il modello di regressione e la rete neurale utilizzata in termini di accuratezza predittiva nel tracciare i residui:
Puoi guardare i risultati con il datatable allegato, così come la modellazione eseguita (regressione + rete neurale).
Utilizzando la piattaforma Neural Network, sono in grado di trovare un modello piuttosto interessante a scopo predittivo (nascondere ed escludere le 2 esecuzioni replicate prima di avviarlo e utilizzare la risposta Y media per modello), ma che non prende in considerazione la ripetibilità/riproducibilità, quindi questo potrebbe non essere un modello robusto da utilizzare. Ancora una volta, a seconda del tuo obiettivo, potresti perdere qualcosa in termini di accuratezza predittiva: con le reti neurali, perdi interpretabilità (poiché ogni fattore è combinato e utilizzato nelle funzioni di attivazione della NN, non è possibile valutare la relativa influenza individuale e l'importanza di ciascuno fattore) a favore dell’accuratezza predittiva.
Se sei interessato a combinare modelli, penso che fare la media o assemblare diversi tipi di modelli potrebbe essere più interessante che combinare lo stesso tipo di modelli, poiché potrebbero soffrire degli stessi problemi e ipotesi "teorici" (prestazioni di generalizzazione, robustezza, prestazioni predittive , overfitting, ...). La combinazione di diversi tipi di modelli può aiutare a calcolare la media degli errori e compensare gli svantaggi di alcuni modelli con i vantaggi di altri e aiutare a omogeneizzare la posizione ottimale trovata (che può essere molto diversa tra regressione e reti neurali).
Spero che questa risposta più completa ti possa aiutare 
Ri: aiuto con la comparazione dei modelli: potenziamento DOE vs ANNGrazie per la risposta così dettagliata!
L'esperimento è stato effettuato DOE per prevedere - all'interno dello spazio sperimentale definito - le pareti WAAM mediante robot GMAW con 10 saldature sovrapposte, dove ogni esperimento corrisponde ad una parete eseguita.
Devo prevedere le seguenti due risposte: 1) H/W (rapporto altezza/larghezza) e FN (contenuto di ferrite nei depositi, ottenuto da una media di 10 punti misurati con un ferritoscopio sulla parete). Con il DOE fattoriale effettuato, gli studenti sono stati in grado di proporre un'impressione ottimizzata massimizzando il rapporto H/W e con un target per il contenuto FN. Stiamo iniziando questo viaggio DOE e ANN mirando alla parametrizzazione della saldatura.
Tuttavia, il modello non è altrettanto soddisfacente per prevedere alcuni esperimenti di saldatura al di fuori delle esecuzioni DOE, poiché alcune delle misurazioni eseguite non rientrano nell'IC del 95% previsto dal modello. Quindi il tentativo di massimizzare la capacità predittiva con le sperimentazioni già effettuate. Ho bisogno di prevedere le risposte ALL'INTERNO dello spazio campione, perché sotto non è saldabile e sopra danneggio componenti della macchina.
Leggendo alcuni libri e articoli, ho considerato di applicare K-fold ad ANN a causa della scarsa quantità di dati come da te indicato nella tua risposta, ma dove lo seleziono in JMP pro? Grazie per il tuo suggerimento su come inserire le terzine nello stesso set di dati di convalida, non mi è nemmeno passato per la mente che ciò avrebbe influenzato il sovraadattamento dell'ANN.
Sì, ho applicato il modello Fit Least Squares alla mia regressione. Il livello di rumore nella FN potrebbe essere dovuto al fatto che è una media di punti? Se sì, qualche consiglio in merito a quanto sopra?
Ancora una volta, grazie per l'eccellente risposta e le domande!
Ri: aiuto con la comparazione dei modelli: potenziamento DOE vs ANNAd esempio: vorrei effettuare un'analisi simile a queste immagini tratte dall'articolo "Uno studio comparativo utilizzando la metodologia della superficie di risposta e la rete neurale artificiale verso la produzione ottimizzata di melanina da parte di Aureobasidium pullulans AKW" ( https://doi.org/ 10.1038/s41598-023-40549 -z).
Ri: aiuto con la comparazione dei modelli: potenziamento DOE vs ANNSarei cauto con i risultati, poiché non sappiamo (almeno io non lo so) come è stato eseguito il partizionamento per la convalida della rete neurale.
- Hanno preso in considerazione il fatto che le ultime 3 righe sono replicate, e quindi per la rete neurale sarebbe più "giusto" utilizzare una media della risposta per questo trattamento, invece di suddividere i 3 diversi risultati in set possibilmente diversi?
- Inoltre mancano spiegazioni sulla parte di modellazione della regressione, quindi non so quali siano i termini mantenuti nella modellazione e su quali basi i termini siano stati eventualmente cancellati dal modello: è stato fatto in un "Machine Learning" "/modo predittivo, testando diversi modelli di regressione e mantenendo quello con i migliori risultati di convalida? Oppure in base alla significatività statistica, al criterio informativo, alla verosimiglianza…?
Tuttavia, anche se mancano informazioni su come è stata eseguita la modellazione (forse presenti nell'articolo, ma a cui non è possibile accedere tramite il collegamento fornito), è interessante vedere il compromesso bias-varianza in azione quando si confrontano i risultati dall'ottimo con validazione sperimentale:
Il modello di regressione può avere una distorsione più elevata (differenza media maggiore tra l'ottimo effettivo e quello previsto) rispetto alla rete neurale, ma può avere una varianza inferiore (poiché l'ottimo trovato con il modello di regressione ha un'incertezza inferiore (SD?) rispetto a quello trovato con rete neurale), quindi potrebbe rivelarsi una scelta più solida.
