Quanti punti dati per un modello di ordine ridotto?Mi trovo ancora una volta nella situazione in cui penso di sapere cosa voglio fare, ma non riesco a capire come formulare correttamente la domanda...Forse qualcuno sarebbe così gentile da aiutare un ingegnere in difficoltà?
Sto cercando di costruire un modello di ordine ridotto: ho un modello meccanicistico complesso e desidero sviluppare una correlazione semplice per descrivere le prestazioni del mio sistema in uno spazio operativo limitato.Ho utilizzato JMP per progettare un esperimento di "riempimento dello spazio" e ho scritto uno script per eseguire il mio modello meccanicistico per riempire la tabella dei risultati.Posso importare i risultati in JMP e sono riuscito a creare correlazioni che soddisfano le mie esigenze con la piattaforma "Fit Model".
Tuttavia, il modello meccanicistico è relativamente lento, quindi sono motivato a cercare di capire quante poche esecuzioni meccanicistiche posso farla franca generando comunque un buon adattamento generale.Sembra che dovrei essere in grado di utilizzare il mio set di dati esistente per iniziare a rispondere: posso mascherare manualmente i dati, adattarli a un sottoinsieme e quindi confrontarli con il set di dati più ampio, confrontando r2 sui dati invisibili, Per esempio.Farlo manualmente va bene, ma richiede tempo (o forse sono solo pigro): c'è qualche widget magico che mi manca?
Immagino che potrei usare la piattaforma "Neural" e aumentare la "Porzione Holdback" finché r2 del set di convalida non inizia a salire.Preferirei attenersi a un modello "lineare" (anche se con termini quadratici e incrociati), ma immagino che stimerebbe il limite.Sembra anche che io possa scegliere l'Holdback solo una volta, quindi devo riavviare la piattaforma per giocare a quel gioco.
Grazie in anticipo!
Carlo
Accesso ai datiCombinazione e pulizia dei datiProgettazione di esperimentiModellazione predittiva e machine learningCondivisione e comunicazione dei risultatiRi: Quanti punti dati per un modello di ordine ridotto?Grazie ancora, Dan.Capisco e sono d'accordo con la tua risposta.
Il modello (meccanicistico) sottostante è piuttosto non lineare, quindi il mio problema è che non sono sicuro in anticipo se un modello quadratico sarà abbastanza buono (o quale dei ~ 10 parametri di input potrebbe mostrare non linearità).Mi piace l'aNN, infatti è probabile che rilevi qualsiasi non linearità, ma non mi piace che abbia così tanti parametri, come dici tu.
Non mi ero reso conto che la parte Holdback dell'aNN fosse utilizzata direttamente nell'adattamento dei parametri: pensavo che fosse utilizzata "solo" per scegliere quando fermarsi.Certamente, se aumento sufficientemente la frazione di holdback, la qualità del modello si riduce (sia adattata che validata).In realtà sono riuscito a scrivere uno script carino che esegue il modello aNN più volte all'interno di un ciclo con frazioni Holdback crescenti e quindi cattura r2 per i set di adattamento e convalida, così posso avere un'idea di dove la qualità del modello inizia a deteriorarsi. ..
Ad ogni modo, grazie mille per il tuo aiuto: ora ne so di più sulla piattaforma DoE e mi sento più capace di affrontare questo tipo di problemi in futuro!Se so che è probabile che l'output del modello sia relativamente fluido, probabilmente utilizzerò un design più strutturato come mi consigli e testerò i bordi/punti centrali.Se sono meno sicuro, utilizzerò un progetto che riempie lo spazio, utilizzando più punti dati per ottenere un adattamento, ma spero di comprendere meglio la non linearità del sistema (se presente)
Ti auguro il meglio
Carlo
Ri: Quanti punti dati per un modello di ordine ridotto?La differenza tra l'esperimento progettato e la rete neurale è legata al modello adatto.
I modelli di rete neurale possono catturare un comportamento MOLTO non lineare. Per fare ciò sono necessari molti più dati. Ma il modello risultante è molto più complesso e “sinuoso” del modello quadratico. In genere ci sono MOLTI parametri in un modello di rete neurale. Inoltre, le reti neurali richiedono un insieme di dati di controllo (come sapete), il che significa che non tutti i dati vengono utilizzati per adattare il modello. Ciò significa anche che è necessario un set di dati più grande poiché solo una percentuale dei dati viene utilizzata per creare il modello. Si noti che i set di controllo vengono utilizzati per determinare quando interrompere la stima dei parametri della rete neurale, quindi trattenere percentuali maggiori di dati non equivale a utilizzare meno dati. Il set di resistenze viene ancora utilizzato, solo in misura minore rispetto ai dati di addestramento.
Quindi quale approccio è migliore dipenderà da quanto non lineare ti aspetti che sia questo modello meccanicistico. Per te sarà un compromesso costi/benefici o rischio/ricompensa.
Se credi veramente che il modello quadratico svolga un lavoro adeguato nella stima della relazione, segui l'approccio di progettazione sperimentale e meno dati.
Se ti aspetti che la rete neurale svolga un lavoro migliore nel catturare la relazione, scegli la rete neurale, ma al costo della necessità di più dati.
Ri: Quanti punti dati per un modello di ordine ridotto?Grazie Dan. Ho risolto questo problema e la risposta è arrivata come 21 casi (invece dei ~ 2200 che ho effettivamente eseguito). Tutti i miei valori di "potenza" nell'analisi della potenza sono tornati come 1, quindi penso che ciò implichi che il modello dovrebbe essere buono.
Detto questo, ho utilizzato la piattaforma neurale per adattare parti dei 2200 case originali. Ho impostato uno script che eseguiva l'adattamento 4 volte e ho confrontato r2 e q2 mentre aumentavo la frazione Holdback. Entrambi erano buoni (> 0,995 per almeno 3 modelli su 4) quando la mia frazione di holdback era <0,925. Quando ho trattenuto 0,95 delle variabili (ovvero ho utilizzato 0,05*2200 = 110 condizioni utilizzate per l'adattamento), allora r2 era < 0,985 per 3 adattamenti su 4 e q2 era < 0,97 per 3 su 4.
Non sono sicuro del motivo per cui ho bisogno di più casi quando utilizzo la piattaforma neurale. Immagino che il "design personalizzato" utilizzi uno schema -1/+1 in cui il mio design di riempimento dello spazio originale era distribuito attraverso lo spazio e quindi forse meno perspicace?
Grazie
CarloRi: Quanti punti dati per un modello di ordine ridotto?Quindi hai un modello quadratico con cui ti senti a tuo agio con la vestibilità. Ora vuoi determinare quante corse avresti VERAMENTE necessarie per ottenere un adattamento simile, giusto? Sei più interessato al valore previsto dal modello lineare o alla stima dei parametri di quel modello lineare? Presumo che tu sia interessato alla previsione.
Quindi forse questo approccio funzionerebbe. Scegli DOE > Design personalizzato. Inserisci i tuoi fattori. Specifica il modello RSM (effetti principali, tutte le interazioni a 2 vie e tutti i termini al quadrato: penso che sia quello che hai detto di avere). Guarda il numero di esecuzioni predefinite. Fare clic su Crea progetto.
JMP creerà un progetto I-ottimale (migliore per la previsione) con quel numero di esecuzioni.
Apri la parte Analisi della potenza dell'output. Compila l'RMSE previsto (sarebbe l'RMSE del modello che hai già installato). Inserisci i coefficienti previsti dal modello lineare che già possiedi. Fare clic su Applica modifiche ai coefficienti previsti. I numeri di potenza risultanti rappresentano la probabilità che questo progetto rilevi tale effetto. Vorresti che questi numeri fossero alti. Quanto in alto dipenderà da te. Se non sono sufficientemente alti, torna indietro e aumenta il numero di esecuzioni nel progetto.
Ti incoraggio anche a dare un'occhiata al grafico della frazione dello spazio di progettazione e al profilo della varianza della previsione. Questi grafici ti mostreranno la "precisione" della previsione del modello con quel numero di esecuzioni. Cerca una varianza di previsione bassa che sia abbastanza piatta nell'intero spazio di progettazione.
Spero che aiuti!
