Ho ricevuto una domanda da un cliente (JMP Pro) che sta conducendo un esperimento di elettroplaccatura. Ha un esperimento progettato in cui ha variato diversi input con l'obiettivo di costruire un modello per raggiungere un risultato obiettivo.
Sta lottando per costruire un buon modello predittivo. Dice che quando usa il modello per prevedere nuove corse, non fa bene.
Il modello sembra cambiare rispetto alla complessità (numero di termini) molto facilmente con la rimozione di un paio di punti.
Questo sembra un problema che potrebbe trarre beneficio da una consultazione personale con i suoi dati e il suo modello, ma la cosa molto specifica che ha chiesto era (sto parafrasando un po 'della nostra conversione): "Riconoscendo che i metodi di convalida incrociata stanno" facendo questo "già ... c'è un? modo automatico per generare un modello per ciascuno dei possibili sottoinsiemi delle corse sperimentali . Voglio confrontare il numero di termini (e quali termini) per ciascuno dei modelli. "
Le domande che mi sono venute in mente sono state:
- Stai sovralimentando il modello?
- Il tuo sistema di misurazione è buono? (Lui pensa che sia)
- Sei in grado di controllare gli input con precisione [abbastanza]?
Quali sono ulteriori domande dovrei chiedere? Come posso essere d'aiuto a questo cliente?
Grazie in anticipo!
Sto rispondendo al mio stesso post! Ulteriori prove non sono mai stato il ragazzo popolare ...
Ho avuto una chat con @tom_donnelly e volevo pubblicare la mia risposta al cliente qui.
"Grazie per aver passato del tempo con me per spiegare la tua sfida.
Ho fatto un po 'di divulgazione nella comunità tecnica JMP e la risposta breve alla tua domanda "JMP ha un a modo automatico di generare un modello per ciascuno dei possibili sottoinsiemi delle corse sperimentali " è no.
Tuttavia, ho ricevuto alcuni consigli in alcune delle mie discussioni che potrebbero esserti utili.
Credo che tu stia lavorando con i dati di un esperimento progettato, corretto? Hai usato un design personalizzato? Quante corse hai avuto per errore?
Se questo è il caso, allora l'esperimento che hai progettato ... è un insieme parsimonioso di esecuzioni per adattarsi a un modello ipotizzato (a meno che tu non abbia avuto molte repliche). Il modello, per sua natura, sarà molto sensibile ai dati raccolti per ogni esecuzione perché il design è stato creato per rispondere alla domanda (modello ipotizzato specificato) nel minor numero possibile di esecuzioni. Se il tuo modello non sta facendo un buon lavoro di installazione di ulteriori prove di "test / validazione", allora potrebbe avere senso aggiungere al tuo progetto originale per adattarlo a un modello di ordine superiore. Naturalmente, il modello potrebbe non fare un buon lavoro di previsione anche per altri motivi (ad es. Ci sono fattori che sono importanti per i quali non si sta controllando, è difficile controllare i propri input, il sistema di misurazione ha un sacco di rumore, eccetera.)
Ricordo che hai detto che aggiusti il tuo modello con corse aggiuntive. Queste esecuzioni sono state aggiunte al tuo progetto originale? O stavi adattando il tuo modello mentre stavi raccogliendo i dati dell'esperimento?
Se la risposta è la seconda (c'è una ragione pratica per cui stai facendo questo?), Potresti considerare di bloccare il tuo progetto. Ad esempio, il primo set di esecuzioni (primo blocco) potrebbe essere quello di stimare gli effetti principali. La seconda serie di analisi potrebbe essere la stima dei termini di interazione, ecc. In questo modo, le esecuzioni vengono impostate in ciascun blocco in modo che stiano valutando un modello completo.
Fammi sapere se desideri discutere ulteriormente. "
@tom_donnelly ha anche detto che il cliente potrebbe voler considerare se le trasformazioni potrebbero essere rilevanti nel modello di costruzione, ma non l'ho menzionato nella mia e-mail (aspetterò fino a quando non chiacchieremo in diretta).
Mi piace la risposta di Tom a questo. Penso sia il migliore Tuttavia, se non c'è tempo o budget per più esecuzioni, ho anche avuto fortuna usando la regressione generalizzata per ottenere più modelli predittivi sui dati DOE nella mia vita passata. Peter Hersh ha condiviso con me una fantastica demo di JMP Pro che è così vicina a quello che ho fatto è spaventosa 
Pete, posso dirtelo?
Ciao Wendy,
Ho allegato il mio diario per l'esempio di cui parla Jason. È una situazione molto simile in cui hanno eseguito un DSD e stanno cercando di costruire un modello predittivo. Se usi Stepwise quindi inserisci i minimi quadrati (JMP standard) ottieni un modello molto overfit che finisce per essere una cattiva previsione. Con GenReg funziona molto meglio. Sono fuori città questa settimana prossima, quindi posso aiutare a spiegarlo meglio, ma tutti gli script sono salvati nelle tabelle dei dati. Fa un buon caso per GenReg vs. Stepwise / misura minimi quadrati. Spero che questo sia utile.
Potrebbe valere la pena controllare se questo esperimento include fattori di miscelazione. Se è così, non dovremmo tentare di semplificare il modello nel modo in cui lo faremmo per un esperimento che coinvolge solo fattori di processo. Prova invece ad andare con le previsioni usando il modello di progettazione.
Migliore,
Malcolm
