Valutazione del modello esistenteCiao a tutti,
Avevo creato un modello predittivo e recentemente i miei colleghi del QC hanno dovuto modificare uno dei loro ingredienti, che è una delle tante variabili del modello, per continuare a lottizzare i loro prodotti. Voglio valutare il modello esistente invece di perfezionarlo perché non ci sono ancora dati sufficienti e modificarlo ne ridurrà la precisione. Hanno nuove risposte misurate, utilizzando il nuovo ingrediente, con cui posso confrontare le previsioni del modello. Questo è un modo per valutare il mio modello. Ma mi chiedo se JMP disponga già di strumenti che posso utilizzare per farlo e magari per scavare più a fondo. Qualsiasi cosa da Grafici di controllo statistico del processo (SPC). ?!
Qualsiasi suggerimento è molto apprezzato.
Re: Valutazione del modello esistente@statman grazie mille per il link, il libro e ancora il tuo tempo.
1. È significativo in base ai fattori di screening e alle colonne dei fattori di contribuzione. Il nuovo ingrediente proviene da un fornitore diverso. Rientra ancora nei limiti ASTM per lo stesso tipo. Sì, posso sperimentare. Lo farò nel prossimo futuro.
1. Sì, ne sono consapevole. L'albero potenziato probabilmente non mi dà R2 modificato.
2. Sì, ovviamente per delta. Intendevo quale delta usare. Ma sembra che sia basato su una mia decisione... grazie ancora.
Re: Valutazione del modello esistentePerfavore guarda equivalenza univariata per informazioni su questo test in Distribuzione. Vedere equivalenza unidirezionale per informazioni in Oneway.
Re: Valutazione del modello esistenteDiscussione successiva:
1. Quanto era significativa la sostanza chimica precedente nel modello precedente? Quanto è diversa la nuova sostanza chimica? Puoi sperimentare questa variabile per vederne l'effetto?
1. R^2 non ha nulla a che fare con la precisione del tuo modello. R^2 è la quantità di variazione NEL SET DI DATI spiegata dal modello. R^2 non dovrebbe essere valutato da solo. Dovresti confrontare R^2 con R^2 aggiustato. R^2 aumenterà sempre man mano che aumenti i gradi di libertà nel modello (che apparentemente hai molti DF nel modello), ma il punto è includere solo variabili significative nel modello. R^2 aggiustato tiene conto dei termini insignificanti nel modello, quindi è necessario che il delta tra R^2 e R^2 aggiustato sia minimo.
2. Per creare una colonna di delta tra il modello precedente (colonna 1) e il nuovo modello (colonna 2), basta creare una colonna con una formula che sottrae le 2 colonne.
Per informazioni dettagliate sull'utilizzo delle carte di controllo dovresti leggere:
Wheeler, Donald e Chambers, David (1992) “ Comprendere il controllo statistico dei processi "SPC Press (ISBN 0-945320-13-2)
Per le distribuzioni: https://www.jmp.com/support/help/en/15.1/?os=mac&source=application&utm_source=helpmenu&utm_medium=application#page/jmp/compare-distributions.shtml
Re: Valutazione del modello esistente@Mark_Bailey Grazie mille per la tua risposta. C'è qualche pagina in cui posso vedere un esempio e come eseguirlo in JMP? Molto apprezzato.
Re: Valutazione del modello esistenteGrazie @statman E @Mark_Bailey . Vado avanti e rispondo alle tue domande e spero di ricevere i tuoi migliori pensieri / soluzioni finali. Apprezzo ancora il tuo tempo e il tuo gentile aiuto:
1. Penso che il modello attuale (Boosted Tree) funzioni bene. R2 è 92% e ho controllato le sue previsioni con nuove risposte misurate e il QC è molto soddisfatto. Le risposte a cui mi riferisco provengono da produzioni con gli stessi 30 ingredienti. Solo un ingrediente è cambiato di recente perché non possono importarlo e ne stanno utilizzando uno alternativo.
2. Penso di aver risposto a questa domanda al punto 1. Quindi l'unico modello che ho creato utilizza 30 variabili con cui lavoriamo da diversi anni. Uno di questi ha dovuto cambiare di recente ed è di tipo simile ma ha una composizione chimica leggermente diversa.
3. Oh scusa. Nulla è stato rimosso dal modello. Voglio verificare se l'unico modello che ho creato prevede ancora le risposte in modo accettabile.
4. Mi piace avere la stessa precisione del modello precedente. Quel 92% R2 era destinato alla formazione, alla convalida e al set di test. È un modello fantastico. Se volessi creare un nuovo modello utilizzando le 29 variabili precedenti e il nuovo ingrediente (30 in totale), non avrei un set di dati sufficiente per addestrare un buon modello. Quindi devo aspettare almeno un anno per produrre dati sufficienti.Per quanto riguarda il delta, come calcolarlo per verificare che venga mantenuta la stessa precisione? Posso utilizzare il confronto modelli dal menu?
Quindi penso che il tuo ultimo paragrafo sia molto interessante. Ci sono esempi di come applicare la formula di previsione in quei grafici?
Sono un principiante di queste classifiche. Inoltre, cosa intendi per riepiloghi distribuzionali? Scusate, sono un po' confuso.
Re: Valutazione del modello esistenteAggiunta a @statman , vuoi dimostrare equivalenza dopo la modifica dell'ingrediente per convalidare il modello attuale è ancora accurato. Tale finalità ribalta l'ipotesi nulla e quella alternativa. Puoi effettuare il test di equivalenza con le piattaforme Distribution o Oneway. Dovrai indicare l'intervallo in cui i risultati sono considerati praticamente uguali.
Re: Valutazione del modello esistenteAlcune riflessioni e domande:
1. Come BENE il tuo modello predittivo funzionava prima del cambiamento degli ingredienti?
2. Il modello attuale utilizza un ingrediente completamente diverso o è "correlato" da una prospettiva teorico-scientifica?
3. Non sono sicuro di cosa intendi con "messa a punto" del modello? Se hai rimosso una variabile dal modello, il modello potrebbe essere completamente diverso in termini di coefficienti beta degli altri termini del modello. Cosa succede alla precisione del modello sui dati storici quando quel termine viene rimosso dal modello?
4. Penso che la tua idea di avere una colonna con il valore previsto corrente (dalla tua formula), una colonna della variabile di risposta misurata e una colonna che è il delta dei 2 sarebbe un modo semplice per confrontare. Quanta differenza importerebbe per te?
Le carte di controllo sono diagnostiche. Hanno lo scopo di confrontare diverse fonti di variazione e determinare dove si trova la leva finanziaria maggiore. Lo fanno valutando innanzitutto la stabilità della base per il confronto (il grafico dell'intervallo, che valuta la stabilità delle fonti di variazione all'interno del sottogruppo in funzione delle variabili che cambiano a quella frequenza). Quindi confrontando l'effetto che tali fonti hanno sulla variabilità nella risposta alle altre fonti del tuo studio (il grafico a barre x - che confronta la variazione all'interno del sottogruppo (limiti di controllo) con le fonti di variazione tra sottogruppi.
Ora, potresti eseguire un campionamento del processo così come funzionava prima che l'ingrediente fosse cambiato (se stai solo dando una rapida occhiata e non stai cercando la diagnostica, potresti utilizzare il grafico MR, X dei dati in serie temporali) e il processo dopo che l'ingrediente è stato cambiato per vedere se c'era un cambiamento apprezzabile nella risposta. Potresti anche guardare i riepiloghi distribuzionali per avere un aspetto grafico.
