251974_it-IT

liliconcom

Metriche del modello

Ciao

al fine di prevedere un parametro elettrico utilizzando i parametri di un'apparecchiatura in una particolare fase di produzione del nostro fab semiconduttore abbiamo usato una foresta casuale. Se osserviamo l'errore relativo (%) del modello, possiamo vedere che è molto piccolo, essendo circa lo 0,5% (vedi immagine allegata). Anche l'RMSE è basso, ma R2 è solo del 52%.

Quindi, se osserviamo l'errore percentuale, possiamo dire che il modello va bene, mentre questo sembra non essere vero se guardiamo a R2. Come risolvere?  

 

Grazie Felice

Ri: Model Metrics

L'RMSE è una stima della deviazione standard della risposta. Si presume che sia costante su tutto l'intervallo della risposta nel modello. Il quadrato R stima quanta parte della varianza della risposta non è la componente di errore casuale. Quindi il tuo modello potrebbe essere significativo, ma non sarà molto preciso.

Ri: Model Metrics

Ho tentato di calcolare l'errore sistematico MBE in percentuale e questo è solo dello 0,01%, praticamente trascurabile, e l'errore assoluto è solo dello 0,54%. Se usiamo Precisione = 100-MAE = 99,46%, questo è davvero un buon valore. Lo stesso per RSME che in percentuale è solo dello 0,007% indicando una deviazione media molto piccola dai valori reali. Ancora una volta sembra che R2 non dia il quadro completo.

Cosa pensi?

 

Felice 

Ri: Model Metrics

Puoi mostrare una trama di Actual by Predicted ?

Ri: Model Metrics

Ciao

in allegato la correlazione richiesta.

 

 

Felice

Ri: Model Metrics

Grazie per aver fornito quella trama.

 

La forma dei marcatori sembra un rombo. Non sono sicuro di cosa aspettarmi, ma è insolito.

 

Dimostra anche perché il quadrato R è circa 0,5 e perché le previsioni non saranno molto precise. Immagina di prevedere la risposta con un input di 131. Presumo che la risposta prevista sia l'ascissa. Sembra essere imparziale ma con una varianza elevata. Esistono molti dati, quindi l'intervallo di confidenza sulla risposta media potrebbe essere relativamente stretto ma l'intervallo di previsione sarebbe molto più ampio.