JMP R suare in Predictive and Specialized Modeling è sbagliato.Ho costruito un modello di rete neurale con JMP. Emette un valore quadrato R. Emette un valore quadrato R, come questo:
ma quando produco il valore previsto e provo il quadrato R in Python, ho trovato che è sbagliato, come questo:
questo è il set di dati di validazione R quadrato I calcolato utilizzando SKlearn.
0,63 e 0,54, è una grande differenza.
Qualche staff può rispondere alla mia domanda?
contattami: 531554559@qq.com
urgente
Ri: JMP R suare in Predictive and Specialized Modeling è sbagliato.La formula calcolata di R square in python è questa:
quindi ho davvero confuso la formula di R square in JMP?
qual è il problema?
In realtà come il documento in JMP:
Ri: JMP R suare in Predictive and Specialized Modeling è sbagliato.La formula calcolata di R square in python è questa:
quindi ho davvero confuso la formula di R square in JMP?
qual è il problema?
In realtà come il documento in JMP:
Immagino sia la stessa formula, ma risultati diversi.
quindi voglio confermare qual è il problema
Ri: JMP R suare in Predictive and Specialized Modeling è sbagliato.Non avendo accesso ai tuoi dati, ecc., Posso solo suggerire diversi elementi per verificare che possano spiegare la differenza:
- Verifica di utilizzare le stesse osservazioni in entrambe le applicazioni: JMP e Python.
- Verifica che nessuna riga sia stata esclusa in JMP che potrebbe non essere esclusa in Python.
- Verifica nessun arrotondamento in unità. Ad esempio, quando le persone usano Excel ottengono un risultato, quindi copiano e incollano i dati da Excel in JMP e ottengono un risultato diverso. Quando si cerca l'origine della discrepanza, i valori effettivi non sono stati copiati in JMP, i valori visualizzati (formattati), quindi i valori arrotondati sono stati utilizzati in JMP.
Questo è dove vorrei iniziare. Quindi farei i calcoli usando la tabella JMP.
Si prega di inviare, se si trova la fonte di discrepanza.
Ri: JMP R suare in Predictive and Specialized Modeling è sbagliato.Una cosa ovvia da controllare sarebbe se i set di dati di validazione e test sono gli stessi (dubito che lo siano, dal momento che sono creati usando un seme casuale e non sono sicuro che R e JMP usino i semi casuali nello stesso modo ). Se la divisione casuale dei dati in training, validation e test set è diversa, ovviamente i valori R quadrati saranno diversi. Sospetto che questo possa essere il caso - anche a causa della grande differenza tra l'adattamento nei set di dati di addestramento e di convalida / test. Questa differenza suggerisce un sostanziale over-fitting, e se questo è il caso, allora i risultati potrebbero ben differire notevolmente con diverse divisioni dei dati nei tre sottoinsiemi.
Ri: JMP R suare in Predictive and Specialized Modeling è sbagliato.Non conoscendo affatto i dati, aggiungerei agli altri suggerimenti che lo schema di allocazione del 70% -20% -10% potrebbe fornire un campione insufficiente per la convalida in questo caso, specialmente se si hanno obiettivi rari. Penso che incarichi diversi per i set di hold out siano più probabili, ma solo aggiungendo qualcos'altro che potrebbe aiutare a spiegarlo.
Ri: JMP R suare in Predictive and Specialized Modeling è sbagliato.Sono d'accordo con il seme casuale come una fonte di variazione. Un'altra fonte potrebbe venire semplicemente dal fatto che le funzioni di trasferimento potrebbero differire. Hai controllato che Python abbia la stessa quantità di livelli nascosti, lo stesso tipo e la stessa quantità di funzioni di trasferimento? In JMP hai solo tanh e un solo livello (JMP Pro offre un secondo livello nascosto e anche gaussiane e normali funzioni di trasferimento oltre a tanh) Nota in python di solito dovresti specificare il numero di nodi di input / input e il numero di livelli nascosti e cosa funzione di trasferimento / attivazione che si desidera utilizzare. Puoi essere sicuro che sia tutto uguale?
Se c'è solo una cosa diversa potrebbe esserci un risultato diverso per la RSquare.
Un'altra nota: qual è l'obiettivo della tua analisi? Vuoi fare una regressione o una classificazione? Se quest'ultimo non dovresti preoccuparti troppo della rsquare, ma del tasso di errata classificazione, curva ROC o misura simile più utile di rsquared.
Ri: JMP R suare in Predictive and Specialized Modeling è sbagliato.Come cambiano i risultati se ripeti il montaggio del modello Neural in JMP?
Ecco due accoppiamenti back-to-back con gli stessi dati e la stessa allocazione per addestramento e validazione e nessuna modifica alla rete:
Ri: JMP R suare in Predictive and Specialized Modeling è sbagliato.Come ha sottolineato Mark Bailey nel suo esempio, la piattaforma neurale in JMP randomizzerà i valori iniziali nella ricerca dei pesi ottimali. Ciò si verificherà anche nelle esecuzioni successive con un seme casuale specificato poiché il seme casuale si applica solo al partizionamento casuale tra training / validation / set di test e non ai valori iniziali di ricerca.
Pertanto, diverse valutazioni del modello in condizioni identiche possono portare a statistiche di adattamento diverse, il che è vero per qualsiasi algoritmo numerico che deve cercare una soluzione ottimale.
