Ciao,
Come posso eseguire un test statistico in JMP per garantire che i risultati ottenuti da diversi metodi di classificazione non siano dovuti alla casualità dopo aver ottenuto risultati diversi?
Non sono a conoscenza di alcun test statistico per stabilire se questi diversi modelli variano "significativamente" o meno, ma non credo che sia il modo giusto di procedere. Hai un certo numero di cose rilevanti da confrontare. Utilizzando i dati di convalida (o dati di test se hai un set di dati abbastanza grande da averli creati), puoi esaminare ROC, tassi di classificazione errata, entropia e misure R quadrati generalizzate e analisi dettagliate delle classificazioni errate effettuate da ciascun modello, con opportuni aggiustamenti nelle probabilità di cutoff per le classificazioni. Quello che tendo a fare è esaminare attentamente le distribuzioni di probabilità di previsione fornite da ciascun modello e valutare l'utilità di ciascun modello per il problema in questione. Raramente falsi positivi e falsi negativi hanno la stessa importanza, quindi vuoi davvero un modello che funzioni "bene" per il problema decisionale che stai modellando. E le distribuzioni di probabilità previste di solito forniscono prove approfondite da utilizzare per effettuare tale valutazione.
come posso salvare i risultati r2 nella tabella di Windows?perché voglio fare il test anova su di esso
Fare clic con il pulsante destro del mouse sulla casella della tabella e selezionare Trasforma in tabella dati o Trasforma in tabella dati combinata
Ciao @maryam_nourmand ,
Se il tuo obiettivo è valutare la robustezza delle prestazioni del modello, non posso che consigliare e sottolineare le opzioni fornite da @dolehman1 .
Esistono diversi modi per valutare la robustezza del modello:
- Misurando le prestazioni del modello sotto vari semi casuali (poiché la casualità è parte dell'apprendimento nel modello ML: "Nessun apprendimento senza casualità" ),
- Misurando le prestazioni del modello in diversi set di addestramento e convalida.
Nella seconda opzione, l'uso di una colonna Formula di convalida e l'opzione "Simula" consentono di provare il modello in un gran numero di condizioni/set di training diversi. Puoi leggere di più su come farlo in JMP nei seguenti post:
Come posso automatizzare e riassumere numerose convalide ripetute in un'unica tabella di output?
Albero potenziato - Progettazione del tavolo di messa a punto
Con i risultati di queste simulazioni, è possibile visualizzare e confrontare le distribuzioni delle prestazioni tra diversi modelli e, se necessario, effettuare alcuni test statistici, ad esempio confrontare le prestazioni di media/mediana/varianza delle simulazioni di previsione tra diversi modelli.
Come ha affermato @dolehman1 , le metriche predefinite sono interessanti, ma potrebbe essere opportuno perfezionarle, poiché gli errori di classificazione potrebbero non avere la stessa "importanza".
Fai attenzione anche alle probabilità mostrate dai modelli ML se intendi usarli come "livelli di confidenza", non sono tutti calibrati e, a seconda dei modelli scelti e della dimensione del campione, possono avere impatti e conseguenze diversi. Ulteriori informazioni sull'argomento calibrazione:
https://scikit-learn.org/stable/auto_examples/calibration/plot_compare_calibration.html
https://ploomber.io/blog/calibration-curve/
Spero che questa risposta e alcune considerazioni possano aiutare,
