Cosa ha ispirato questa richiesta di lista dei desideri?
JMP ha reso prontamente disponibili una serie di algoritmi di apprendimento automatico: una delle principali carenze nella maggior parte di questi è la mancanza di misure di incertezza per le previsioni, in particolare per i modelli di classificazione. Sono disponibili numerosi strumenti per valutare l'accuratezza del modello (ad esempio, curve ROC, matrici di confusione, ecc.), ma pochi per valutare l'incertezza nelle previsioni. A differenza dei modelli statistici classici (dove si presuppone una struttura di errore), spesso manca il grado di incertezza nelle previsioni. La previsione conforme sembra essere un modo relativamente semplice per fornire ciò per una varietà di metodi di apprendimento automatico.
Qual è il miglioramento che vorresti vedere?
Mi piacerebbe vedere la capacità di previsione conforme collegata a uno qualsiasi dei metodi di modellazione di classificazione utilizzati in JMP. L'output risultante dovrebbe mostrare (per i modelli di classificazione) gli insiemi di classificazione previsti, incluso un insieme indeterminato in cui non è possibile garantire il livello di certezza desiderato.
Perché questa idea è importante?
La previsione conforme esiste da almeno 20 anni, ma è ostacolata (secondo me) da una descrizione matematica inutilmente della tecnica. Penso che sia più semplice di come viene presentato normalmente. Penso anche che si tratti di una tecnica non parametrica per quantificare l’incertezza nelle previsioni, estremamente necessaria poiché i modelli di apprendimento automatico sono sempre più utilizzati. La mancanza di quantificazione dell’incertezza predittiva (piuttosto che della semplice accuratezza) limita l’utilità di questi metodi e potenzialmente rende la loro applicazione fuorviante (rendendo previsioni laddove potrebbe esserci poco da distinguere tra le osservazioni che possono essere previste in modo affidabile da quelle per le quali non è possibile prevederlo). un riferimento, vedere https://arxiv.org/pdf/2107.07511.pdf .
