Cosa ha ispirato questa richiesta di lista dei desideri?
Quando si costruiscono modelli complessi basati su un gran numero di variabili collineari/correlate, sono disponibili diverse possibilità. Uno di questi è trasformare le variabili in componenti principali, quindi creare un modello basato su questi componenti principali per evitare problemi di collinearità, ridurre la dimensionalità e conservare gran parte delle informazioni iniziali.
Il problema che potrebbe verificarsi nella modellazione predittiva è la perdita di dati: le informazioni dal set di validazione e/o dal set di test vengono utilizzate nella pre-elaborazione e/o nella costruzione del modello.
Ciò può accadere nella piattaforma PCA se le righe di convalida/test non sono nascoste ed escluse: se il PCA viene eseguito sull'intero set di dati e dopo che i modelli sono stati costruiti sui dati dei componenti principali dell'addestramento, il modello contiene ancora una parte delle informazioni dalla convalida e set di prova. La valutazione del modello può diventare distorta poiché le prestazioni sarebbero valutate in modo troppo "ottimista".
Qual è il miglioramento che vorresti vedere?
Come per altre piattaforme (vedere Fit Model di seguito), vorrei un ruolo di convalida all'avvio della finestra di dialogo della piattaforma PCA, in modo che il PCA venga creato con le righe di addestramento e applicato alle righe di convalida e test:
Perché questa idea è importante?
Il ruolo di convalida per PCA consentirebbe all'utente di essere più consapevole di questa situazione di perdita di dati durante la creazione di modelli predittivi. Fa anche parte delle best practice suddividere prima il set di dati in set di addestramento/validi/test prima di eseguire qualsiasi trasformazione/modello, quindi l'aggiunta di questo ruolo di convalida imporrebbe una best practice affidabile per gli utenti.
Infine, sarebbe anche più semplice utilizzare PCA in modo più affidabile come fase di pre-elaborazione per i modelli predittivi con questa funzionalità, anziché manualmente o tramite script escludendo le righe.
