@Victor_G grazie per l'idea.Lo prenderemo in considerazione.
Cosa ha ispirato questa richiesta di lista dei desideri?
Quando si costruiscono modelli complessi basati su un gran numero di variabili collineari/correlate, sono disponibili diverse possibilità. Uno di questi è trasformare le variabili in componenti principali e quindi creare un modello basato su queste componenti principali per evitare problemi di collinearità, ridurre la dimensionalità e mantenere gran parte delle informazioni iniziali.
Il problema che potrebbe verificarsi nella modellazione predittiva è la perdita di dati: le informazioni provenienti dal set di validazione e/o dal set di test vengono utilizzate nella pre-elaborazione e/o nella costruzione del modello.
Ciò può accadere nella piattaforma PCA se le righe di convalida/test non sono nascoste ed escluse: se la PCA viene eseguita sull'intero set di dati e dopo che i modelli sono stati creati sui dati dei componenti principali di addestramento, il modello contiene ancora una parte delle informazioni dalla convalida e set di prova. La valutazione del modello può diventare distorta poiché le prestazioni verrebbero valutate in modo troppo "ottimista".
Qual è il miglioramento che vorresti vedere?
Come per altre piattaforme (vedi Adatta modello di seguito), vorrei un ruolo di convalida all'avvio della finestra di dialogo della piattaforma PCA, in modo che la PCA venga creata con le righe di training e applicata alle righe di convalida e test:
Perché questa idea è importante?
Il ruolo di convalida della PCA consentirebbe all'utente di essere più consapevole di questa situazione di perdita di dati durante la creazione di modelli predittivi. Fa parte delle best practice anche suddividere il set di dati in set di training/valid/test prima di eseguire qualsiasi trasformazione/modello, quindi l'aggiunta di questo ruolo di convalida imporrebbe una best practice affidabile per gli utenti.
Infine, sarebbe anche più semplice utilizzare la PCA in modo più affidabile come fase di pre-elaborazione per i modelli predittivi con questa funzionalità, invece di escludere manualmente o tramite script le righe.
