Qu'est-ce qui a inspiré cette demande de liste de souhaits ?
Lors de la construction de modèles complexes basés sur un grand nombre de variables colinéaires/corrélées, plusieurs possibilités s'offrent à vous. L'une d'elles consiste à transformer les variables en composantes principales, puis à créer un modèle basé sur ces composantes principales pour éviter les problèmes de colinéarité, réduire la dimensionnalité et conserver une grande partie de l'information initiale.
Le problème qui pourrait survenir dans la modélisation prédictive est la fuite de données : les informations de l'ensemble de validation et/ou de l'ensemble de test sont utilisées dans le prétraitement et/ou la construction du modèle.
Cela peut se produire dans la plate-forme PCA si les lignes de validation/test ne sont pas masquées et exclues : si la PCA est effectuée sur l'ensemble du jeu de données et après que les modèles sont construits sur les données des composants principaux de formation, le modèle contient toujours une partie des informations de la validation et ensembles de test. L'évaluation du modèle peut devenir biaisée car les performances seraient évaluées de manière trop "optimiste".
Quelle est l'amélioration que vous aimeriez voir?
Comme pour les autres plates-formes (voir Fit Model ci-dessous), j'aimerais un rôle de validation lors du lancement de la boîte de dialogue de la plate-forme PCA, afin que la PCA soit créée avec les lignes de formation et appliquée sur les lignes de validation et de test :
Pourquoi cette idée est-elle importante ?
Le rôle de validation de l'ACP permettrait à l'utilisateur d'être plus conscient de cette situation de fuite de données lorsqu'il construit des modèles prédictifs. Cela fait également partie des meilleures pratiques de diviser d'abord l'ensemble de données en ensembles d'entraînement/valides/test avant d'effectuer toute transformation/modèle, donc l'ajout de ce rôle de validation appliquerait une meilleure pratique fiable pour les utilisateurs.
Enfin, il serait également plus facile d'utiliser l'ACP de manière plus fiable comme étape de prétraitement pour les modèles prédictifs avec cette fonctionnalité, au lieu d'exclure manuellement ou par script des lignes.
