¿Qué inspiró esta solicitud de lista de deseos?
Cuando se construyen modelos complejos basados en un gran número de variables colineales/correlacionadas, hay varias posibilidades disponibles. Una de ellas es transformar las variables en componentes principales, y luego crear un modelo basado en estos componentes principales para evitar problemas de colinealidad, reducir la dimensionalidad y mantener gran parte de la información inicial.
El problema que podría ocurrir en el modelado predictivo es la fuga de datos: la información del conjunto de validación y/o conjunto de prueba se utiliza en el preprocesamiento y/o construcción del modelo.
Esto puede suceder en la plataforma PCA si las filas de validación/prueba no están ocultas y excluidas: si la PCA se realiza en todo el conjunto de datos y después de que los modelos se construyan sobre los datos de los componentes principales de entrenamiento, el modelo aún contiene una parte de la información de la validación. y conjuntos de prueba. La evaluación del modelo puede verse sesgada ya que las actuaciones se evaluarían de manera demasiado "optimista".
¿Cuál es la mejora que le gustaría ver?
En cuanto a otras plataformas (consulte Ajustar modelo a continuación), me gustaría una función de validación al iniciar el cuadro de diálogo de la plataforma PCA, de modo que la PCA se cree con las filas de entrenamiento y se aplique en las filas de validación y prueba:
¿Por qué es importante esta idea?
La función de validación de PCA permitiría que el usuario sea más consciente de esta situación de fuga de datos cuando esté creando modelos predictivos. También es parte de las mejores prácticas dividir el conjunto de datos primero en conjuntos de entrenamiento/válido/prueba antes de realizar cualquier transformación/modelo, por lo que agregar este rol de validación impondría una mejor práctica confiable para los usuarios.
Finalmente, también sería más fácil usar PCA de una manera más confiable como un paso de preprocesamiento para modelos predictivos con esta función, en lugar de excluir filas manualmente o mediante secuencias de comandos.
