246456_fr-FR

liliconcom

Comment obtenir un modèle correct et prédictif

Bonjour, j'ai encore besoin de votre aide.

J'ai fait une analyse récemment et le contenu est simple.
Ce sont des données avec 376 lignes, 223 colonnes et une seule valeur Y.

Pour obtenir le modèle de prédiction de la valeur Y, j'ai utilisé 'Fit - Models' (Fit Least squares - standard Least squares / Effect Screening), et j'ai d'abord obtenu le R-Square 0,95, en utilisant les lignes 1 à 263.

 

J'ai ajouté la formule Predict à la "Nouvelle colonne" et comparé les estimations des 264 à 376 restantes avec les mesures réelles.

Par conséquent, vous pouvez voir qu'il y a une plus grande erreur avec de nouvelles données que ci-dessous.

 

Je me demande quel travail supplémentaire je peux faire ou profiter d'autres fonctionnalités.

 

J'ai joint mes données, merci.

 

(Pour votre information, X_1 n'est qu'une numérotation pour l'indexation)

Re : Comment obtenir un modèle correct et prédictif@statman , @vallée

Merci pour votre avis.
Tout d'abord, comme vous l'avez dit, il s'agit d'une série chronologique.
Comme vous l'avez mentionné, j'ai vérifié la corrélation et réduit la liste des variables à 40, et je pense avoir obtenu des résultats satisfaisants.
Étant donné que la "valeur Y" n'a pas été mesurée en temps réel, la quantité de données n'est pas aussi importante que je le pensais, mais je pense avoir pu déterminer la cause en appliquant Parallel Plot, etc.Re : Comment obtenir un modèle correct et prédictif

Par où commencer concernant la question d'obtenir le modèle prédictif "correct", il existe deux écoles de pensée.

1. développer des modèles mathématiques basés uniquement sur l'analyse de données (par exemple, réseaux de neurones, PCA)

2. comprendre, avec une base scientifique, les relations entre les variables d'entrée et la variable de sortie (ce que Deming a appelé le problème analytique)

 

Étant déterministe, la 2ème approche est celle que je préfère. Cela commence par des énoncés d'hypothèses sur les relations entre les entrées et les sorties. Cela nécessite une compréhension de l'inférence (sur quelles conditions voulez-vous que le modèle soit efficace). Ensuite, le "plan d'échantillonnage" approprié pour acquérir les données (échantillonnage dirigé ou expérimentation). Certes, vous pouvez examiner des données historiques, mais uniquement pour aider à développer des hypothèses qui doivent ensuite être testées.

 

Votre ensemble de données n'a aucun contexte (comme le suggère Dale). Il n'y a pas de "sens" aux colonnes, juste des colonnes de nombres. Je ne sais pas pourquoi Dale pense qu'il s'agit d'une série chronologique, car je ne vois ni heure ni date dans les données ? Ainsi, la création du modèle prédictif correct est laissée à l'option 1 ci-dessus.Si vous incluez toutes les colonnes (224) et exécutez Fit Model, vous obtenez Rsquare Adj de 0,59 et Rsquare de 0,83. Ces valeurs sont bien trop différentes, ce qui suggère que vous avez trop spécifié le modèle (des termes sans importance se trouvent dans le modèle). Si vous regardez les VIF (tableau des estimations de paramètres), il y en a beaucoup au-dessus du seuil de > 5 (ou > 10) qui est une mesure de multicolinéarité.Le modèle doit donc être réduit. Cependant, il n'y a pas d'intelligence pour le faire car il n'y a pas de contexte.

Re : Comment obtenir un modèle correct et prédictif

Vous devez fournir plus de contexte sur ces variables - c'est beaucoup de variables explicatives potentielles et elles semblent être fortement corrélées les unes aux autres (ce qui me fait penser que vous voudrez peut-être essayer quelque chose comme une analyse des composants principaux pour réduire les caractéristiques) .En outre, il semble qu'il s'agisse de données de séries chronologiques, auquel cas vous devez les analyser en tant que telles.Enfin, les 263 premières lignes se comportent certainement différemment de celles qui suivent. Ainsi, quelle que soit la qualité de votre modèle sur ces lignes, il est peu probable que ce modèle prédise la tendance qui apparaît soudainement après cette ligne.Je voudrais me concentrer sur la question de savoir si l'un des prédicteurs peut détecter ce changement dans le modèle.Il est peu probable que vous trouviez cela en modélisant uniquement les 263 lignes qui ne présentent pas cette tendance.Ainsi, vous avez en quelque sorte divisé vos données en ensembles de données d'apprentissage et de test, mais votre ensemble d'apprentissage est très différent de vos données de test - ce n'est pas un bon moyen de produire un modèle pour les données de test.La sélection aléatoire des données de formation et de test (utiliser une colonne de validation) serait une meilleure approche.Mais, avant tout, s'agit-il de données chronologiques (il me semble) ?

Re : Comment obtenir un modèle correct et prédictif

plus, ' Les résultats du résumé des effets montrent que PValue représente 223 classements, du plus petit au plus grand,

Je me demande quels critères vous pouvez distinguer en essayant de déterminer quelles variables vous pouvez exclure de la création d'un modèle prédictif.

Utilisation des 30 % supérieurs ? ou sous Pvalue 0,05 ?