Est-il acceptable d'avoir 6 termes dans une régression linéaire avec n = 8 ?J'analyse actuellement une expérience factorielle complète avec 2 niveaux et 3 facteurs, non répliqués, n = 8. Selon les guides JMP, la méthodologie appropriée consisterait ici à ajuster le modèle en utilisant la factorielle au degré 2, en supposant que les interactions d'ordre supérieur sont insignifiantes, avant d'utiliser la sélection rétrospective pour réduire le modèle à ses facteurs significatifs.
Guide JMP pour l'analyse factorielle complète 2x2x2 : https://community.jmp.com/t5/Learning-Center/Analyzing-Full-Factorial-Experiments/ta-p/271995
Ma question est la suivante : supposons que les données montrent qu'en fait, tous les effets principaux et toutes les interactions bidirectionnelles sont significatifs. Cela me laisse avec un modèle à 6 termes, décrivant un ensemble de données avec seulement 8 observations. À ce stade, j'ai un r^2 très élevé en raison du nombre élevé de termes et p < 0,05 pour les 6 facteurs. D'un point de vue analytique, est-ce considéré comme un surapprentissage et ne serait-il pas considéré comme une bonne pratique ?
Si tel est le cas, une meilleure façon d'examiner ces données serait-elle de s'intéresser uniquement aux effets principaux (c'est-à-dire d'examiner l'effet « moyen » de chaque paramètre plutôt que de plonger dans les détails) ?
Merci.
Ingénierie Qualité et ProcédésRe : Est-ce qu'avoir 6 termes dans une régression linéaire avec n = 8 est acceptable ?Merci, @statman .Tout cela est très utile. J'ai finalement examiné les données et réalisé que dans une expérience conçue, si je devais examiner graphiquement les données, j'arriverais aux mêmes conclusions que celles que me dit le modèle. les interactions et quels facteurs sont importants. En tant que tel, j’appelle ça du bien.
Re : Est-ce qu'avoir 6 termes dans une régression linéaire avec n = 8 est acceptable ?QW, voici mes réflexions :
1. La raison pour laquelle vous trouvez des facteurs significatifs après avoir supprimé les termes non significatifs est que vous avez biaisé le MSE. Lorsque vous supprimez le terme insignifiant (qui a probablement des SS plus petits), vous prenez également les DF avec chaque terme. Puisque le MSE est le SS/DF, vous réduisez le MSE (peut-être de manière irréaliste). La valeur F est le MSfactor/MSerror. Ainsi, si vous réduisez de manière irréaliste le MSE, vous gonflez la valeur F et réduisez par la suite la valeur p. Mon conseil est de TOUJOURS considérer les sources de variation que vous comparez.
2. Les intrigues normales/semi-normales (intrigues de Daniel) ne sont pas nécessairement simples sur la façon d'interpréter. Le PSE de Russel est une tentative d'aider à interpréter les graphiques, mais le PSE n'est pas toujours utile. Vous devez considérer quels effets sont fonction des erreurs aléatoires (devraient être une ligne relativement droite) et quels effets sont attribuables. Sortez de la distribution aléatoire des erreurs. Si votre tracé normal a une forme de courbe en S ou est brisé, cela indique un effet de bruit important (il peut y avoir plus d'une distribution d'erreurs aléatoires). D'après votre image, il semble que le + grisé en haut du tracé normal soit significatif (je suppose qu'il s'agit de Column2(x)). Cela aide vraiment d'avoir le tracé de Pareto avec le tracé normal. Évaluez à la fois les signaux statistiques et leur signification pratique.
3. Je pense que vous avez un bon début pour développer vos connaissances (et peut-être un modèle mathématique). J'utilise la méthode Pratique>Graphique>Quantitative :
Tout d’abord, quelle variation dans les données avez-vous créée au cours de l’expérience ? Les données ont-elles une valeur pratique (du point de vue des PME) ? Comment les données se comparent-elles à ce que vous avez prédit ? Comment cela se comparerait-il à vos hypothèses utilisées pour déterminer les facteurs à inclure dans l’étude ? Les graphiques ANOG et MR sont excellents pour reconnaître des modèles corrélant les effets des facteurs avec les variables de réponse. Ne désactivez jamais l’ingénierie.
Deuxièmement, tracez/tracez les données. Le générateur de graphiques de JMP peut être très utile. Y a-t-il des points de données inhabituels (traitements) ? C'est également là que les tracés normaux et les tracés de Pareto sont utiles (bien que leur utilité soit meilleure avec les modèles saturés).
Quantitatifs enfin (effets, ANOVA, régression, et. al.).
4. Concernant l'affinement du modèle avec des méthodes quantitatives pour les données du DOE : nous utilisons un certain nombre de statistiques/graphiques pour ce faire :
- R-carré-R-carré Delta ajusté (c'est plus important que l'une ou l'autre statistique en elle-même)
- RMSE (plus petit est mieux)
- Valeurs p (faites attention aux valeurs biaisées, considérez ce qui est comparé)
- Résidus (pour tester les hypothèses NID (moyenne, variance)
Au DOE, je ne recommande pas la régression par étapes (il s'agit d'une approche de création de modèle additive très utile pour l'exploration de données ou la régression sur des données d'observation/historiques et bien sûr, vous avez un souci supplémentaire de colinéarité). Je recommande une approche soustractive (commencer par saturé et supprimer les termes). Et votre étape 3 semble géniale !
Re : Est-ce qu'avoir 6 termes dans une régression linéaire avec n = 8 est acceptable ?Merci, @statman . Je n'ai pas l'intention de continuer indéfiniment, et je vous remercie pour votre temps. Cependant, j'ai essayé d'utiliser un tracé normal pour guider la sélection des paramètres à partir d'un modèle saturé. Cependant, une fois que j'ai fait cela, j'ai remarqué que selon le tracé normal et les pseudo-valeurs p de Lenth, aucun de mes paramètres n'est significatif (côté gauche de ma pièce jointe). Mais une fois que j'ai commencé à supprimer les termes non significatifs un par un en utilisant ces valeurs p (pseudo ou réelles), je suis arrivé à un modèle qui semble bien décrire ma situation : R^2 ajusté = 0,95, p = 0,0351 (côté droit du pièce jointe). Serait-il correct de conclure qu'une combinaison de valeurs p pseudo/réelles et de tracés normaux est nécessaire pour arriver au meilleur modèle ?
Dans cette optique, seriez-vous alors d'accord que la meilleure façon de sélectionner les paramètres implique à la fois des approches quantitatives (valeurs p, adj.R^2) et qualitatives (connaissance du domaine, tracés normaux, résidus) ? En d’autres termes, c’est une combinaison de :
1. À quoi ressemblent mes facteurs avec un tracé normal/Pareto ?
2. L’ajout/suppression de termes améliore-t-il les valeurs quantitatives (adj. R^2, valeur p de l'ensemble du modèle) ?
3. Cela modifie-t-il les aspects qualitatifs des données (les résidus restent-ils toujours normalement distribués après ces changements et les données elles-mêmes ont-elles un sens de manière réaliste) ?
Dans ce cas, le meilleur modèle serait d'abord guidé par l'examen des tracés normaux/Pareto, affiné par une sélection par étapes/modèle et vérifié par inspection visuelle des résidus et des données réelles.
Merci!
Re : Est-ce qu'avoir 6 termes dans une régression linéaire avec n = 8 est acceptable ?Bienvenue dans la communauté. Voici mes réflexions :
Vous utilisez l'effet de troisième ordre (interaction à 3 facteurs) pour estimer le MSE. C’est probablement la raison pour laquelle tous les effets sont significatifs. Une meilleure façon d'examiner vos données consiste à utiliser des tracés normaux et semi-normaux (en fonction du degré d'arbitraire du paramètre de niveau) et des tracés de Pareto. Analyser>Ajuster le modèle>Saturer le modèle (les 7 DF) à l'aide de Macro>Factoriel complet Dans la sortie, sélectionnez le triangle rouge à côté de la réponse et sélectionnez Criblage des effets. Vérifiez les tracés de Pareto et normaux. Les tracés normaux compareront les effets les uns aux autres sans le biais MSE. Ajoutez une valeur représentant une signification pratique au tracé de Pareto.
Une fois que vous avez trouvé les effets significatifs, vous pouvez supprimer les termes non significatifs et réexécuter le modèle d'ajustement pour obtenir des tracés résiduels.
Re : Est-ce qu'avoir 6 termes dans une régression linéaire avec n = 8 est acceptable ?Merci pour la réponse, Sam.
Dans le cas d'une expérience factorielle 2^3 non répliquée, elle est « théoriquement capable » de modéliser tous les effets principaux et les interactions à 2 facteurs. Mais il ressort de cette discussion que cette capacité n’est pas très fiable en pratique. Existe-t-il des « règles empiriques » concernant le nombre de degrés de liberté souhaités pour modéliser les effets principaux et les interactions à 2 facteurs ? Par exemple, serait-ce quelque chose comme DoF = 2x le nombre de termes du modèle ?
Re : Est-ce qu'avoir 6 termes dans une régression linéaire avec n = 8 est acceptable ?@QW vous avez raison de dire que vous devez faire attention à ne pas surajuster un modèle, en particulier avec un petit ensemble de données.Mais, pour une expérience conçue, il se peut que toutes les interactions des deux facteurs soient significatives et/ou importantes.Si la planification et l’exécution de l’expérience ont été minutieuses, il se pourrait que l’erreur expérimentale soit faible par rapport à l’ampleur de l’effet.
Il est préférable d'évaluer les données par :
- Traçage des données :
- Un tracé de toutes les données par rapport aux facteurs (parfois appelé tracé des facteurs ou tracé des effets principaux).Recherchez les valeurs aberrantes ou d'autres données inhabituelles.
- Demandez-vous si les données ont du sens d'un point de vue scientifique/théorique
- Ajustez le modèle et tracez les résidus (erreurs d'ajustement pour chaque ligne).
- Résidu par prévu
- Résidu par ligne
- Le résiduel est chaque facteur
- Utilisez le profileur pour explorer les effets prévus du modèle
- Il se peut qu’un effet significatif ne soit vraiment pas important en pratique, et si c’est le cas, vous pourriez le supprimer du modèle sans grande différence dans les prédictions réelles.
Si vous avez des préoccupations supplémentaires concernant le surajustement, vous pouvez également essayer d'appliquer le modèle de régression pas à pas aux données,
