Méthodes Simulate vs Bootstrap dans JMP : lesquelles utiliser, quand et pourquoiSalut tout le monde,
J'espère que quelqu'un de JMP pourra fournir une explication sur les différences/similitudes des approches Simulate vs Bootstrap lors de l'évaluation des estimations du modèle. (JMPPro)
Certains liens vers des présentations précédentes du Discovery Summit de Gotwalt et d'autres peuvent être trouvés ici , ici , et ici . Une différence claire entre les méthodes est que Simulate vous oblige à remplacer une formule de colonne par une autre formule de colonne, contrairement à l'amorçage. Je comprends le concept d'amorçage lors du recalcul des estimations de paramètres, mais je ne comprends pas pourquoi la colonne pondérée aléatoirement fractionnaire doit être remplacée lors de la simulation des mêmes données. Voir par exemple le premier lien ci-dessus et la présentation correspondante qui explique cette approche en utilisant une configuration d'autovalidation (dans ce cas, ils travaillaient avec les résultats du DOE).
Ce que j'aimerais mieux comprendre, ce sont les avantages/inconvénients de l'une ou l'autre approche et quand une approche est-elle meilleure qu'une autre. J'ai un tableau de données large et haut dans lequel j'ai plusieurs variables de processus et mesures de qualité des produits. Je souhaite affiner l'ensemble des variables de processus possibles qui pourraient influencer le résultat afin de donner à la production une idée de l'endroit où enquêter. Pour ce faire, je prends l'idée du facteur nul de leurs présentations et je l'inclus comme une variable véritablement aléatoire dans le modèle. J'exécute ensuite un modèle GenReg très basique sur les facteurs et la sortie Y, puis je clique avec le bouton droit sur la colonne des estimations et j'exécute l'option bootstrap ou simulation sur les estimations des paramètres.
Je n'obtiens pas les mêmes résultats dans les deux sens et j'aimerais comprendre pourquoi. De plus, une approche est-elle plus appropriée qu'une autre puisqu'il ne s'agit pas d'un DOE ?
Des exemples de résultats sont présentés ci-dessous sur un tracé de Pareto, dans lequel tous les facteurs introduits dans le modèle moins de fois que le facteur nul sont simplement supprimés. La première image montre les résultats de l'utilisation de la méthode Simulate, où le facteur à l'extrême droite du tracé de Pareto est le facteur nul. De même, la deuxième image montre les résultats utilisant la méthode Bootstrap, où encore une fois le facteur nul se trouve à l'extrême droite.
Pourquoi est-ce que j'obtiens deux résultats très différents pour les deux méthodes ? L’un est-il plus « digne de confiance » que l’autre ? Pourquoi devrais-je utiliser une méthode plutôt qu’une autre ? Une méthode est-elle plus robuste que l’autre ? Si vous obtenez des résultats différents, pourquoi JMP Pro propose-t-il ces deux options ?
Toute idée à ce sujet est très appréciée.
Merci!,
DS
Modélisation statistique avancéeConception d'expériencesModélisation prédictive et apprentissage automatiqueRe : Méthodes Simulate vs Bootstrap dans JMP : lesquelles utiliser quand et pourquoiL'amorçage ou le rééchantillonnage tente de supplanter empiriquement la distribution sous-jacente. Bradley Efron est généralement considéré comme ayant inventé et développé cette méthodologie. Il en a également exploré les lacunes. Les échantillons bootstrap peuvent ensuite déterminer empiriquement les statistiques et les intervalles des échantillons. Aucune répartition de la population n’est supposée. L'exactitude et la stabilité de ces estimations dépendent de la taille de l'échantillon initial et du nombre de rééchantillonnages.
La méthode de simulation suppose un modèle de distribution à partir duquel les rééchantillons sont générés. Les estimations dépendent fortement de l’hypothèse du modèle.
Cette réponse est de haut niveau et non détaillée. Vous pouvez imaginer des exemples des deux méthodes et comment elles pourraient réussir ou échouer de façon spectaculaire.
Re : Méthodes Simulate vs Bootstrap dans JMP : lesquelles utiliser quand et pourquoiSalut @Mark_Bailey ,
Merci pour vos commentaires et vos réflexions.
Il semble donc que (à un niveau élevé) la principale différence se résume à la manière dont la simulation ou le bootstrap suppose ou non une répartition de la population. En raison de cette différence dans les exigences de répartition de la population, les deux méthodes abordent le processus d'estimation différemment, ce qui conduit la méthode de simulation à nécessiter l'échange d'une autre colonne.
J'aimerais toujours mieux comprendre si une méthode est plus robuste qu'une autre et quand utiliser une méthode plutôt qu'une autre. Par exemple, quelles sont les exigences en matière de répartition de la population pour la méthode de simulation ? Existe-t-il des limitations/restrictions lorsque vous ne devez pas utiliser une méthode plutôt qu'une autre.
Dans mon exemple ci-dessus, j'obtiens des réponses très différentes pour les facteurs qui entrent plus fréquemment dans le modèle que le facteur nul avec chaque méthode. Quelle méthode est réellement capable de fournir l’estimation la plus précise des facteurs qui devraient rester dans le modèle par rapport à ceux qui ne sont réellement pas utiles dans le modèle ? À quel résultat puis-je « faire confiance » ?
L'aide en ligne de JMP contient des explications limitées et ne traite pas vraiment de l'utilisation d'une méthode ou d'une autre.
Merci!,
DS
Re : Méthodes Simulate vs Bootstrap dans JMP : lesquelles utiliser quand et pourquoiPardonnez ma confusion....
Avant de vous faire part de mes réflexions, qui sont probablement controversées, quel est l'objectif ultime de votre message ? Certaines de vos questions (par exemple, L’un est-il plus « digne de confiance » que l’autre ? Pourquoi devrais-je utiliser une méthode plutôt qu’une autre ? Une méthode est-elle plus robuste que l’autre ?) suggèrent un objectif. D'autres (par exemple, Pourquoi est-ce que j'obtiens deux résultats très différents pour les deux méthodes ?, pourquoi JMP Pro propose-t-il les deux options ?) suggèrent quelque chose de différent.Essayez-vous de déterminer quelle méthode aboutira à un modèle qui explique la variation qui existe déjà (dans un processus ou un ensemble de données) ou à un modèle utile pour la prédiction (analytique selon les termes de Deming) ? OU êtes-vous simplement intéressé par une discussion technique sur les deux méthodes ?
Re : Méthodes Simulate vs Bootstrap dans JMP : lesquelles utiliser quand et pourquoiSalut @statman ,
Désolé pour la confusion, et pour être honnête, c'est un peu tout cela, mais pas vraiment pour arriver au modèle "final" pour l'instant. Il s’agit plutôt d’arriver à l’ensemble de facteurs les plus susceptibles de faire l’objet d’une enquête plus approfondie – un peu comme la plate-forme Predictor Screening.
J'utilise une méthode modifiée similaire à celle présentée lors du Discovery Summit 2018 à Cary - le premier lien de mon message d'origine - pour essayer de déterminer à partir d'un très grand (> 130) ensemble de balises de production possibles (des choses comme vitesses des pompes, débits, température du four et débit d'air), lesquels contribuent au résultat Y, mesuré au QC. En utilisant l'approche GenReg (par exemple la sélection avant ou la sélection avant élaguée), vous pouvez obtenir des estimations pour les termes du modèle - et il s'agit d'un modèle TRÈS simpliste qui ne regarde que les principaux facteurs, pas d'interactions, rien d'autre. Bon nombre de ces estimations seront nulles, ou proches de zéro pour leurs coefficients.
Vous pouvez ensuite effectuer une analyse de simulation ou d'amorçage des estimations - ceci est normalement effectué pour avoir une meilleure confiance dans la plage des valeurs possibles pour ladite estimation. Cependant, une autre chose que vous pouvez tirer des statistiques de distribution de l'une ou l'autre méthode est la proportion de fois où la valeur de cette estimation est non nulle. La comparaison de la valeur non nulle de la proportion de chaque estimation avec le facteur nul vous donne une idée de si le facteur apparaît ou non dans le modèle plus fréquemment que le facteur nul. Étant donné que le facteur nul est complètement aléatoire et n'a aucune corrélation avec les balises de production réelles, si une balise apparaît moins fréquemment que le facteur nul, elle peut être exclue des futurs efforts de modélisation. Cela vous permet de réduire les >130 facteurs possibles à un ensemble plus gérable d'une douzaine environ. Des recherches, des expériences ou une modélisation plus approfondies peuvent être réalisées à ce stade sur un ensemble de facteurs beaucoup plus restreint qu'auparavant.
Ce que j'aimerais mieux comprendre, c'est pourquoi les méthodes de simulation et d'amorçage produisent des résultats différents. Est-ce le problème de distribution dont parlait Mark Bailey ? Est-ce que l'utilisation de la valeur par défaut de 2 500 rééchantillonnages n'est pas suffisante, ai-je besoin de plus ? Ou existe-t-il une raison plus fondamentale qui fait que les deux méthodes fournissent des résultats différents ?
J'aimerais mieux comprendre l'aspect technique des deux méthodes afin de prendre une décision plus éclairée sur la méthode à utiliser et à quel moment. Si les deux méthodes ne convergent pas vers une solution similaire (ce n’est pas nécessaire), alors quelle solution est la « bonne ».
L'aide en ligne de JMP ne contient pas beaucoup d'informations et j'aimerais mieux comprendre ces outils afin de les utiliser efficacement.
Merci!,
DS
Re : Méthodes Simulate vs Bootstrap dans JMP : lesquelles utiliser quand et pourquoiAucune des deux méthodes n'est supérieur dans n’importe quel sens statistique. Autrement dit, aucun des deux n’est toujours plus performant que l’autre dans tous les cas.
L'exactitude du résultat doit être vérifiée indépendamment avec une nouvelle prédiction (c'est-à-dire l'estimation) avec un nouvel échantillon.
La littérature sur le bootstrap et la simulation est vaste. Je ne peux pas facilement répondre ici à une question générale sur les limites et les lacunes dans un petit espace. Par exemple, l’échantillon capturera-t-il suffisamment les caractéristiques de la population si la population a des queues larges ou présente des valeurs aberrantes ? Générera-t-il des échantillons bootstrap comme de vrais échantillons de la population ? En revanche, dans quelle mesure croyez-vous au modèle de distribution utilisé pour la simulation ?
La confiance est subjective car deux enquêteurs peuvent avoir besoin de différents types et quantités de preuves pour faire confiance à une méthode plutôt qu'à l'autre.
La documentation du logiciel n'est pas destinée à servir de formation. Vous devez utiliser d'autres sources pour en savoir plus sur les deux approches dans ce cas.
Re : Méthodes Simulate vs Bootstrap dans JMP : lesquelles utiliser quand et pourquoi@SDF1 Je vais également offrir mes deux cents/opinions. je suis d'accord avec tout @Mark_Bailey et @statman ont contribué jusqu'à présent. Le cheminement de votre enquête ressemble étrangement à celui qui m’a été confié à plusieurs reprises au cours de mes journées de travail dans l’industrie des procédés chimiques. Nous aurions beaucoup de données de production/fabrication en temps réel que nous essaierions d'exploiter pour comprendre les variations de processus/produit ou pour prendre des mesures correctives lorsque la magie de la physique, de la chimie ou de la biologie ne s'est pas réunie lors d'un cycle de production la nuit dernière. Maintenant, tout le monde est sur le pont pour comprendre « pourquoi » ? On dirait presque que vous essayez de proposer un modèle « final » qui explique tout. J’ai trouvé que l’utilisation des données de production à cette fin n’était tout simplement pas une approche globale, en ce qui concerne la résolution du problème, efficace. Les données étaient tout simplement trop compliquées, incomplètes ou manquaient de facteurs de bruit/nuisance souvent percutants pour être utiles et représentatives de ce à quoi nous pourrions nous attendre à rencontrer à l'avenir. Alors qu'est ce qu'on a fait? Nous utiliserions les données dont vous disposez pour identifier les facteurs PROBABLEMENT importants. Ensuite, passez « hors ligne » et menez un espace de processus réfléchi englobant des expériences conçues pour induire une variation des facteurs de manière séquentielle afin de conduire à un chemin efficace (en termes de ressources, et non de modèle/statistiques) vers la résolution ultime du problème. En fin de compte, comme l'a souvent dit l'un des ingénieurs avec qui j'ai travaillé : « Vous ne connaissez pas la cause profonde d'un mode de défaillance tant que vous ne pouvez pas désactiver et réactiver le mode de défaillance ». Le seul moyen efficace que je connaisse pour acquérir ces connaissances est par le biais du DOE... et non par la torture des données aléatoires dans un modèle. Juste mon avis. Prenez-le pour ce que ça vaut.
Re : Méthodes Simulate vs Bootstrap dans JMP : lesquelles utiliser quand et pourquoiSalut @P_Bartel ,
Merci pour votre réponse. Votre description de ce que vous avez vécu dans le passé est la plus proche de ce que j'ai essayé d'expliquer dans mes messages précédents. Le but de cette approche n'est pas de trouver un modèle fonctionnant parfaitement, mais d'aider la production à éliminer les données de processus qui n'ont PAS d'importance. Notre processus ne permet pas vraiment de réaliser de véritables DOE en production – BEAUCOUP trop cher ! Au lieu de cela, si nous pouvons limiter les flux de données de production possibles à ceux qui ont les influences les plus PROBABLES, nous pouvons alors réaliser des DOE en laboratoire, comme vous l'avez souligné. Ceci est ce que nous faisons.
Grâce à notre laboratoire de R&D, nous savons que certains facteurs affectent certains résultats, comment et pourquoi. Cependant, l'environnement hautement contrôlé de fabrication de notre produit en laboratoire, en petits lots (quelques kg/jour), est BEAUCOUP différent d'une production continue à grande échelle, produisant plus de 500 tonnes de matériau par jour. L’équipement de production continue influence les résultats différemment de la façon dont les choses sont faites dans le cadre de petits lots de laboratoire. Et, avec notre processus, il n'y a pas de facteur de « mise à l'échelle » ou de « réduction » qui puisse simplement traduire le lot en processus continu, ou vice versa. Il est donc beaucoup plus difficile, avec la production continue, de déterminer quel processus pourrait dériver ou fluctuer et conduire à un produit non conforme aux spécifications.
Donc, pour revenir à ce que j'essayais d'apprendre à l'origine, j'aimerais en savoir plus sur les similitudes et les différences entre les deux méthodes par le biais d'une discussion technique. Y a-t-il des cas où une méthode est préférée à une autre, et pourquoi ?Ce faisant, j'espère comprendre pourquoi les deux méthodes fournissent des résultats si différents afin de pouvoir élaborer un plan sur la façon de trouver une approche plus fiable et plus robuste pour déterminer les facteurs les plus PROBABLES que nous devons approfondir. Cette dernière étape est quelque chose sur laquelle je travaillerais avec mon groupe dans mon entreprise, et non via la communauté JMP.
Encore une fois, la documentation JMP contient des informations limitées sur ces méthodes (peut-être davantage sur la simulation), ainsi que des informations limitées sur l'endroit où trouver plus de détails sur chaque méthode. N'étant pas un expert dans ces méthodes, j'ai pensé aller sur le forum de discussion pour obtenir des idées/contributions sur les méthodes simuler vs bootstrap. Jusqu'à présent, de cette discussion, j'ai appris que bootstrap ne suppose aucune distribution sur les rééchantillons, alors que simulation suppose une distribution des rééchantillons, et qu'aucun des deux n'est supérieur. Rien de tout cela ne répond vraiment à ce que j'espérais apprendre.L'aide de JMP contenait des informations utiles, mais pas toutes, et comme indiqué au bas des pages d'aide de JMP :
Par conséquent, je participe à la discussion communautaire, dans l’espoir d’en savoir plus. Encore une fois, je ne suis pas un expert dans ces méthodes, mais j'espérais que quelqu'un parmi les pages de la communauté le serait et pourrait soit fournir plus d'informations, soit des ressources que je pourrais lire pour en savoir plus.
Merci!,
DS
Re : Méthodes Simulate vs Bootstrap dans JMP : lesquelles utiliser quand et pourquoiSi vous souhaitez connaître des connaissances générales sur Bootstrap et Simulation dans JMP, les liens (2) et (3) sont plus pertinents. Le lien (1) est un sujet plus avancé et spécifique au DOE.
William Meeker est l'un des intervenants de (2) et (3). Vous voudrez peut-être consulter le chapitre 9 de son livre « Méthodes statistiques pour les données de fiabilité », 2e. éd. Si vous n'avez accès qu'à sa première édition, c'est également le chapitre 9 que vous devriez consulter. Les descriptions très détaillées y sont documentées. Beaucoup d’entre nous y ont appris les techniques. Mais je suis sûr qu'il existe d'autres références. Les documents de Meeker couvrent à la fois les concepts généraux des techniques et les applications spéciales de l'analyse de fiabilité. Si la partie analyse de fiabilité n’est pas pertinente, vous pouvez l’ignorer en toute sécurité.
Si je voulais résumer le contenu du livre, ainsi que ce que Mark a expliqué, voici ma tentative.
Les étapes du « Bootstrap », AKA « bootstrap non paramétrique », comprennent :
- échantillon de vos données
- faire quelque chose
- calculez la quantité de votre intérêt, collectez la quantité
- répéter.
Les étapes de « Simuler », AKA « bootstrap paramétrique », comprennent :
- commence par un modèle avec certains paramètres connus, simulez un échantillon à partir de celui-ci
- faire quelque chose
- calculez la quantité de votre intérêt, collectez la quantité
- répéter.
Comme vous l'avez mentionné, le but est d'obtenir un « intervalle de confiance ». Lequel choisir ? Cela dépend de votre tâche. Je ne peux pas parler de la tâche que vous avez décrite. Mais regardez les liens (2) et (3), le lien (2) et la partie majoritaire de (3) sont liés aux applications du « bootstrap non paramétrique » (ou Bootstrap), car la tâche consiste à mieux quantifier l'intervalle de confiance des estimations, pour lequel l’approximation sur un grand échantillon n’est pas l’approche la plus efficace dans le contexte. Regardez maintenant quand le "bootstrap paramétrique" (ou Simulate) est utilisé dans le lien (3), c'est-à-dire pour le calcul de la puissance. Qu’est-ce que le calcul de puissance ? Pour ce genre de calcul, il faut connaître la vérité, donc lorsqu’une décision est prise par une méthode, il faut savoir si la décision sur un test d’hypothèse est correcte ou non. On peut alors balayer la conclusion dans le bon quadrant du tableau des Erreurs de type I et de type II . Comment peut-on être sûr de la vérité ? Commencez simplement par la vérité. C’est alors que le « bootstrap paramétrique » est plus approprié.
Les méthodes bootstrap sont des technologies polyvalentes, je suis sûr que ce que j'ai décrit n'est que la pointe de l'iceberg. Mais ce que Mark a dit résume la différence : ils ont des points de départ différents.
Pour votre tâche spécifique, j'ai une question : lorsque vous avez effectué la simulation, comment avez-vous créé la colonne de formule ? Est-ce la vérité que vous connaissez ?
Re : Méthodes Simulate vs Bootstrap dans JMP : lesquelles utiliser quand et pourquoiOUAH! Nous avons dû travailler dans la même entreprise... vous avez décrit exactement comment j'ai passé la moitié de ma carrière professionnelle chez Eastman Kodak Company. Le DOE sur les processus/machines de revêtement de films/papiers de production a été verboten en raison du coût et de la capacité. Il y avait une évolutivité du laboratoire au pilote jusqu'à la production qui était une chimère écrite sur papier. Notre grâce salvatrice était qu’il y avait beaucoup de gens intelligents qui faisaient de leur mieux. Je vais vous envoyer un message privé en utilisant la fonctionnalité de messagerie de la communauté avec quelques réflexions supplémentaires.
Re : Méthodes Simulate vs Bootstrap dans JMP : lesquelles utiliser quand et pourquoiJe vais proposer certaines de mes réflexions qui pourraient n'avoir aucune valeur et ne pas être utiles concernant les questions posées par DS. Mes pensées correspondent à celles de Pete car j'ai des expériences similaires.Pour tenter de comprendre la causalité, il existe de nombreuses approches différentes.Dans TOUS les cas, une itération est requise. Je vais simplifier à l'excès deux de ces approches :
1. Une approche statistique : il s'agit d'une tentative de recherche d'indices dans les données historiques/observationnelles existantes (AKA Data Mining).Cela implique souvent l'utilisation d'une sorte d'approche de régression (il en existe de nombreuses), recherchant finalement des modèles dans les variables de réponse (c'est-à-dire les Y) et essayant de les corréler avec les modèles dans les variables d'entrée (c'est-à-dire les x).Au lieu d'une simple analyse quantitative (par exemple, démarrage, simulation, etc.), utilisez des méthodes graphiques pour rechercher des modèles. La corrélation des modèles devrait inspirer des explications sur les raisons pour lesquelles ces modèles existent.Ces explications sont des hypothèses.Une fois les hypothèses formulées, collectez des données via un échantillonnage dirigé (par exemple, DOE) pour renforcer la confiance dans les relations causales.
2. Une approche scientifique/ingénierie (méthode scientifique AKA) : Cette approche commence par des hypothèses sur les effets potentiels des facteurs sur les variables de réponse.Ces hypothèses sont fonction de l’expérience, de l’intuition, de l’éducation, de la compréhension de la théorie scientifique acceptée, etc.Lorsqu'il existe un grand nombre de variables (par exemple > 15) et que les hypothèses sont générales, l'échantillonnage dirigé peut être utilisé pour séparer et partitionner les composantes de la variation en sous-ensembles plus petits. Je recommande fortement cette approche pour vos processus de production car elle ne « perturbe » pas le processus. À mesure que le nombre de facteurs d’influence potentiels diminue, l’expérimentation peut être utilisée pour renforcer la confiance dans les relations causales (comme vous l’indiquez).
L’approche qui sera la plus efficace et la plus efficiente dépend toujours de la situation.Lorsque nous sommes extrêmement bas dans le continuum des connaissances (par exemple, il y a un manque de connaissances sur un sujet), l'approche 1 sera peut-être avantageuse. Si des hypothèses existent déjà, l’approche 2 peut être plus avantageuse.
En ce qui concerne l’incapacité d’expérimenter sur le processus de production (sans entrer dans un débat entre réflexion à court terme et réflexion à long terme), cela peut ajouter de la complexité à l’enquête.Le problème est l’espace d’inférence. Ce que l’on souhaite, c’est que la ligne pilote reflète le processus de production.C'est un défi car l'îlot se trouve dans un garçon et constitue souvent un espace d'inférence complètement différent. Cela signifie souvent que le bruit devra être ajoutée à la ligne pilote (par exemple, varier les conditions ambiantes, utiliser plusieurs lots de matières premières).Lorsqu’on réalise des études à petite échelle, il est important d’exagérer les effets.Les effets de facteur (par exemple, réglage du niveau en gras) et les effets de bruit.Les effets de bruit exagérés peuvent être pris en compte dans des expériences utilisant des stratégies de blocage et de parcelle divisée.
A mon humble avis , la simulation et l'amorçage (ou toute méthode quantitative) dépendent entièrement de la manière dont vous avez acquis les données et de la représentativité des données des conditions futures.Si les données utilisées pour la simulation ou le bootstrap ne sont pas représentatives, aucune des deux méthodes ne sera utile.
Re : Méthodes Simulate vs Bootstrap dans JMP : lesquelles utiliser, quand et pourquoi ?Bien que ma réponse ne soit pas pertinente par rapport au message d'origine, votre explication inclut des concepts sur les différences entre Bootstrap et Simulate.
J'aimerais clarifier ces concepts appliqués à mon cas d'analyse par bootstrap paramétrique d'ajustement non linéaire JMP. Dans le fichier JPG ci-joint, j'utilise la fonction « Bootstrap » en un clic dans la colonne « Estimation » du paramètre de l'analyse « Ajustement non linéaire ». Est-ce que j'utilise ici le bootstrap paramétrique ?
