What else should I consider when planning my test?What else should I consider when planning my test?What else should I consider when planning my test?What else should I consider when planning my test?Que dois-je prendre en compte lors de la planification de mon test ?
Pour ce troisième volet de mon Série de blogs « Apprendre de mes erreurs » , j'aimerais conclure mes réflexions sur les préliminaires de la planification d'un test. Nous avons déjà parlé de ce que nous pouvons attendre d'un test t en général. Ainsi, nous savons maintenant que nous devons établir un niveau de confiance, établir un objectif d'amélioration par rapport à l'état actuel et établir une direction d'amélioration (supérieure ou inférieure à l'état actuel). Parlons maintenant de quelques autres considérations relatives aux tests, puis terminons par Posez la question complète .
Autres considérations avant la planification des tests
Rappel de le scénario original que l'ingénieur a décidé de prélever trois échantillons de chacune des populations pour déterminer si la moyenne de la population avait changé entre le nouveau traitement et le contrôle. Pourquoi a-t-il choisi trois échantillons ? Pourquoi pas cinq ? Ou 10 ? Ou 2 ? Peut-être était-ce parce que « nous avons toujours procédé ainsi ». Il y avait peut-être d’autres considérations qui n’ont pas encore été décrites.
D'un point de vue purement statistique/mathématique, plus c'est toujours mieux lors du choix d'une taille d'échantillon. Après tout, si nous pouvions échantillonner TOUTES les parties d’une population, nous n’aurions alors aucune hypothèse à faire sur la moyenne ou la variance de la population. Nous le saurions !
Malheureusement, de nombreuses considérations pratiques dans notre travail quotidien affectent la sélection de la taille de l’échantillon. Et plus malheureusement encore, j'ai moi-même été coupable de ne pas avoir pris en compte toutes les contraintes et impacts de l'exécution d'un test donné. Il serait bien plus sage de considérer ces facteurs avant de commencer le test, plutôt que de perdre du temps à la va-vite.
Ci-dessous, je propose quelques éléments qui pourraient affecter la façon dont vous planifiez votre test :
- Quel est le budget pour ce test ?
- La direction est toujours intéressée par le budget !
- Quand avons-nous besoin d’une réponse ?
- Si une réponse est nécessaire d’ici la fin de la semaine, mais que le test prendra au moins un mois, nous devons alors repenser la question à laquelle nous essayons de répondre et la méthodologie que nous utilisons pour y répondre.
- Combien d’échantillons de test pouvons-nous nous permettre de fabriquer ?
- Cela peut impliquer le coût des pièces elles-mêmes, ainsi que le temps et le calendrier de leur fabrication. Sommes-nous en train de fermer une chaîne de production pour fabriquer ces pièces ?
- Le « lot » va-t-il être important pour nous (en supposant que les pièces soient fabriquées par lots) ?
- Si tel est le cas, envisagez d’échantillonner plusieurs lots. Bien entendu, cela a un impact sur le temps nécessaire à la production des pièces de test initiales et sur le temps nécessaire jusqu'à ce que nous obtenions nos résultats finaux.
- Combien d’échantillons pouvons-nous réellement tester ?
- Le laboratoire qui teste les échantillons est-il occupé à autre chose ? Est-ce que cela coûte de l’argent d’envoyer les échantillons à un laboratoire externe ?
- Envisageons-nous vraiment de tester le bon paramètre, de la bonne manière ? Dans notre scénario, nous souhaitons augmenter la « résistance » de nos pièces. Il existe de nombreuses façons de mesurer la résistance (par exemple, tests de traction, cycles répétés, tests d'impact). Ou peut-être avons-nous vraiment besoin de mesurer le module élastique, le duromètre ou un autre paramètre. Ne vous précipitez pas et commencez à mesurer !
- Pouvons-nous même mesurer la « différence importante » que nous souhaitons détecter, en utilisant notre équipement de test actuel ?
- Une analyse du système de mesure aide à comprendre la variation de votre jauge. J'en parlerai davantage dans mon prochain article de blog, notamment sur ce qu'il faut faire si votre jauge n'est pas assez bonne.
- Connaissez-vous la variation normale de résistance d'une pièce à l'autre de vos pièces de contrôle ? Pensez-vous que les nouvelles pièces auront la même variation ? La variation devrait-elle être normalement distribuée ?
- Ces questions jouent un rôle important lorsque nous planifions le test et analysons les résultats.
- Outre l’amélioration de la résistance moyenne des pièces, le maintien des variations existantes d’une pièce à l’autre est-il important pour le produit ? La variation doit-elle également être améliorée ? A l’inverse, peut-il être élargi ?
- Si nous améliorons la résistance moyenne des pièces mais augmentons la répartition (variation) des pièces, produirons-nous réellement plus de rebuts ?
- Nous sommes généralement préoccupés par les processus qui sont hors de contrôle et/ou par la fabrication de pièces défectueuses. Mais si nous disposons d’un processus sous contrôle qui produit constamment des pièces de qualité, combien dépensons-nous pour maintenir ce contrôle ?Pourrions-nous tolérer une plus grande variation dans les pièces du nouveau traitement et économiser de l'argent sur les contrôles de processus ?
Toutes ces considérations entrent en ligne de compte dans la sélection de la taille de l’échantillon pour notre hypothétique test t . (Je suis sûr que vous pouvez également penser à de nombreuses autres considérations qui doivent être discutées avant la planification du test.)
Alors, j'appellerai cette erreur : Ne pas prendre correctement en compte tous les facteurs qui pourraient affecter la planification des tests.
Quelle est la question complète à laquelle nous essayons de répondre ?
Vous pouvez atténuer toutes les discussions et erreurs ci-dessus en réservant du temps pour « Poser la question complète ». (Ici, je dois crier à Bill Kappel , mon mentor et ami, qui m'a enseigné cette méthode il y a de nombreuses années.)
« Poser la question complète » signifie parcourir toute la discussion ci-dessus (et dans les parties 1 et 2) et s'assurer que tout a été pris en compte, afin que nous mesurions la bonne quantité, définissons les contraintes de nos tests, définissons l'importance de la différence. pour nous, etc.
Dans notre scénario, disons que nous avons parlé à toutes les parties intéressées et parties prenantes, et que nous réécrivons la question comme suit :
« Avec un degré de confiance de 95 %, peut-on affirmer que le traitement A améliore la résistance moyenne de la pièce de plus d'une unité, par rapport au procédé actuel, sans augmenter la variation du procédé ?
Suite à cela, nous énumérerions toutes les contraintes. Quelques-uns d’entre eux pourraient être :
- Nous pouvons nous permettre de construire et de tester un total de 40 pièces (total de toutes les pièces du traitement A + contrôle <=40)
- Nous pouvons ignorer l'effet de Batch
- Nous avons besoin de la réponse dans un mois (juste le temps de terminer cette série de blogs !)
Confirmez que nous avons posé la question complète
Au cours de ma carrière, j'ai vu des ingénieurs consacrer beaucoup de temps et de ressources en laboratoire à essayer d'aller au fond d'un problème, pour finalement découvrir que personne ne se souciait des résultats. Le problème ne réside pas dans la réflexion initiale et la planification des tests. Le problème ne vient pas de l'exécution du test. Le problème est que les ingénieurs n’ont pas vérifié à l’avance que la réponse à la question correcte/complète était trouvée.
Does the boss agree with your plan?Does the boss agree with your plan?Does the boss agree with your plan?Does the boss agree with your plan? Le patron est-il d'accord avec votre projet ?
Ainsi, une fois que nous avons fait toute cette réflexion prospective et cette planification des tests, c'est une excellente idée de faire une dernière chose : demandez à votre responsable s'il est d'accord que c'est la question à laquelle il faut répondre. En fait, si le test prend beaucoup de temps, c'est une bonne idée de vérifier périodiquement auprès de la direction pour s'assurer que les conditions n'ont pas changé. Personne ne veut perdre son temps à faire un test inutile !
À venir
J'ai l'intention d'aborder tous les sujets suivants au fur et à mesure. J'espère que vous pourrez me rejoindre pour toute la série !
- Partie 1 : Établir un scénario typique
- Partie 2 : Que nous dit réellement le test t ?
- Partie 3 : Autres considérations relatives au test et posez la question complète (cet article)
- Partie 4 : Votre jauge est-elle capable (et que faire si elle ne l'est pas) ?
- Partie 5 : Planification et exécution du test : de la taille des échantillons aux meilleures pratiques
- Partie 6 : Analyse des résultats (y compris Garbage In = Garbage Out)
- Partie 7 : Résumé
Une très bonne approche pour poser la bonne question.
en 1993, Doug Montgomery et moi avons conçu simultanément un « guide principal du DOE ». Il a publié le premier (Technometrics, 1993). Depuis, j'utilise le guide. Il pose à peu près les mêmes questions que vous.
J'en ai une copie sur mon site Web ( http://cawseandeffect.com/doe-master-guide/ ) N'hésitez pas à y jeter un oeil.
Pas pointilleux du tout, @calking !Heureux d'avoir les commentaires.
Oui, la taille des échantillons comporte des compromis, et vous faites valoir plusieurs bons arguments.Et vous ne me volez pas la vedette... vous aiguisez simplement l'appétit pour ce qui nous attend en matière de sélection de tailles d'échantillon appropriées.Merci pour les réflexions et les contributions !
Salut Jerry,
J'adore ta série ! En tant que personne ayant une expérience antérieure dans l'industrie, je suis ravi de voir quelqu'un couvrir les mêmes sujets que moi (et surmonter également certaines des mêmes erreurs). J'ai hâte de voir la suite !
J'ai un petit commentaire et j'espère qu'il n'est pas trop pointilleux :-/. Vous mentionnez que d'un point de vue statistique/mathématique, plus d'échantillons sont toujours meilleurs. Je serais certainement d'accord... jusqu'à un certain point. Ce serait à ce moment-là que je commencerais à envisager des rendements décroissants. Quelle quantité d’informations supplémentaires le ou les échantillons supplémentaires fournissent-ils pour répondre à ma question ? Cela vaut-il l'effort supplémentaire en temps et/ou en argent pour obtenir ce peu de données supplémentaire ?
Peut-être qu’un exemple extrême pourrait aider à illustrer mon propos. Supposons que je vous propose le choix entre l’ensemble de la population qui vous intéresse et un sous-ensemble de cette population. Si j’en restais là, vous choisiriez probablement l’ensemble de la population comme une évidence. Mais que se passerait-il si je vous disais (avec ma meilleure voix de Lawrence Fishburne et mes lunettes de soleil sympas) que le sous-ensemble était composé de tous les membres de la population sauf un. A ce stade, le choix serait probablement plus difficile. Vous pourriez commencer à vous demander : Eh bien, quelle est vraiment la différence entre les deux ? Ai-je vraiment besoin d’un membre supplémentaire pour répondre à ma question complète ? » (que vous aurez déterminé à l'aide des questions directrices dans l'article de blog ci-dessus 
). Peut-être que oui, peut-être que non. Mais le fait est que le choix n’est plus aussi clair.Cela me rappelle un célèbre paradoxe à peu près au moment où un tas de sable cesse d'être un tas lorsque vous enlevez les grains un par un. Si vous y réfléchissez à l'envers, l'ajout de plus de sable (données) me fournira-t-il des informations précieuses ou cela me donnera-t-il simplement un tas légèrement plus grand que celui que j'ai déjà ?
Évidemment, la plupart des situations se situent dans la catégorie où avoir plus de données signifie clairement avoir plus d'informations. Habituellement, vous n'avez pas à vous en préoccuper jusqu'à ce que vous abordiez les situations d'un grand échantillon. Mais je dirais que si vous avez déjà utilisé un calcul de puissance statistique pour déterminer la taille des échantillons, vous avez implicitement utilisé cet argument de rendement décroissant. Après tout, un calcul de puissance vous indique simplement la taille minimale de l'échantillon requise pour atteindre vos objectifs statistiques (en supposant qu'elle soit utilisée correctement), avec l'implication que les données supplémentaires ne sont que la cerise sur le gâteau.
(J'espère que je n'ai pas volé la vedette à vos prochains messages :-/. Ou j'ai été trop pointilleux :-/.)
