Si vous avez manqué la semaine dernière Statistiquement parlant avec Christine Anderson-Cook, largement publiée et primée, chercheuse à la retraite au Laboratoire national de Los Alamos (LANL), vous avez manqué une visite fascinante de la collecte de données conçues, du Big Data et de leurs synergies. Le potentiel de la collecte de données conçues pour ajouter plus de valeur aux projets impliquant des mégadonnées est important. En effet, les participants étaient tellement désireux d'en savoir plus sur ce sujet que nous n'avons pas eu le temps de répondre à toutes leurs nombreuses questions intéressantes. Nous les avons donc transmis à Christine, qui a gentiment pris le temps d'y répondre pour ce post. Vous pouvez la voir parler et entendre les questions qu'elle a abordées dans le enregistrement à la demande .
Pensez-vous que l'on met trop l'accent sur les données d'observation (et transactionnelles), qui sont généralement pauvres en informations par rapport à la collecte intentionnelle de données susceptibles de mieux éclairer les décisions ? Est-ce principalement dû au « coût » de l'obtention de données plus riches en informations ?
Je pense qu'au début, pour de nombreuses entreprises, il y avait le sentiment que "beaucoup de données peuvent résoudre tous les problèmes". Cela peut amener à penser que la simple collecte de données est une solution en soi. Cependant, maintenant que le big data existe depuis un certain temps, de nombreuses entreprises ont peut-être vécu des expériences infructueuses, où les données n'ont pas été en mesure de leur donner les réponses dont elles avaient besoin. Ainsi, malheureusement, à mesure que la réalité s'installe, l'expérience pourrait être l'un des enseignants les plus convaincants que des données pratiques à faible coût ne sont pas nécessairement plus souhaitables que des données choisies intentionnellement plus coûteuses.
Dans la partie discussion du document QREI [1] , Laura Freeman avait une merveilleuse citation sur ce qui se passe souvent lorsque des données sont collectées sans intention : "Le résultat final est généralement un analyste épuisé et un décideur déçu, car les données n'ont jamais été conçues pour répondre au problème qu'ils essaient de résoudre. ” [2] Pour répondre à de nombreuses questions spécifiques et importantes, rien ne remplace l'appariement des données à la question d'intérêt avant qu'elle ne soit collectée.
L'essentiel est que la dépendance à l'égard des données d'observation ou transactionnelles peut avoir des résultats mitigés. Si elles sont collectées sans prévoyance ou simplement parce que c'est pratique, le risque de déception est plus élevé que si les experts de l'équipe de collecte de données sont conscients et planifiés de l'utilisation des données.
Connaissez-vous des cas où le coût pour mesurer quelque chose a dépassé son avantage ?
J'ai travaillé sur quelques projets au LANL où le coût d'obtention des données était très élevé, généralement parce que la manière de collecter les données souhaitées était inconnue au départ. Dans ces cas, il faut parfois de la recherche et du développement pour pouvoir obtenir les données souhaitées. Bien sûr, il peut y avoir des déceptions occasionnelles quant à ce que vous apprenez de ces données une fois que vous êtes en mesure de les collecter. Cependant, cet investissement pourrait être rentable ultérieurement pour une autre application une fois que la nouvelle capacité aura été développée et que la plate-forme de collecte de données aura été établie. S'il semble que vous pourriez être dans une situation comme celle-ci où des ressources devront être dépensées pour obtenir un nouveau type de données, il est important de bien réfléchir à ses avantages possibles pour le projet en cours et à long terme, les risques de déception, et s'il pourrait y avoir un substitut alternatif où des informations similaires peuvent être obtenues plus facilement ou à moindre coût.
De nombreuses entreprises plus récentes font la promotion de modèles prescriptifs pour indiquer aux expérimentateurs ce qu'ils doivent faire ensuite. Pouvez-vous commenter cette approche de l'expérimentation par rapport à la mise en place d'expériences conçues ?
Les modèles prescriptifs sont définitivement en train de devenir une approche incontournable dans un certain nombre de domaines différents. Pour ceux qui ne sont pas familiers avec ce qu'ils impliquent, voici deux définitions vagues qui pourraient aider à clarifier la distinction entre les modèles plus traditionnels et ceux-ci en particulier :
- Modèles prédictifs prévoir les résultats pour de nouvelles combinaisons d'entrées sur la base d'un modèle estimé à l'aide de données antérieures.
- Modèles prescriptifs formuler des recommandations concrètes et concrètes sur la manière de répondre aux nouvelles données.
Les outils prédictifs sont conçus pour aider à la compréhension, tandis que les modèles prescriptifs prennent cette compréhension et l'automatisent en actions planifiées.
Je pense qu'il est important de se rappeler que les algorithmes derrière les modèles normatifs ne sont aussi bons que les personnes qui les créent. Hannah Fry [3] fait un travail magistral en parlant des forces et des faiblesses de l'automatisation avec des algorithmes et des efforts pour sortir les humains de la boucle.
Il pourrait être avantageux d'envisager des modèles normatifs pour les situations où le volume ou la vitesse requis pour prendre la décision (pensez à la conception adaptative, où de nouveaux sujets en attente d'être affectés à des traitements arrivent continuellement et fréquemment) rendent impossible pour un décideur humain de continuez. Cela étant dit, je pense qu'il y a d'énormes avantages à garder la conception d'expériences comme une tâche guidée par un humain réfléchi. Les gens remarquent quand les conditions changent par rapport au paradigme qui a été utilisé pour mettre en place l'expérience pour laquelle l'algorithme a été conçu. Les humains sont meilleurs pour extraire les connaissances et les aspects clés du problème. Ils sont plus aptes à trouver des solutions qui équilibrent de manière appropriée plusieurs objectifs de la manière qui reflète le mieux les priorités de l'étude. Donc, ma recommandation est que la conception des expériences devrait être le point de départ de la plupart des expériences, mais si l'expérience doit être répétée plusieurs fois ou si la vitesse ou le volume l'exigent, alors l'expérience acquise à partir des expériences initiales pourrait être traduite en un modèle normatif. pour réduire le fardeau des humains.
Pour l'expérimentation séquentielle, comment les modèles sont-ils construits et estimés lorsque les données ont été obtenues à partir de plusieurs étapes, comme une étude pilote, l'exploration et la construction du modèle ? Quelles sont les conséquences si de nouvelles données ne peuvent pas être obtenues pour affiner le modèle ?
Malgré tous les avantages de l'expérimentation séquentielle, la gestion de l'analyse est l'une des plus grandes complications. Si les données sont recueillies en groupes dans un ordre non aléatoire, l'analyse devrait presque toujours refléter cette situation. Une exception à la nécessité d'adapter l'analyse serait pour une expérience informatique où le même code s'exécute pour toutes les combinaisons d'entrée et est indépendant de l'ordre d'exécution. Parfois, il n'est pas nécessaire de combiner les données en une seule analyse, avec des modèles et des interprétations distincts pour chaque étape. Par exemple, si une analyse de système de mesure est effectuée au stade pilote, il se peut qu'il n'y ait pas de lien direct entre celle-ci et les données ultérieures conçues pour se concentrer sur l'exploration et la construction de modèles.
En règle générale, traiter des groupes d'exécutions à différentes étapes de l'expérience (pilote, exploration, construction de modèles, etc.) comme des blocs permet de reconnaître que les choses peuvent avoir changé entre les phases. Les méthodes exploratoires peuvent aider à examiner l'impact des blocs et à voir s'il semble y avoir des changements substantiels dans les réponses entre les blocs. Dans l'exemple de criminalistique nucléaire, les trois phases de la plus grande expérience ont été analysées avec un effet de bloc ajouté. À partir de l'examen de cet effet, nous avons pu identifier certaines différences dans la mesure de certaines des caractéristiques au fil du temps.
Si de nouvelles données ne peuvent pas être obtenues pour affiner le modèle, alors la précision du modèle initial ne peut pas être améliorée davantage. Dans de nombreux cas, l'objectif du raffinement du modèle est de cibler les zones où l'estimation ou la prédiction actuelle du modèle est faible. L'augmentation avec des exécutions supplémentaires peut aider à modérer cette faiblesse et à améliorer les performances globales. S'il n'y a pas de budget pour ce raffinement du modèle, l'estimation et la prédiction sont dictées par les données disponibles. Il peut s'agir d'une occasion manquée. Par conséquent, dans la mesure du possible, il est bon de penser à une allocation efficace des ressources à travers les différentes étapes.
Maintenant que nous avons beaucoup de données provenant des dossiers médicaux électroniques dans les hôpitaux, ceux qui les collectent et les analysent peuvent avoir des compétences limitées en matière de DOE. Quelles sont les façons d'appliquer certains des grands points que vous avez partagés avec nous ?
Les dossiers hospitaliers contiennent une mine d'informations, mais il se peut qu'elles soient dissimulées dans le volume de dossiers à traiter. Compte tenu de la nature du traitement médical et des considérations éthiques, il sera probablement très difficile de modifier sa nature observationnelle. Par conséquent, nous pourrions être incapables de contrôler les « entrées » pour les données recueillies et plus susceptibles d'être limités pendant la phase de mégadonnées à un échantillonnage stratégique d'enregistrements pour nous aider à répondre aux questions.
Voici quelques réflexions sur les endroits où il pourrait y avoir des opportunités :
- Si de nouveaux types de données doivent être ajoutés à la base de données, il peut être possible d'effectuer une analyse du système de mesure pour aider à comprendre les sources de variabilité. Par exemple, les personnes qui administrent les tests représentent-elles une part substantielle de la variation ? La machine utilisée pour les tests importe-t-elle ou sont-elles toutes calibrées de la même manière ? Étant donné que le volume de données à collecter est probablement important, une petite étude pour comprendre les sources de variabilité pourrait être très informative sur la manière dont les résultats doivent être interprétés.
- Si les mesures sont coûteuses, dans les étapes précédant le big data, il peut être possible d'utiliser un ensemble de données plus petit pour examiner les corrélations entre les mesures afin de comprendre quelles données sont principalement liées aux résultats et s'il existe d'éventuelles redondances coûteuses d'informations.
- Un aspect clé de la réponse aux différentes requêtes est de s'assurer qu'il existe des moyens faciles à mettre en œuvre de partitionner les données en catégories pertinentes et moins pertinentes. Le fait de pouvoir échantillonner des enregistrements pour des sous-populations en fonction de champs clés permettra d'effectuer des comparaisons plus précises avec des sujets similaires.
- L'échantillonnage des données par date ou lieu peut permettre de comparer les résultats dans le temps ou dans l'équipement. Cela peut mettre en évidence des tendances ou réduire le nombre de fausses conclusions attribuables à des facteurs externes et non à des changements chez le patient.
- Enfin, dans les étapes suivant les mégadonnées, il peut y avoir des opportunités d'utiliser de petites expériences conçues sous la forme d'expériences de confirmation pour vérifier des hypothèses ou vérifier si les effets se traduisent sur des populations plus larges.
L'approche de conception adaptative (test A/B) ne biaise-t-elle pas les résultats en fonction du modèle qui prend une longueur d'avance au départ ? Si A est affiché 75 % du temps, l'attente de base du nombre de résultats pour A devient plus élevée que pour B.
Le domaine de la conception adaptative offre de nombreuses options pour mettre en œuvre l'algorithme qui décide comment répondre aux nouvelles observations. En règle générale, l'expérimentateur a le choix de la rapidité avec laquelle l'algorithme modifiera la proportion de nouveaux sujets recevant chaque traitement. Si vous évoluez trop lentement, il y a un coût d'opportunité d'avoir potentiellement une plus grande proportion de sujets recevant l'option la moins souhaitable. Si vous évoluez trop rapidement, alors avec un début de séquence « malchanceux » (non représentatif), vous risquez de commencer par orienter trop de sujets vers l'option la moins souhaitable.
Comme pour tant de décisions, il existe deux types d'erreurs, et l'expérimentateur doit peser leurs risques et conséquences relatifs. Dans de nombreuses implémentations, l'équilibre entre l'exploration et l'exploitation est choisi pour minimiser le risque d'évoluer trop rapidement vers la mauvaise solution, tout en tolérant certaines opportunités perdues en faisant un choix prudent. Les algorithmes sont généralement conçus pour fonctionner avec la proportion de succès pour chaque option, et non le nombre absolu de succès observés.
En ce qui concerne l'exemple d'ensemble de données de compétition de données, la division en trois étapes de la conception globale est-elle quelque chose que JMP peut faire pour sélectionner quelles exécutions sont pour quelle étape, ou cela a-t-il été déterminé arbitrairement ?
Au lieu de créer un ensemble de données plus volumineux et de le diviser en données d'entraînement, de test public et de test privé, nous utilisons une approche ascendante en générant des ensembles de données plus petits avec des caractéristiques différentes pour différents scénarios, puis en les combinant pour générer les données de compétition finales.
Voici quelques détails supplémentaires sur la construction des ensembles de données de formation, de test public et de test privé. Un ensemble dense de points candidats a été construit pour chaque scénario (pensez à l'une des sources radioactives à découvrir, blindée ou non blindée). Étant donné que les conséquences les plus importantes de la concurrence résidaient dans les résultats de l'ensemble de données de test privé, il a d'abord été construit, en utilisant une conception de remplissage d'espace non uniforme (NUSF). [4] , où la non-uniformité a été choisie pour mettre l'accent sur les régions les plus difficiles (ici, le détecteur se déplaçant rapidement à la recherche d'une petite quantité de matière radioactive), mais toujours avec une certaine couverture dans tout l'espace. Une fois cette conception finalisée, l'ensemble de candidats réduit (l'original moins les points déjà sélectionnés) a été utilisé pour construire l'ensemble de données de test public. Dans ce cas, l'accent était mis sur des niveaux de difficulté modérés, mais encore une fois avec une certaine couverture dans tout l'espace. Le processus a été répété une dernière fois pour construire les données d'apprentissage, avec un ensemble de candidats encore réduit (des points sélectionnés dans les ensembles de données de test publics et privés ont été supprimés de l'ensemble de candidats d'origine). Cela a permis la création de trois ensembles de données conçus pour chaque combinaison source radioactive x blindage.
Ensuite, ces conceptions ont été combinées dans tous les scénarios et randomisées en trois ensembles de données finaux (formation globale, test public global et test privé global), qui ont ensuite été fournis aux concurrents. Il y a des articles que j'ai écrits avec mes collègues sur la façon de penser à la construction d'ensembles de données sur la concurrence des données [5] ou comment nous avons mis en œuvre ces stratégies pour le problème de détection de rayonnement [6] . Actuellement, JMP ne dispose pas d'une fonction automatique pour construire directement des conceptions NUSF, mais il est possible d'en créer une qui utilise une approche séquentielle pour faire varier le degré d'uniformité de la conception. [7] avec les conceptions de remplissage d'espace rapides et flexibles [8] dans JMP. Alternativement, il existe un code R disponible pour construire ces conceptions dans les matériaux supplémentaires de mon article [4] .
J'ai une question sur la gestion de la conservation des valeurs aberrantes avant la formation des algorithmes. Il y a un danger à les exclure, en particulier s'il y a une rareté dans cet espace d'état. Utiliseriez-vous potentiellement un plan d'expérience pour des mesures adaptatives afin de différencier s'il faut inclure ou exclure ces valeurs aberrantes ? Existe-t-il d'autres approches pour déterminer la conservation des valeurs aberrantes ?
L'identification des valeurs aberrantes et des points à fort effet de levier est remarquable pour son impact disproportionné sur les résultats et notre interprétation des modèles. Pour définir plus précisément ces notions, une valeur aberrante est une observation où la ou les réponses ne suivent pas la tendance des autres données. Un point de levier élevé est une observation où la combinaison d'entrée est extrême par rapport au reste de l'ensemble de données (cela peut être difficile à évaluer à mesure que la dimension de l'espace d'entrée augmente).
La conception d'expériences peut être utile de différentes manières pour chacun d'entre eux. Pour une valeur aberrante, une petite expérience locale dans la région où la valeur de réponse extrême a été observée pourrait aider à clarifier s'il s'agit d'une région de comportement différent ou peut-être a-t-elle une variation plus élevée que la normale. Chacun d'entre eux, une fois confirmé, nécessiterait une réaction différente. Pour un point de levier élevé, une expérimentation intentionnelle dans la région reliant le point de levier élevé au reste de l'espace d'entrée peut aider à caractériser la relation entre les entrées et les réponses sans grands écarts. Cela peut aider à fournir des informations sur la transition entre les deux régions d'emplacement d'entrée. Ces deux stratégies, bien sûr, dépendent du degré de contrôle des paramètres d'entrée dont dispose l'expérimentateur.
Je suis plutôt old-school sur la suppression des valeurs aberrantes. À moins qu'il n'y ait une expertise en la matière pour guider l'inclusion ou l'exclusion, je suis extrêmement réticent à supprimer ces points de données. Les modèles d'ensemble (qui combinent des modèles basés sur l'ensemble des données et sans les valeurs aberrantes) peuvent fournir une autre façon de calibrer l'impact de ces observations sur la compréhension de la variabilité et de l'incertitude du modèle.
Nous apprécions que Christine ait pris le temps de partager plus de sa sagesse sur ce sujet stratégique. Merci à tous ceux qui ont participé et posé de si bonnes questions ! Nous saluons tous les efforts déployés pour recueillir des données riches en informations ! Nous recommandons également vivement l'article de Christine, Pourquoi et comment poser de bonnes questions .
Les références:
[1] Anderson-Cook, CM, Lu, L. (2023) "La collecte de données conçues est-elle toujours pertinente à l'ère du Big Data ? Ingénierie Qualité et Fiabilité Internationale 39(4) 1085-1101.
[2] Freeman, L. (2023) « Bilan : la collecte de données de conception est-elle toujours pertinente à l'ère du big data ? Avec des extensions à l'apprentissage automatique » Ingénierie Qualité et Fiabilité Internationale 39(4) 1102-1106.
[3] Fry, H. (2018) Hello World : Être humain à l'ère des algorithmes , WW Norton & Compagnie.
[4] Lu, L., Anderson-Cook, CM, Ahmed, T. (2021) "Conceptions de remplissage d'espace non uniformes" Journal de la technologie de la qualité 53(3) 309-330.
[5] Anderson-Cook, CM, Lu, L., Myers, K., Quinlan, K., Pawley, N. (2019) "Amélioration de l'apprentissage à partir des compétitions de données grâce à la génération stratégique d'ensembles de données informatifs" Ingénierie de la qualité 31(4) 564-580.
[6] Anderson-Cook, CM, Myers, K., Lu, L., Fugate, ML, Quinlan, K., Pawley, N. (2019) "Concours de données : tirer le meilleur parti d'une conception stratégique et d'une analyse post-concours" Analyse statistique et exploration de données 12 271-289.
[7] Lu, L., Anderson-Cook, CM (2022) "Tirer parti de ce que vous savez : conceptions polyvalentes de remplissage d'espace" Ingénierie de la qualité https://doi.org/10.1080/08982112.2022.2161394
[8] Lekivetz, R. et B. Jones. 2015. "Conceptions de remplissage d'espace rapides et flexibles pour les régions non rectangulaires" Ingénierie Qualité et Fiabilité Internationale 31 (5):829–37. doi : 10.1002/qre.1640.
