Bienvenue à tous et merci de nous rejoindre. Pour des mensonges, encore des mensonges ou juste des statistiques, on va regarder un film de Menteur, menteur aujourd'hui. Je plaisante. Pour vous expliquer un peu comment nous en sommes arrivés là, je suis Clark Ledbetter, ingénieur système, et Megan Pennington de StatSense, statisticienne, est également présente.
Pour vous donner un peu de contexte, j'ai rencontré Megan à Y-12 lorsque je couvrais le gouvernement fédéral. Si vous êtes fan d'Oppenheimer, vous savez que Y-12 produit tout notre uranium enrichi U-235. Nous discutions l'année dernière lors d'une réunion sur site, et je posais des questions sur la sécurité à Y-12. Comment se déroulent les entretiens et tout le reste ? Megan, vous avez mentionné que vous utilisez les données du détecteur de mensonges.
Oui, nous avons un polygraphe pour la vérification des antécédents.
J'étais stupéfait. Des données polygraphiques. Hein ? Ce serait intéressant d'y jeter un œil, pour voir si on peut faire quelque chose. Parce que je trouve que tout ce truc de polygraphe est un peu bancal. Trop d'intervention humaine ici. Megan, qu'est-ce qu'on a comme données ?
Vous n'obtiendrez pas les données polygraphiques de Y-12, mais par chance, j'ai un client qui effectue réellement des polygraphes, et nous allons donc examiner son ensemble de données aujourd'hui.
Très bien. Super. Passons à la diapositive suivante.
L'objectif d'un polygraphe est de déterminer si quelqu'un ment en enregistrant les symptômes physiologiques. En effet, en cas de stress, on observe des pics de symptômes physiologiques. Des capteurs de détection de base sont nécessaires, comme la tension artérielle, la transpiration et les activités cardio-vasculaires. Vous pouvez ajouter autant de capteurs que vous le souhaitez, comme la détection des mouvements des pieds, des bras ou des mâchoires. La configuration peut parfois être complexe.
Nous examinons la configuration.
Voici une configuration typique. Elle comporte six capteurs. Dans notre ensemble de données, nous en avions douze. Vous voyez ici un brassard de tensiomètre. Des éléments sont fixés sur la poitrine pour la respiration. Des capteurs de transpiration sont également présents. La configuration est très variable, il faut donc penser à des personnes de tailles différentes. Le résultat est-il identique à chaque fois ? Est-ce reproductible ?
Je pense que si je mets mon chapeau d'ingénieur des procédés, car c'est mon domaine, je verrais que c'est un domaine très variable. Ces types connaissent-ils seulement l'analyse des systèmes de mesure, la R&R des instruments de mesure ?
Malheureusement non.
Non, malheureusement non. Vous avez mentionné que nous avions 12 capteurs, donc il y a même quoi ? Mouvement des pieds, mouvement du siège. Tous les capteurs sont connectés ici.
Le polygraphiste est libre de choisir sa technique d'interrogation, depuis le début des mesures jusqu'à la technique pertinente et non pertinente. En résumé, les questions pertinentes sont liées à l'objet sur lequel on essaie de démasquer le menteur. Les questions non pertinentes n'ont rien à voir avec cela. On pensait que les pics se produiraient sur les questions pertinentes, et non sur les questions non pertinentes. C'était faux. C'est vraiment imparfait, car les gens sont humains. Ils sont anxieux d'être connectés à tous ces équipements. Il y a tout ce bruit dans les données.
Ils sont venus et ont développé la technique des questions de contrôle, qui utilise toujours des questions pertinentes et non pertinentes, mais ils ajoutent des questions de contrôle dont ils connaissent les réponses, en utilisant cela comme base de comparaison avec les questions pertinentes et non pertinentes.
Il existe une autre technique. Imaginons que quelqu'un assassine quelqu'un et vole quelque chose. Ils utilisent la technique de dissimulation d'informations, car elle permet de déterminer précisément ce qu'ils cherchent à découvrir si la personne ment. Mais bonne nouvelle : nous n'avons pas de meurtriers dans cet État.
Très bien. J'allais vérifier. On ne va pas accuser de meurtre ici.
Pas aujourd'hui. Le polygraphiste peut choisir différentes techniques. Il peut combiner les méthodes. Tout dépend du polygraphiste. Dans notre ensemble de données, nous allons examiner la technique CQT.
CQT avec 12 capteurs. Voyons voir à quoi ressemblent ces données ?
Voyons voir. Voici un graphique généré par le logiciel de tous les capteurs. Chaque capteur possède sa propre courbe. Vous pouvez voir que nous avons mis en évidence la respiration cardio-transpiration. Les barres vertes et grises indiquent les endroits où les examinateurs posent des questions. Les barres grises et vertes indiquent les endroits où la personne a effectivement répondu à la question.
Il existe plusieurs façons d'analyser ces courbes dans le logiciel. L'une d'elles est un algorithme standard, mais c'est une véritable boîte noire. On ne sait pas ce qui se passe à l'intérieur. On ne sait pas ce qu'ils utilisent. De plus, l'examinateur peut se forger sa propre opinion en s'appuyant sur des observations acquises grâce à sa formation professionnelle.
Avec les globes oculaires.
Ce qu'ils font, c'est qu'ils y vont, ils observent les pics et les vallées et font leur propre évaluation personnelle basée sur une formation formelle, que cela soit significatif ou non.
Le timing de ces zones, les examinateurs le font aussi à l'œil nu ?
Les examinateurs appuient en fait sur la barre d'espace lorsqu'ils pensent avoir commencé la question, lorsqu'ils l'ont terminée et lorsqu'ils pensent que la personne a commencé à répondre et a terminé de répondre.
J'ai peur. Il y a trop de choses. Je ne confierai ni ma vérité ni mes mensonges à ce type.
Il y a beaucoup de variabilité ici.
Et les résultats ? À quoi ressemblent-ils ?
Lorsqu'ils examinent et notent l'ensemble de données, ils attribuent une note de -2 à 2 par incréments de 1, 2 étant le plus sévère. On constate qu'ils ont posé ces questions trois fois dans un ordre aléatoire. Ils essaient d'intégrer un mode aléatoire pour atténuer la variabilité. Ensuite, ils prennent ces chiffres et les additionnent pour déterminer s'il s'agit d'une vérité ou d'un mensonge, en se basant sur ces chiffres subjectifs.
C'est leur propre score ?
Il s’agit de leur propre méthode de notation basée sur leur formation professionnelle.
Voilà ce que je sens. Je sens l'erreur humaine.
Absolument. Ensuite, l'algorithme dont j'ai parlé précédemment, voici le rapport que vous verriez, et il indique si c'est vrai ou faux. On voit qu'il y a des multinominaux, des probabilités et des termes statistiques sophistiqués. Il se passe quelque chose en coulisses, mais nous ne savons pas vraiment ce que c'est.
Inconnu. Nous avons un examinateur qui effectue ses propres ajustements. Je ne sais pas. Je pense que nous pourrions faire mieux avec JMP Pro Tools pour essayer de supprimer cette variation humaine. Qu'en pensez-vous ?
Je pense que je suis d'accord.
Approche alternative et JMP. Cette diapositive présente le flux de travail dans ses grandes lignes. Bien sûr, la plupart des analyses, toutes, doivent commencer par un nettoyage et une visualisation. Nous allons examiner certains des défis auxquels nous avons dû consacrer beaucoup de temps, notamment cette étape de nettoyage après la visualisation.
Nous disposons de nombreux capteurs, comme je l'ai mentionné. Lesquels sont importants ? Lesquels sont importants ? Nous avons examiné la plateforme de sélection des prédicteurs pour tenter de les éliminer.
J'ai parlé à Megan de Functional Data Explorer et de l'analyse des capteurs de courbes. Je pense que cet outil est la meilleure invention depuis l'invention du pain en tranches. J'étais sûr que ce serait un succès. Nous allions trouver une solution au fur et à mesure, mais cela s'est avéré peu utile. C'est l'un des outils que nous avons essayé d'utiliser. J'en parlerai plus en détail dans un instant.
Suite à la rupture de FTE, nous avons étudié la plateforme de criblage de modèles, une solution particulièrement intéressante car elle permet d'inclure une multitude de modèles prédictifs et de laisser JMP déterminer celui qui correspond le mieux. Une fois notre modèle le plus adapté, il est important de le préciser : nous disposions d'un ensemble de données de contrôle contenant des questions de vérité et de mensonge connues. C'est ce que nous utilisons dans la plateforme de criblage de modèles pour déterminer notre meilleur modèle. Nous avons ensuite appliqué ce modèle à des données réelles, dont nous ne savions pas s'il s'agissait de vérité ou de mensonge.
À ce stade, ces données n'ont rien donné. Nous avons utilisé notre meilleur modèle et l'avons appliqué aux données réelles. Examinons de plus près le workflow que nous avons utilisé et certaines plateformes, puis nous pourrons faire une démonstration. Bien sûr, nous avons dû importer les données. Je reviendrai plus en détail sur le nettoyage. J'ai utilisé des distributions, sans aucun doute, pour comprendre les différents graphiques. Megan a mentionné que nous avions trois individus, plusieurs graphiques. Nous avons analysé les données, mais l'essentiel était d'analyser les tendances des capteurs et de voir à quoi elles ressemblent dans Graph Builder.
Comme je l'ai mentionné, nous utilisons la plateforme de sélection des prédicteurs pour déterminer ceux qui sont significatifs et importants. C'est un simple aperçu. Nous avons constaté que l'activité physique, le cardio, les mouvements des pieds et des fesses étaient les plus significatifs. En fait, les glandes sudoripares et le cardio semblent être très importants dans la littérature scientifique. Ils semblent être les plus importants. JMP est d'accord avec cela.
Même sans rien savoir de tout cela, nous avons trouvé ces signaux, ce qui est plutôt encourageant. Nous n'avions pas vraiment besoin de tout savoir.
Exactement.
Si vous ne savez pas ce que c'est, pensez à ces capteurs courbes. Ce sont de simples points. Cette plateforme ajuste une spline. Nous l'appelons un modèle fonctionnel, mais elle ajuste cette spline à chacune de ces courbes spécifiques. L'objectif est d'analyser l'influence de certaines de ces entrées sur la courbe entière, par rapport à l'analyse effectuée par l'examinateur. Je vais y jeter un œil. Je pense que c'est plus haut. L'objectif était de détecter un signal sur toute la forme.
Voici à quoi cela ressemblerait à la fin. Vous verrez ceci. Voici le signal des glandes sudoripares au fil du temps. Je le fais alterner entre mensonge et vérité. Nous observons ce signal. Malheureusement, on ne voit pas de structure répétée ici. J'ai commencé à avoir l'impression que c'était du bruit. Nous donnerons un exemple dans la démonstration.
Comme nous l'avons mentionné, l'EDF n'a pas connu le succès escompté. Nous avons examiné la plateforme de sélection de modèles. Comme je l'ai mentionné, il existe une multitude de modèles. L'arbre optimisé s'est avéré particulièrement significatif. De plus, cette plateforme offre une multitude d'options d'analyse. C'est vraiment formidable. Nous avons particulièrement affiné le seuil de décision, car nous cherchions à déterminer s'il était plus important d'avoir un menteur qui a dit la vérité ou un menteur qui a dit la vérité. Nous analysons les faux positifs et les faux négatifs.
Nous pensions ne pas pouvoir vraiment déterminer lequel était le plus important. Nous souhaitions choisir un seuil de décision minimisant les deux. Finalement, ce seuil était de 0,55. Sur les graphiques, comme vous pouvez le voir en rouge et en vert, le rouge correspond à l'erreur de classification et le vert à la bonne. Une fois ce modèle établi, nous l'avons intégré à nos données réelles pour le valider.
Pourquoi ne pas abandonner JMP et passer en revue quelques points clés de ce workflow ? JMP. Voici le tableau de données brutes. Rappelez-vous, première étape : nous voulions faire de la visualisation. Je vais ouvrir Graph Builder. J'ai un sélecteur de colonnes qui permet de passer d'un capteur à l'autre. Au début, nous parcourions ces signaux pour nous faire une idée : certains présentent une structure particulière, ressemblent-ils à du bruit ? Ce genre de choses.
Il y avait un signal. Nous avons mentionné la glande sudoripare. Si j'arrête et que je passe à la glande sudoripare, et vous aurez une idée ici, ce filtre de données locales, vous avez vos trois individus et vos trois graphiques. C'est intéressant d'essayer de comprendre le temps. L'examinateur a commencé le test et a parcouru le temps jusqu'ici. Nous avons dû déterminer la séquence de ces éléments.
Le principal défi consistait ensuite à décomposer les données et à trouver le point de départ et d'arrivée de chacun de ces capteurs. C'est grâce à la plateforme Functional Data Explorer. Pour l'utiliser, je dois fragmenter ces courbes et les placer toutes sur le même axe des abscisses. Nous avons dû effectuer un important travail de nettoyage. Vous remarquerez également que si j'intègre cette tendance, je commence à m'interroger sur la métrologie. Il se passe quelque chose. Quelque chose dérive.
Voyons voir. Si l'on ajoute des individus, on commence à observer des moyennes et même des comportements différents. Je suis sceptique quant au système de mesure actuel et à son fonctionnement. C'est un signal que nous avons intégré à FDE pour voir si cela fonctionnerait. Examinons la plateforme FDE.
Nous avons fait de notre mieux. Nous avons analysé tous ces différents signaux sur cette plateforme. Ensuite, je voulais vraiment retravailler l'analyse des glandes sudoripares de A à Z, afin que les utilisateurs puissent découvrir le fonctionnement de cet outil et les difficultés rencontrées. Je vais retravailler l'analyse de A à Z. Je vais analyser la modélisation spécialisée, puis j'utiliserai Functional Data Explorer.
Maintenant, ma sortie est mon capteur. Je vais récupérer la glande sudoripare brute ; l'entrée X correspond à notre temps. L'ID de fonction correspond à l'ID d'exécution. JMP doit connaître chaque courbe unique que nous avons découpée avec des variables supplémentaires. Nous voulons déterminer si la vérité ou le mensonge influence cette courbe. Y a-t-il autre chose à ajouter ?
Je pense que c'est individuel.
C'est probablement le cas. C'est un effet aléatoire.
Exactement.
Je vais ajouter des données individuelles ici. Ensuite, je clique sur OK. Dès le départ, vous devez effectuer une visualisation sur cette plateforme. Vous verrez ce changement de base. Le signal est faible lorsque vous examinez chaque donnée brute. Nous avons essayé de nombreux outils de transformation et de nettoyage, jusqu'à l'épuisement.
Par exemple, ici, dans cette image spectrale, nous avons effectué une correction de base. Nous y avons ajouté un ajustement linéaire. Vous verrez l'impact. Nous sommes capables… Tout se déplace vers une échelle commune. On commence à voir apparaître des caractéristiques et des signaux. Je crois que nous avons même essayé une variante normale unique. On commence à voir des signaux, mais le problème est que… Nous sommes loin du signal initial. Nous nous éloignons toujours plus.
Cela commence à ressembler à du bruit. Si je reviens et que je regarde mon profileur EA brut uniquement, si je le fais exploser après beaucoup de temps et d'efforts, je le ferme. Vous verrez ici. Voici mon signal EA brut, une glande sudoripare. Au fil du temps, je peux alterner entre vérité et mensonge. Ensuite, lorsque je change d'individu, je commence à ne plus vraiment percevoir de caractéristiques uniques.
À titre de comparaison, je vais vous montrer un bon modèle de FDE, pour que vous ayez une idée de ce à quoi cela devrait ressembler. Il s'agit de la déformation contrainte de l'aluminium. Je ne vais ici montrer que le profileur. Cet exemple est issu d'une expérience planifiée étudiant la déformation contrainte des alliages d'aluminium.
Voici à quoi nous devrions ressembler. Il y avait des variations importantes selon la température et les différents types d'échantillons. Vous pouvez voir que lorsque j'active cette option, ma contrainte-déformation est répétable. Je vois des caractéristiques uniques. En descendant ici, je commence à voir une caractéristique unique qui semble différente. Nous n'obtenions tout simplement pas cela avec l'EDF. Nous sommes même allés jusqu'à exporter les FPS et utiliser les outils de modélisation prédictive. Cela n'a pas donné un bon modèle. Nous avons essayé. Megan, je pensais que ce serait la meilleure innovation depuis l'invention du pain en tranches. Alors je l'ai fait.
Nous l'avons fait. Nous avons passé beaucoup de temps-
Où allons-nous à partir d’ici ?
Je pense que nous utilisons la plateforme de criblage de modèles de JMP.
Très bien. Allons-y. Je te laisse partager.
Super. Merci Clark. Comme tu l'as dit, nous avons finalement opté pour la plateforme de criblage de modèles. Nous avons finalement utilisé les quatre principales entrées issues du criblage prédictif : cardio, EA, mouvement du siège et mouvement des pieds. Je vais te montrer comment configurer cela. Tu vas utiliser le criblage de modèles de modélisation prédictive.
Nous essayons de déterminer la vérité ou le mensonge. Ensuite, nous allons examiner les quatre entrées de capteurs qui se sont avérées significatives : mouvement brut du siège, mouvement des pieds, cardio. Parfait. Vous pouvez voir ici, en bas, grâce à toutes les options disponibles. Nous avons tout examiné. Pour cela, je configurerais simplement l'arbre boosté. Ensuite, nous avons également effectué une validation k-fold. L'exécution prend du temps. Je vais aller voir. J'ai déjà exécuté cette méthode pour gagner du temps. C'est parti.
Comme je l'ai mentionné précédemment, cette plateforme offre une multitude de techniques d'analyse. Nous nous sommes concentrés sur ce seuil de décision. Comme je l'ai mentionné, nous avons essayé de minimiser la quantité de rouge. Comme vous pouvez le constater, à mesure que je progresse le long du seuil de probabilité de vérité, celui-ci change. Nous voulions aller exactement à l'intersection des deux courbes, ce qui minimise le nombre d'erreurs de classification, qu'il s'agisse de faux positifs ou de faux négatifs.
Nous avons utilisé 0,55. Ensuite, nous avons pu exporter les formules de prédiction. Pour cela, il suffit d'accéder au triangle rouge, puis d'enregistrer les colonnes et la formule de prédiction. Voici ce que nous avons ensuite importé dans le jeu de données réel. Très bien, Clark, tu veux…
Revenons-en à nos moutons. Voici les données réelles, et vous verrez que nous avons quatre questions. Le flux était similaire. Trois graphiques différents, n'est-ce pas, Megan ?
Oui.
Ils ont examiné les données, nous avons fait cela. Ils ont réorganisé le tout. Nous avons transféré ces formules. Elles se trouvent à la fin du tableau de données. Voici nos formules. Ensuite, voici notre classification la plus probable. Ensuite, nous avons débattu de la méthode la plus simple pour classer nos individus A, B et C. Disent-ils la vérité ou mentent-ils ?
J'ai simplement fait un décompte simple, en prenant chaque individu, puis chaque question. Nous avons effectué le décompte par question et par individu. Si nous regardons cela, je reviens à notre présentation. La question clé est : qui est Pinocchio ? Voici ce que nous avons obtenu, une simple évaluation de ces trois individus, avec des données inédites.
Rappelez-vous ce seuil : c’est le rapport entre mensonge et vérité. Au-delà de 50 %, la probabilité de mentir augmente. Megan, voici ma conclusion : j’ai obtenu A, qui dit la vérité, et B et C, qui mentent. Ai-je raison ? Avons-nous pu prédire cela ?
Bien. Nous avons associé les examinateurs et les algorithmes du logiciel.
Nous l’avons fait sans aucun jugement humain.
Absolument.
C'est ce que j'appelle. Si on résume tout ça, je pense que c'est l'un des principaux enseignements. Ce ne sont pas que des mensonges, mais des statistiques. Avec les méthodes de Pro Tools, si on pouvait éliminer tout cet aspect humain et tout jugement, je m'inscrirais peut-être au polygraphe. En l'état actuel des choses, je ne le ferais pas. Qu'en penses-tu, Megan ?
L'autre avantage est le temps d'analyse. Cela lui prenait des jours, et nous, nous l'avons réduit à quelques minutes, ce qui nous permet de gagner plus d'argent. On aime tous avoir plus d'argent, alors on ne peut pas le contredire.
Oh, absolument. En nous arrêtant là, nous avons examiné l'état actuel de la méthode et de l'algorithme de test. Comment pouvons-nous l'améliorer ? Quelles seraient nos prochaines étapes ?
L'étape suivante est un plan d'expérience (DOE). Nous devons le mettre en place avec différentes personnes, différents capteurs et différentes configurations. Il faut également tenir compte du temps que l'examinateur prend pour poser la question et pour que la personne y réponde. Ces zones grises et vertes qu'il observe sont très variables. Nous examinerons également cela.
On revient à la case départ ? Avec toute cette modélisation prédictive, on revient aux plans d'expériences. Pour moi, je ne suis pas ingénieur des procédés. C'est par là qu'on aurait dû commencer. Oui, on devrait s'y mettre. Faire ou ne pas faire de plans d'expériences, la question n'est pas là. On a abordé ce sujet dans Discovery l'année dernière. Je pense que c'est tout, c'est terminé pour aujourd'hui. On passe aux questions.
