Benvenuti a tutti e grazie per essere qui con noi. Per qualche bugia, altre bugie o semplicemente statistiche, oggi guarderemo un film di "Bugiardo bugiardo". Sto scherzando. Un breve riassunto di come siamo arrivati fin qui: sono Clark Ledbetter, sono un ingegnere di sistema, e anche Megan Pennington di StatSense, esperta di statistica, è con noi.
Per darvi un po' di contesto, ho incontrato Megan allo Y-12 quando mi occupavo di governo federale. Se siete fan di Oppenheimer, saprete che lo Y-12 produce tutto il nostro uranio arricchito U-235. Stavamo chiacchierando l'anno scorso, quando abbiamo avuto un incontro in loco, e le ho chiesto della sicurezza allo Y-12. Come si svolgono i colloqui e tutto il resto? Megan, hai detto che usate i dati del poligrafo.
Sì, abbiamo un poligrafo per la verifica dei precedenti.
Ero tipo, ero sbalordito. Pensavo, dati del poligrafo. Eh? Sarebbe interessante darci un'occhiata, per vedere se possiamo fare qualcosa. Perché penso che tutta questa storia del poligrafo sia volgare e poco chiara. Troppo intervento umano qui. Megan, cosa abbiamo come dati?
Non riceverai i dati del poligrafo di Y-12, ma, per una questione di praticità, ho un cliente che esegue effettivamente il poligrafo, quindi oggi daremo un'occhiata al suo set di dati.
Bene. Fantastico. Passiamo alla diapositiva successiva.
Lo scopo del poligrafo è cercare di determinare se qualcuno sta mentendo registrando i sintomi fisiologici, perché il concetto è che quando c'è stress nel corpo, si vedranno questi picchi nei sintomi fisiologici. Sono necessari sensori di rilevamento di base, come la pressione sanguigna, la sudorazione cardiaca. È possibile aggiungere tutti i sensori che si desidera. Cose come il rilevamento del movimento dei piedi, del braccio, del digrignamento dei denti. La configurazione può diventare complessa.
Diamo un'occhiata alla configurazione.
Questa è una configurazione tipica. Ha sei sensori. Nel nostro set di dati, vedrete che ne avevamo 12. Qui potete vedere un bracciale per la pressione sanguigna. Avete i sensori sul petto per la respirazione. Avete i sensori per il sudore. C'è molta variazione quando si imposta questo, bisogna pensare a persone di corporatura diversa. Si ottiene lo stesso risultato ogni volta? È ripetibile?
Penso che se indossassi il cappello da ingegnere di processo, perché è da lì che provengo, questo sarebbe pieno di variazioni. Ma questi ragazzi sanno almeno qualcosa di analisi dei sistemi di misura, R&R degli strumenti di misura?
Purtroppo no.
No, purtroppo no. Hai detto che abbiamo 12 sensori, quindi cosa c'è? Movimento dei piedi, movimento del sedile. Abbiamo tutti i sensori collegati qui.
L'esaminatore del poligrafo è libero di scegliere la propria tecnica di interrogazione fin dall'inizio delle misurazioni del poligrafo, fino alla tecnica irrilevante pertinente, con cui ha iniziato. In sostanza, le domande pertinenti sono legate alla cosa su cui si sta cercando di capire che stanno mentendo. Le domande irrilevanti non hanno nulla a che fare con questo. L'idea era: beh, vedremo picchi nelle domande pertinenti e non in quelle irrilevanti. Non era vero. È davvero sbagliato perché le persone sono umane. Sono ansiose di essere collegate a tutta questa apparecchiatura. C'è tutto questo rumore nei dati.
Hanno sviluppato la tecnica delle domande di controllo, che utilizza ancora domande pertinenti e irrilevanti, ma aggiungono domande di controllo di cui conoscono la risposta, usandole come base di riferimento per il confronto con le domande pertinenti e irrilevanti.
Poi c'è un'altra tecnica. Diciamo che qualcuno uccide qualcuno, ruba qualcosa. Useranno la tecnica dell'informazione nascosta perché individua esattamente ciò su cui stanno cercando di capire se la persona sta mentendo. Ma la buona notizia è che non ci sono assassini in questo stato.
Va bene. Stavo per controllare. Non stiamo portando nessun omicidio sul banco dei testimoni.
Non oggi. L'esaminatore del poligrafo può scegliere diverse tecniche. Può combinare e abbinare i metodi. Dipende tutto dall'esaminatore. Nel nostro set di dati esamineremo la tecnica CQT.
CQT con 12 sensori. Vogliamo dare un'occhiata a come appaiono questi dati?
Diamo un'occhiata. Questo è un output grafico che proviene dal software di tutti i sensori. Ogni sensore avrà la sua curva. Come potete vedere, abbiamo evidenziato il sudore respiratorio. Le barre verde e grigia indicano dove gli esaminatori pongono le domande. Le barre grigia e verde indicano dove la persona ha effettivamente risposto alla domanda.
Ci sono un paio di modi per analizzare queste curve nel software. Uno è un algoritmo standard nel software, ma in realtà è una scatola nera. Non sappiamo cosa diavolo stia succedendo lì dentro. Non sappiamo cosa stiano usando. Inoltre, l'esaminatore può formulare il proprio giudizio basandosi su occhi esperti, frutto della sua formazione professionale.
Con i bulbi oculari.
Ciò che fanno è entrare lì, osservare i picchi e le valli e fare la loro valutazione personale basata sulla formazione formale, che sia significativa o meno.
La tempistica di queste zone, gli esaminatori la misurano anche a occhio?
Gli esaminatori premono effettivamente la barra spaziatrice quando ritengono di aver iniziato la domanda, quando hanno terminato e quando ritengono che la persona abbia iniziato a rispondere e abbia terminato di rispondere.
Ho paura. C'è troppo. Non metterò la mia verità o la mia bugia nelle mani di quest'uomo.
Qui c'è molta variabilità.
E i risultati? Come sono?
Quando analizzano e valutano il set di dati, assegnano una valutazione da -2 a 2 con incrementi di uno, dove due è il punteggio più alto. E si può vedere che in realtà hanno posto queste domande tre volte diverse in ordine casuale. Stanno cercando di introdurre un po' di casualità per ridurre la variabilità. Poi prendono questi numeri e li sommano per stabilire se si tratta di verità o menzogna, basandosi su questi numeri soggettivi.
Questo è il loro punteggio?
Si tratta del loro metodo di punteggio basato sulla loro formazione professionale.
Ecco cosa sento. Sento odore di errore umano.
Assolutamente. Poi l'algoritmo di cui parlavo prima, questo è il report che vedreste, e indica se è vero o falso. Potete vedere che hanno un po' di multinomiale, un po' di probabilità e qualche termine statistico elaborato. C'è qualcosa che sta succedendo dietro le quinte, ma non sappiamo davvero cosa.
Sconosciuto. Abbiamo un esaminatore che sta effettuando la sua correzione. Non lo so. Penso che potremmo fare di meglio con JMP Pro Tools per cercare di rimuovere questa variante umana. Cosa ne pensi?
Penso di essere d'accordo.
Approccio alternativo e JMP. Quello che volevamo fare in questa diapositiva è semplicemente illustrare ad alto livello il flusso di lavoro. Naturalmente, la maggior parte delle analisi, tutte le analisi, dovrebbero iniziare con una pulizia e una visualizzazione. Esamineremo alcune delle sfide che abbiamo dovuto affrontare e, in particolare, questa fase di pulizia, in realtà, dopo questa visualizzazione.
Abbiamo molti sensori, come ho detto. Quali sono significativi? Quali sono importanti? Abbiamo esaminato la piattaforma di screening predittivo per cercare di eliminarli.
Ho parlato a Megan di Functional Data Explorer e dell'analisi dei sensori di curva. Penso che questo strumento sia la cosa migliore dai tempi del pane a fette. Ero sicuro che sarebbe stato un successo. Saremo in grado di capire qualcosa man mano che andiamo avanti, il che si è rivelato non molto utile. Questo è uno degli strumenti che abbiamo provato a utilizzare. Ne parlerò più approfonditamente tra poco.
Da quando FTE si è rotto, abbiamo preso in considerazione la piattaforma di screening dei modelli, che si è rivelata davvero utile perché consente di includere tonnellate di modelli predittivi e di lasciare che JMP decida quale sia effettivamente il più adatto. Una volta ottenuto il modello più adatto, ed è importante sottolinearlo, avevamo un set di dati di controllo con domande a risposta nota e a risposta nota, che è ciò che utilizziamo nella piattaforma di screening dei modelli per determinare il nostro modello migliore. Poi abbiamo preso quel modello e lo abbiamo applicato a dati reali, di cui non sapevamo se fossero veri o falsi.
In questa fase, quei dati non hanno mai visto nulla. Abbiamo preso il nostro modello migliore e lo abbiamo confrontato con i dati reali. Diamo un'occhiata ad alto livello, a questo flusso di lavoro che abbiamo analizzato e ad alcune piattaforme, e poi possiamo fare una piccola dimostrazione. Ovviamente, abbiamo dovuto importare i dati. Parlerò ancora un po' della pulizia. Ho sfruttato un po' la distribuzione. Sicuramente le distribuzioni per cercare di comprendere i vari grafici. Megan ha detto che avevamo tre persone, più grafici. Abbiamo analizzato attentamente, ma il nocciolo della questione era osservare i trend di questi sensori e il loro aspetto in Graph Builder.
Come ho detto, utilizziamo la piattaforma di screening predittivo solo per cercare di capire quali siano significativi e importanti. È semplicemente uno sguardo. Abbiamo visto che EA, cardio, movimento del piede e del sedile erano i più significativi. In realtà, le ghiandole sudoripare e il cardio sembrano essere davvero significativi in letteratura in generale. Sembrano essere i più importanti. JMP concorda.
Anche senza sapere nulla di tutto questo, abbiamo trovato quei segnali, il che è piuttosto incoraggiante. Non avevamo davvero bisogno di sapere tutte quelle cose.
Esattamente.
Ora, la piattaforma Functional Data Explorer, se qualcuno non lo sapesse, pensate a questi sensori curvi che stiamo ottenendo. Sono essenzialmente solo punti. Ciò che questa piattaforma fa è adattare essenzialmente una spline. Lo chiamiamo modello funzionale, ma adatta questa spline a ciascuna di quelle curve uniche. L'obiettivo è esaminare alcuni di questi input, come modificano l'intera curva rispetto a ciò che stava facendo l'esaminatore. Darò un'occhiata. Penso che sia più alto. L'obiettivo qui era se potessimo rilevare un segnale nell'intera forma.
Ecco come apparirebbe alla fine. Lo vedrete. Questo è il segnale delle ghiandole sudoripare nel tempo. Lo sto alternando tra bugia e verità. Stiamo osservando quel segnale. Sfortunatamente, il segnale... non vedete una struttura ripetuta qui. Ho iniziato a percepire che si trattasse di rumore. Faremo un esempio nella demo.
Come abbiamo detto, FDE non ha avuto il successo sperato. Abbiamo esaminato la piattaforma di screening dei modelli. Come ho detto, è possibile scegliere tra un'ampia gamma di modelli. Ciò che si è rivelato davvero significativo è stato l'albero potenziato. E poi si può vedere che questa piattaforma offre tantissime opzioni analitiche. È davvero fantastico. Ci siamo concentrati molto sulla soglia decisionale perché stavamo cercando di capire se fosse più importante avere qualcuno che ha mentito e ha detto la verità o qualcuno che ha detto la verità e ha mentito. Stiamo esaminando quei falsi positivi e falsi negativi.
Pensavamo di non riuscire a decidere quale fosse più importante dell'altro. Volevamo scegliere una soglia decisionale che minimizzasse entrambi. In realtà, è risultata pari a 0,55. Potete vedere nei grafici in rosso e in verde: il rosso rappresenta l'errore di classificazione e il verde il punto in cui l'abbiamo ottenuto correttamente. Una volta ottenuto questo modello, lo abbiamo effettivamente inserito nel nostro set di dati reali per convalidarlo.
Perché non abbandoniamo JMP e analizziamo alcuni punti salienti di questo flusso di lavoro? Apriamo JMP. Ecco la tabella dei dati grezzi. Ricordate, il primo passo è stato fare un po' di visualizzazione. Aprirò Graph Builder qui. Ho un commutatore di colonne che passa da un sensore all'altro. Per iniziare, abbiamo esaminato questi segnali solo per farci un'idea: ne vediamo alcuni con una struttura unica? Sembra rumore? Quel genere di cose.
C'era un segnale. Abbiamo menzionato la ghiandola sudoripara. Se mi fermo e vado alla ghiandola sudoripara, e qui avrete un'idea, questo filtro dati locale, avete i vostri tre individui e i vostri tre grafici. È interessante cercare di capire in tempo reale. L'esaminatore ha iniziato il test e stava scorrendo a tempo attraverso questo punto. Dovevamo capire qual era la sequenza in ordine di questi.
Quindi la sfida principale è stata la scomposizione, trovare l'inizio e la fine per ciascuno di questi sensori. Questo con la piattaforma Functional Data Explorer in prima linea. Se vogliamo utilizzarla, devo suddividere queste curve e posizionarle tutte sullo stesso asse x. Abbiamo dovuto fare un sacco di lavoro di pulizia. Notate anche che se inserisco questa tendenza, questa inizia a farmi interrogare sulla metrologia. Qualcosa sta succedendo. Qualcosa si sta muovendo.
Diamo un'occhiata. Se aggiungiamo individui, iniziamo a vedere medie diverse e persino comportamenti diversi. Ho dei dubbi sul sistema di misurazione attuale e su come sta andando. Questo è un segnale che abbiamo inserito nell'FDE per vedere se avrebbe funzionato. Diamo un'occhiata alla piattaforma FDE.
Abbiamo fatto del nostro meglio. Abbiamo esaminato tutti questi diversi segnali su questa piattaforma. Poi, quello che volevo davvero fare era analizzare le ghiandole sudoripare da zero, in modo che la gente potesse vedere cosa fa quello strumento e cosa abbiamo incontrato. Lo farò da zero. Andrò ad analizzare la modellazione specializzata e poi a usare Functional Data Explorer.
Ora, il mio output è il mio sensore. Vado a prendere la ghiandola sudoripara grezza, l'input X è il nostro tempo. L'ID funzione è l'ID esecuzione. Informiamo JMP di ogni curva univoca che abbiamo dovuto analizzare per suddividere le variabili supplementari. Vogliamo vedere se la verità o la menzogna influenzano quella curva. C'è altro che dovremmo aggiungere?
Penso individualmente.
Probabilmente sì. È un effetto casuale.
Esattamente.
Lasciatemi aggiungere un singolo elemento qui. Poi clicco su OK. Fin dall'inizio, dovete passare attraverso una visualizzazione su questa piattaforma. Vedrete che questo è lo spostamento di base che vediamo. Non si vede molto segnale quando si inizia a esaminare ogni singolo elemento grezzo. Abbiamo provato molti strumenti di trasformazione e pulizia diversi fino all'esaurimento.
Ad esempio, qui in questo spettro abbiamo fatto una correzione della linea di base. Abbiamo aggiunto un adattamento lineare. Vedrete quale impatto ha. Siamo in grado... Tutto si sposta verso una scala comune. Si iniziano a vedere alcune caratteristiche e segnali. Credo che abbiamo anche provato una singola variante normale qui. Si iniziano a vedere segnali, ma la preoccupazione è cosa... Non siamo nemmeno vicini a quello che era il segnale originale. Continuiamo ad allontanarci.
Questo inizia a sembrare rumore. Se torno indietro e do un'occhiata al mio profiler EA raw only. Se lo faccio esplodere dopo tanto tempo e sforzi, lo chiudo. Vedrai qui. Ecco il mio segnale EA raw, una ghiandola sudoripara, col tempo posso alternare tra verità e bugia. Poi, passando da un individuo all'altro, inizio a non cogliere più caratteristiche uniche.
Giusto per fare un confronto, vi mostrerò un buon FDE, così avrete un'idea di come dovrebbe apparire. Questo è con sforzo/deformazione dell'alluminio. Qui mostrerò solo il profiler. Questo esempio è nato da un esperimento progettato per studiare lo sforzo/deformazione delle leghe di alluminio.
Ecco come dovremmo cercare. Hanno avuto una certa variazione da lotto a lotto, analizzando la temperatura e poi diversi tipi di campioni. Puoi vedere che, attivando questa opzione, la mia deformazione da sforzo è ripetibile. Vedo caratteristiche uniche. Scendo qui, posso iniziare a vedere una caratteristica unica che sembra diversa. Semplicemente non ottenevamo questo risultato con l'FDE. Siamo arrivati persino a esportare FPS e utilizzare gli strumenti di modellazione predittiva. Non ha prodotto un buon modello. Ci abbiamo provato. Megan, pensavo che sarebbe stata la cosa migliore dai tempi del pane a fette. Così ho fatto.
Lo abbiamo fatto. Abbiamo trascorso molto tempo-
Dove andiamo adesso?
Penso che utilizziamo la piattaforma di screening dei modelli di JMP.
Va bene. Facciamolo. Ti lascio condividere.
Fantastico. Grazie, Clark. Come hai detto, alla fine abbiamo optato per la piattaforma di screening del modello. Abbiamo utilizzato i quattro input principali che abbiamo trovato dallo screening predittivo, ovvero cardio, EA, movimento del sedile e movimento del piede. Ti mostrerò come impostare questo. Si passa allo screening del modello di modellazione predittiva.
Stiamo cercando di stabilire se è vero o falso. Poi esamineremo quei quattro input dei sensori che hanno effettivamente dimostrato di avere una certa rilevanza. Movimento grezzo del sedile, movimento del piede, cardio. Perfetto. Potete vedere qui sotto, con il metodo di tutte le opzioni disponibili. Abbiamo esaminato tutto. Per questo, imposterei semplicemente l'albero potenziato. Poi abbiamo effettivamente eseguito anche lì una convalida k-fold. Questa operazione richiede tempo. Ora vado qui. L'ho già eseguita per risparmiare tempo. Eccoci qui.
Come ho detto prima, ci sono tantissime tecniche di analisi analitica, cose che emergono da questa piattaforma. Ci siamo concentrati proprio su questa soglia decisionale. Come ho detto, stavamo cercando di ridurre al minimo la quantità di rosso, come potete vedere, man mano che mi muovo lungo la soglia di probabilità per la verità, questa cambia. Volevamo andare esattamente nel punto in cui le due curve si intersecavano, il che riduce al minimo il numero di classificazioni errate, falsi positivi o falsi negativi.
Siamo entrati qui e abbiamo usato 0,55. Una volta fatto questo, siamo stati in grado di esportare le formule di previsione. Andando al triangolo rosso, si va qui per salvare le colonne e salvare la formula di previsione. Quindi questo è ciò che abbiamo importato nel set di dati reale. Bene, Clark, vuoi...
Torno indietro e condivido di nuovo. Questi sono i dati reali, e vedrai che abbiamo quattro domande. Il flusso era ancora simile. Tre grafici diversi, corretto Megan?
SÌ.
Hanno esaminato attentamente le formule, le abbiamo fatte noi. Le hanno riordinate. Abbiamo riportato quelle formule. Sono in fondo alla tabella dei dati. Ecco le nostre formule. Poi ecco la nostra classificazione più probabile. Poi, da lì, abbiamo discusso su quale sarebbe stato il modo più semplice per classificare i nostri individui A, B e C. Stanno dicendo la verità o stanno mentendo?
Ho fatto un semplice conteggio in cui abbiamo inserito ogni individuo e poi ogni domanda. Stiamo contando all'interno delle domande all'interno dell'individuo. Se diamo un'occhiata, torniamo alla nostra presentazione. La domanda chiave è chi è Pinocchio. Ecco cosa abbiamo ottenuto come semplice valutazione di questi tre individui, dati nuovi di zecca.
Ricorda questa soglia, è il rapporto tra bugia e verità. Man mano che ti avvicini a questa soglia del 50%, la probabilità che tu stia mentendo inizia a cambiare. Megan, ecco qual è la mia conclusione. Ho ottenuto A, è una persona che dice la verità, e B e C, come bugiarda. Ho ragione? Siamo riusciti a prevederlo correttamente?
Giusto. Abbiamo abbinato gli esaminatori e gli algoritmi del software.
Lo abbiamo fatto senza alcun giudizio umano.
Assolutamente.
È quello che chiamo io. Se mettiamo fine a tutta questa storia, credo che questa sia una delle conclusioni più importanti. Non si tratta solo di bugie, ma di statistiche. Usando questi metodi in Pro Tools, se si potessero eliminare tutti gli aspetti umani e il giudizio, forse mi sottoporrei al poligrafo. Così com'è, non lo farei. Cosa ne pensi del rovescio della medaglia, Megan?
L'altro vantaggio è il tempo di analisi. Lui impiegava giorni, noi lo abbiamo ridotto a pochi minuti, il che ci ha fatto guadagnare più soldi. A tutti noi piace avere più soldi, quindi non si può discutere.
Oh, certo. A questo punto, abbiamo visto lo stato attuale del metodo e dell'algoritmo di test. Come possiamo migliorarlo? Quali sarebbero i nostri prossimi passi per migliorarlo?
Il passo successivo è un DOE, dobbiamo impostare il test con individui diversi, diverse configurazioni di sensori e diverse configurazioni. In pratica, consideriamo anche il momento in cui l'esaminatore ritiene opportuno, ovvero quando pone la domanda e quando l'individuo risponde. Quelle aree grigie e verdi in cui sta guardando. C'è molta variabilità. Considereremo anche questo.
Siamo tornati al punto di partenza? Tutta questa modellazione predittiva e torniamo alla progettazione degli esperimenti. Per quanto mi riguarda, non so di essere un ingegnere di processo. È da lì che avremmo dovuto iniziare. Sì, dovremmo farlo. Andare al DOE o non andare al DOE, questo non è un problema. Ne abbiamo parlato nel Discovery dell'anno scorso. Credo che sia tutto, per oggi è tutto. Ora apriamo la discussione alle domande.
