Bienvenidos a todos y gracias por acompañarnos. Para ver si hay mentiras, más mentiras o solo estadísticas, hoy vamos a ver una película de Mentiroso Mentiroso. Es broma. Les contaré un poco sobre cómo llegamos aquí: soy Clark Ledbetter, ingeniero de sistemas, y Megan Pennington, de StatSense, también nos acompaña.
Para darles un poco de contexto, conocí a Megan en Y-12 cuando cubría el gobierno federal. Si eres fan de Oppenheimer, sabrás que Y-12 produce todo nuestro uranio enriquecido U-235. Charlamos el año pasado cuando tuvimos una reunión en el sitio, y le pregunté sobre la seguridad en Y-12. ¿Cómo se realizan las entrevistas y todo eso? Megan, mencionaste que usan datos del polígrafo.
Sí, tenemos un polígrafo para la verificación de antecedentes.
Me quedé asombrado. Pensé: «Datos del polígrafo». ¿Eh? Sería interesante echarle un vistazo, a ver si podemos hacer algo. Porque creo que todo esto del polígrafo es bastante impreciso. Hay demasiada intervención humana. Megan, ¿qué datos tenemos?
No estás obteniendo los datos del polígrafo de Y-12, pero convenientemente tengo un cliente que realmente realiza polígrafos, así que hoy vamos a echar un vistazo a su conjunto de datos.
Muy bien. Genial. Pasemos a la siguiente diapositiva.
El objetivo de un polígrafo es determinar si alguien miente registrando síntomas fisiológicos, ya que la idea es que, cuando hay estrés en el cuerpo, se observan picos en estos síntomas. Se requieren sensores básicos de detección, como la presión arterial, la sudoración cardiovascular y la presión arterial. Se pueden agregar tantos sensores como se desee. Detectan, por ejemplo, el movimiento de pies y brazos, o el apretar la mandíbula. La configuración puede ser un poco complicada.
Echamos un vistazo a la configuración.
Esta es una configuración típica. Tiene seis sensores. Verán que en nuestro conjunto de datos teníamos 12 sensores. Aquí pueden ver un tensiómetro. Tienen dispositivos cruzados sobre el pecho para la respiración. También tienen sensores de sudor. Hay mucha variación al configurar esto; deben pensar en personas de diferentes tamaños. ¿Lo están usando siempre de la misma manera? ¿Es repetible?
Creo que si me pongo el sombrero de ingeniero de procesos, porque de ahí vengo, esto está plagado de variación. ¿Acaso estos tipos saben algo sobre análisis de sistemas de medición y R&R de medidores?
Lamentablemente, no.
No, lamentablemente no. Mencionaste que tenemos 12 sensores, así que ¿qué hay? Movimiento del pie, movimiento del asiento. Tenemos todos los sensores conectados aquí.
El examinador de polígrafo tiene libertad para elegir su propia técnica de preguntas desde el inicio de las mediciones poligráficas hasta la técnica relevante e irrelevante. Así es como comenzaron. Básicamente, las preguntas relevantes están vinculadas a lo que se intenta averiguar sobre lo que mienten. Las preguntas irrelevantes no tienen nada que ver con eso. La idea era: bueno, veremos picos en las preguntas relevantes, no en las irrelevantes. Eso no era cierto. Es realmente defectuoso porque las personas son humanas. Les preocupa estar conectadas a todo este equipo. Hay todo este ruido en los datos.
Llegaron y desarrollaron la técnica de preguntas de control, que todavía utiliza preguntas relevantes e irrelevantes, pero agregan preguntas de control cuyas respuestas conocen, usándolas como base en comparación con las preguntas relevantes e irrelevantes.
Luego hay otra técnica. Digamos que alguien asesina a alguien y roba algo. Usan la técnica de información oculta porque identifica exactamente lo que intentan averiguar si la persona miente. Pero tenemos buenas noticias: no tenemos asesinos en este estado.
Está bien. Iba a comprobarlo. No vamos a presentar ningún asesinato en el estrado.
Hoy no. El poligrafista puede elegir diferentes técnicas. Puede combinar métodos. Todo depende del poligrafista. En nuestro conjunto de datos, analizaremos la técnica CQT.
CQT con 12 sensores. ¿Veamos cómo se ven esos datos?
Veamos. Este es un resultado gráfico proveniente del software de todos los sensores. Cada sensor tendrá su propia curva. Como puede ver, hemos resaltado el sudor cardiovascular respiratorio. Las barras verde y gris indican dónde los examinadores hacen preguntas. Las barras gris y verde indican dónde la persona realmente respondió la pregunta.
Hay un par de maneras de analizar estas curvas en el software. Una es un algoritmo estándar, pero es una caja negra. No sabemos qué está pasando. No sabemos qué están usando. Además, el examinador puede formarse su propio juicio basándose en su experiencia profesional.
Con los globos oculares.
Lo que hacen es ir allí, observar los picos y los valles y hacer su propia evaluación personal basada en el entrenamiento formal, sea significativo o no.
La sincronización de estas zonas, ¿los examinadores lo hacen también a ojo?
Los examinadores realmente presionan la barra espaciadora cuando creen que han comenzado la pregunta, cuando la han terminado y cuando creen que la persona ha comenzado a responder y cuando ha terminado de responder.
Tengo miedo. Es demasiado. No voy a poner mi verdad ni mi mentira en manos de este tipo.
Hay mucha variabilidad aquí.
¿Qué tal los resultados? ¿Cómo se ven?
Al revisar y calificar el conjunto de datos, se otorga una calificación de -2 a 2 en incrementos de uno, siendo dos el más severo. Se puede ver que, de hecho, formularon estas preguntas tres veces en orden aleatorio. Intentan incorporar un método aleatorio para compensar la variabilidad. Luego, toman estos números y los suman para determinar si es verdad o mentira basándose en estos números subjetivos.
¿Esta es su propia puntuación?
Se trata de un método de puntuación propio basado en su formación profesional.
Esto es lo que huelo. Huelo a error humano.
Absolutamente. Luego, el algoritmo que mencioné antes, este es el informe que verían, e indica si es verdad o mentira. Pueden ver que tienen algo de multinomio, algo de probabilidad y algunos términos estadísticos sofisticados. Algo está sucediendo entre bastidores, pero realmente no sabemos qué es.
Desconocido. Tenemos un examinador que está haciendo su propio ajuste. No lo sé. Creo que podemos mejorar con JMP Pro Tools para intentar eliminar esta variación humana. ¿Qué opinas?
Creo que estoy de acuerdo.
Enfoque alternativo y JMP. En esta diapositiva, queríamos explicar a grandes rasgos el flujo de trabajo. Por supuesto, la mayoría de los análisis, todos ellos, deberían comenzar con una limpieza y una visualización. Analizaremos algunos de los desafíos que nos llevó mucho tiempo, y este paso de limpieza, de hecho, se produce después de esta visualización.
Como mencioné, tenemos muchos sensores. ¿Cuáles son significativos? ¿Cuáles son importantes? Analizamos la plataforma de análisis de predictores para intentar descartarlos.
Le he estado contando a Megan sobre Functional Data Explorer y el análisis de sensores de curva. Creo que esta herramienta es lo mejor desde que se inventó el pan de molde. Estaba seguro de que sería un éxito rotundo. Íbamos a poder encontrar soluciones sobre la marcha, pero resultó que no fue muy útil. Esta es una de las herramientas que intentamos usar. Hablaré un poco más sobre ello en breve.
Desde que FTE se disolvió, analizamos la plataforma de selección de modelos, que fue realmente excelente porque permite incluir una gran cantidad de modelos predictivos y dejar que JMP decida cuál se ajusta mejor. Una vez que obtuvimos el modelo que mejor se ajustaba, y es importante mencionarlo, contábamos con un conjunto de datos de control con preguntas de verdad y mentira conocidas, que es lo que usamos en la plataforma de selección de modelos para determinar nuestro mejor modelo. Después, tomamos ese modelo y lo aplicamos a datos reales, que desconocíamos si eran verdaderos o falsos.
En esta etapa, esos datos no se veían reflejados. Tomamos nuestro mejor modelo y lo aplicamos a los datos reales. Veamos a grandes rasgos el flujo de trabajo que seguimos y algunas plataformas, y luego podemos hacer una pequeña demostración. Por supuesto, tuvimos que importar los datos. Hablaré un poco más sobre la limpieza. Aproveché la distribución, sin duda distribuciones, para intentar comprender los distintos gráficos. Megan mencionó que teníamos tres personas y varios gráficos. Analizamos el proceso, pero lo importante fue observar las tendencias de los sensores y cómo se ven en Graph Builder.
Como mencioné, utilizamos la plataforma de análisis predictivo para determinar cuáles son realmente significativos e importantes. Es un análisis muy simple. Observamos que la EA, el cardio, el movimiento de pies y el movimiento del asiento fueron los más significativos. De hecho, las glándulas sudoríparas y el cardio parecen ser muy importantes en la literatura médica en general. Parecen ser los más importantes. JMP coincide con eso.
Incluso sin saber nada de esto, encontramos esas señales, lo cual es bastante alentador. En realidad, no necesitábamos saber todo eso.
Exactamente.
Ahora bien, la plataforma Functional Data Explorer, si no saben qué es, piensen en estos sensores curvos que tenemos. Son básicamente puntos. Esta plataforma ajusta una spline. Lo llamamos modelo funcional, pero ajusta esta spline a cada una de esas curvas únicas. El objetivo es observar cómo algunas de estas entradas modifican la curva completa en comparación con lo que estaba haciendo el examinador. Voy a echar un vistazo. Creo que es más alto. El objetivo era captar una señal en toda la forma.
Así es como se vería al final. Verán esto. Esta es la señal de las glándulas sudoríparas a lo largo del tiempo. La estoy alternando entre mentira y verdad. Estamos observando esa señal. Desafortunadamente, no ven ninguna estructura repetida aquí. Empezó a parecer ruido. Haremos un ejemplo en la demostración.
Como mencionamos, FDE no despegó tanto como esperábamos. Analizamos la plataforma de selección de modelos. Como mencioné, se puede elegir entre una gran variedad de modelos. Lo que realmente resultó significativo fue el árbol potenciado. Y luego pueden ver que esta plataforma ofrece muchísimas opciones analíticas. Es realmente genial. Nos centramos en el umbral de decisión porque intentábamos decidir si era más importante que alguien que mintiera dijera la verdad o alguien que dijera la verdad y mintiera. Estamos analizando esos falsos positivos y falsos negativos.
Pensamos que no podíamos decidir cuál era más importante que el otro. Queríamos elegir un umbral de decisión que minimizara ambos. Al final, resultó ser 0,55. Pueden ver en los gráficos en rojo y verde: el rojo representa la clasificación errónea y el verde la correcta. Una vez que obtuvimos este modelo, lo incorporamos a nuestro conjunto de datos reales para su validación.
¿Por qué no dejamos de lado JMP y repasamos algunos aspectos destacados de este flujo de trabajo? Abro JMP. Aquí está la tabla de datos sin procesar. Recuerden el primer paso: queríamos visualizar. Voy a abrir Graph Builder. Tengo un selector de columnas que alterna entre todos estos sensores. Para empezar, estábamos escaneando estas señales para hacernos una idea: ¿vemos alguna con una estructura única? ¿Parece ruido? Ese tipo de cosas.
Hubo una señal. Mencionamos la glándula sudorípara. Si detengo esto y voy a la glándula sudorípara, y tendrán una idea aquí, este filtro de datos local, tienen a sus tres individuos y sus tres gráficos. Es interesante intentar averiguarlo en tiempo real. El examinador comenzó la prueba y estaba corriendo en tiempo real por aquí. Tuvimos que averiguar cuál era la secuencia en orden.
El desafío clave fue dividir y encontrar el punto de inicio y fin de cada uno de estos sensores. Esto se hace con la plataforma Functional Data Explorer como prioridad. Si vamos a usar esto, necesito fragmentar estas curvas y colocarlas todas en el mismo eje x. Tuvimos mucho trabajo de limpieza allí. También se observa que, si introduzco esta tendencia, empiezo a cuestionarme sobre la metrología. Algo está pasando. Algo se está desviando.
Echemos un vistazo. Si añadimos individuos, empezamos a ver diferentes medias e incluso diferentes comportamientos. Dudo del sistema de medición actual y de cómo funciona. Esta es una señal que introdujimos en FDE para ver si funcionaba. Analicemos la plataforma FDE.
Hicimos todo lo posible. Analizamos todas estas señales en esta plataforma. Lo que realmente quería hacer era analizar las glándulas sudoríparas desde cero, para que la gente pudiera ver qué hace la herramienta y qué encontramos. Voy a hacerlo desde cero. Voy a usar el modelado especializado y luego el Explorador de Datos Funcionales.
Ahora, mi salida es mi sensor. Voy a tomar la glándula sudorípara sin procesar. La entrada X es nuestro tiempo. El ID de función es el ID de ejecución. Informa a JMP sobre cada curva única que tuvimos que segmentar con variables suplementarias. Queremos ver si la verdad o la mentira impactan esa curva. ¿Algo más que debamos agregar?
Pienso en el individuo.
Probablemente debería. Es un efecto aleatorio.
Exactamente.
Permítanme agregar a la persona aquí. Luego, haré clic en Aceptar. Desde el principio, deben revisar una visualización en esta plataforma. Verán que este es el cambio de línea base que observamos. No se observa mucha señal al revisar cada elemento sin procesar. Probamos muchas herramientas de transformación y limpieza diferentes hasta el agotamiento.
Por ejemplo, aquí en este espectral hicimos una corrección de línea base. Le añadimos un ajuste lineal. Verán el impacto. Podemos... Todo se reduce a una escala común. Empiezan a aparecer algunas características y señales. Creo que incluso probamos una variante normal única. Empiezan a ver señales, pero la preocupación es... Ni siquiera estamos cerca de la señal original. Simplemente nos alejamos cada vez más.
Esto empieza a parecer ruido. Si vuelvo y reviso mi perfilador de EA, solo sin procesar. Si lo fallo después de mucho tiempo y esfuerzo, lo cerraré. Lo verás. Aquí está mi señal de EA sin procesar: una glándula sudorípara. Con el tiempo, puedo alternar entre la verdad y la mentira. Luego, al alternar entre individuos, empiezo a no detectar características únicas.
A modo de comparación, les mostraré un buen FDE para que tengan una idea de cómo debería verse. Esto se hace con la tensión-deformación del aluminio. Aquí solo mostraré el perfilador. Este ejemplo surgió de un experimento diseñado para estudiar la tensión-deformación de aleaciones de aluminio.
Así es como deberíamos verlo. Había una variación de lote a lote al analizar la temperatura y luego diferentes tipos de muestras. Puedes ver que, al alternar esto, mi tensión-deformación es repetible. Veo características únicas. Al bajar, empiezo a ver una característica única que se ve diferente. Simplemente no lo conseguíamos con el FDE. Incluso llegamos al extremo de exportar los FPS y usar las herramientas de modelado predictivo. No obtuvimos un buen modelo. Lo intentamos. Megan, pensé que sería lo mejor desde que se inventó el pan de molde. Y así lo hice.
Lo hicimos. Pasamos mucho tiempo...
¿Hacia dónde vamos desde aquí?
Creo que utilizamos la plataforma de selección de modelos de JMP.
Está bien. Hagámoslo. Te dejo que lo compartas.
Genial. Gracias, Clark. Como dijiste, optamos por la plataforma de análisis de modelos. Usamos los cuatro datos principales que encontramos en el análisis predictivo: cardio, EA, movimiento del asiento y movimiento del pie. Te mostraré cómo configurarlo. Ve a la plataforma de análisis de modelos predictivos.
Intentamos determinar si es cierto o no. Luego, analizaremos las cuatro entradas de los sensores que demostraron tener cierta importancia: movimiento del asiento, movimiento del pie y cardio. Perfecto. Puedes ver aquí abajo el método de todas las opciones disponibles. Lo analizamos todo. Para esto, simplemente configuré el árbol potenciado. Luego, también realizamos una validación k-fold. Esto lleva tiempo. Voy a repasar esto. Ya lo he ejecutado para ahorrar tiempo. ¡Aquí vamos!
Como mencioné antes, existen muchísimas técnicas de análisis, elementos que surgen de esta plataforma. Nos centramos en este umbral de decisión. Como mencioné, intentábamos minimizar la cantidad de rojo; como pueden ver, a medida que me desplazo por el umbral de probabilidad de verdad, este cambia. Queríamos llegar exactamente a la intersección de las dos curvas, lo que minimiza el número de clasificaciones erróneas (falsos positivos o falsos negativos).
Entramos aquí y usamos 0.55. Una vez hecho esto, pudimos exportar las fórmulas de predicción. Para ello, irían al triángulo rojo, irían aquí para guardar columnas y guardar la fórmula de predicción. Esto es lo que trajimos al conjunto de datos real. Bien, Clark, quieres...
Permítanme volver al tema, lo compartiré de nuevo. Estos son los datos reales, y verán que tenemos cuatro preguntas. El flujo seguía siendo similar. Tres gráficos diferentes, ¿correcto, Megan?
Sí.
Revisaron lo que hicimos. Reordenaron eso. Incorporamos esas fórmulas. Está al final de la tabla de datos. Aquí están nuestras fórmulas. Y aquí está nuestra clasificación más probable. A partir de ahí, debatimos cuál sería la manera más sencilla de clasificar a nuestros individuos A, B y C. ¿Dicen la verdad o mienten?
Básicamente, hice un recuento simple donde teníamos a cada individuo y luego a cada pregunta. Estamos contando cada pregunta por individuo. Si revisamos eso, permítanme volver a nuestra presentación. La pregunta clave es quién es Pinocho. Esto es lo que obtuvimos como una evaluación simple de estos tres individuos: datos completamente nuevos.
Recuerda este umbral: es la proporción entre mentiras y verdades. A medida que te acercas a este umbral del 50%, la probabilidad de que mientas empieza a aumentar. Megan, mi conclusión es esta: obtuve A, es sincero, y B y C, mentiroso. ¿Tengo razón? ¿Pudimos predecirlo?
Correcto. Emparejamos a los examinadores con los algoritmos del software.
Lo hicimos sin ningún juicio humano.
Absolutamente.
Es lo que yo llamo. Si resumimos todo esto, creo que esa es una de las conclusiones más importantes. No son solo mentiras, sino estadísticas. Usando estos métodos en Pro Tools, si se puede eliminar todo el aspecto humano y el juicio, tal vez me sometería a un polígrafo. Tal como están las cosas, no lo haría. ¿Qué opinas de esto, Megan?
La otra ventaja es el tiempo de análisis. Él tarda días, y nosotros lo redujimos a minutos, lo que nos genera más dinero. A todos nos gusta ganar más dinero, así que no podemos discutirlo.
¡Claro! Al detenernos aquí, vimos el estado actual del método y algoritmo de prueba. ¿Cómo podemos mejorarlo? ¿Cuáles serían nuestros próximos pasos?
El siguiente paso es un DOE. Tenemos que configurarlo con diferentes individuos, diferentes configuraciones de sensores y diferentes configuraciones. Básicamente, también observamos el tiempo que el examinador considera necesario para hacer la pregunta y para responderla. Esas áreas grises y verdes que analiza. Hay mucha variabilidad. También la analizaríamos.
¿Hemos vuelto al punto de partida? Con todo este modelado predictivo, volvemos al diseño de experimentos. Para mí, no sé, soy ingeniero de procesos. Es por donde deberíamos haber empezado. Sí, deberíamos hacerlo. Aceptar o no aceptar el DOE, eso no es una cuestión. Ya lo abordamos en Discovery el año pasado. Creo que eso es todo, por hoy. Vamos a abrir el turno de preguntas.
