Si te perdiste la semana pasada Estadísticamente hablando con la galardonada y ampliamente publicada Christine Anderson-Cook, científica investigadora jubilada del Laboratorio Nacional de Los Álamos (LANL), se perdió un recorrido fascinante por la recopilación de datos diseñada, los macrodatos y sus sinergias. El potencial de la recopilación de datos diseñada para agregar más valor a los proyectos que involucran big data es significativo. De hecho, los asistentes estaban tan interesados en aprender más sobre este tema que no tuvimos tiempo de responder a todas sus preguntas interesantes. Entonces, se las enviamos a Christine, quien amablemente se tomó el tiempo de responderlas para esta publicación. Puede verla hablar y escuchar las preguntas que abordó en el grabación bajo demanda .
¿Cree que se pone demasiado énfasis en los datos de observación (y transaccionales), que suelen ser información escasa en comparación con la recopilación intencional de datos que pueden informar mejor las decisiones? ¿Esto se debe principalmente al "costo" de obtener más datos ricos en información?
Creo que, al principio, muchas empresas tenían la sensación de que “muchos datos pueden resolver todos los problemas”. Eso puede llevar a pensar que solo recopilar datos es una solución en sí misma. Sin embargo, ahora que el big data ha existido por un tiempo, muchas empresas pueden haber tenido algunas experiencias fallidas, donde los datos no han podido darles las respuestas que necesitan. Entonces, desafortunadamente, a medida que la realidad avanza, la experiencia podría ser uno de los maestros más convincentes de que los datos convenientes de bajo costo no son necesariamente más deseables que los datos elegidos intencionalmente más costosos.
En la parte de discusión del documento QREI [1] , Laura Freeman hizo una cita maravillosa sobre lo que sucede a menudo cuando los datos se recopilan sin intención: “El resultado final suele ser un analista exhausto y un tomador de decisiones decepcionado, porque los datos nunca se diseñaron para responder al problema que intentan abordar. ” [2] Para responder muchas preguntas específicas e importantes, no hay sustituto para hacer coincidir los datos con la pregunta de interés antes de recopilarlos.
La conclusión es que la dependencia de los datos de observación o transaccionales puede tener resultados mixtos. Si se recopila sin previsión o simplemente porque es conveniente, existe una mayor probabilidad de decepción que si los expertos del equipo de recopilación de datos son conscientes y planifican para qué se utilizarán los datos.
¿Conoce casos en los que el costo de medir algo excedió su beneficio?
He trabajado en algunos proyectos en LANL donde el costo de obtener los datos era muy alto, generalmente porque al principio se desconocía la forma de recopilar los datos deseados. En estos casos, a veces se necesita algo de investigación y desarrollo para poder obtener los datos que desea. Por supuesto, puede haber algunas decepciones ocasionales sobre lo que aprende de esos datos una vez que puede recopilarlos. Sin embargo, esa inversión podría tener una recompensa en el futuro para otra aplicación una vez que se haya desarrollado la nueva capacidad y se haya establecido la plataforma para la recopilación de datos. Si parece que podría estar en una situación como esta en la que será necesario gastar recursos para obtener un nuevo tipo de datos, es importante pensar realmente en los posibles beneficios para el proyecto actual y, a largo plazo, los riesgos de decepción, y si podría haber un sustituto alternativo donde se pueda obtener información similar más fácil o económicamente.
Muchas empresas más nuevas están promoviendo modelos prescriptivos para decirles a los experimentadores qué hacer a continuación. ¿Puede comentar sobre este enfoque de la experimentación en comparación con la creación de experimentos diseñados?
Los modelos prescriptivos definitivamente están emergiendo como un enfoque de referencia en varias áreas diferentes. Para aquellos que no estén familiarizados con lo que implican, aquí hay dos definiciones vagas que pueden ayudar a aclarar la distinción entre los modelos más tradicionales y estos en particular:
- Modelos predictivos pronosticar resultados para nuevas combinaciones de entrada basadas en un modelo estimado usando datos previos.
- Modelos prescriptivos hacer recomendaciones prácticas específicas sobre cómo responder a nuevos datos.
Las herramientas predictivas están diseñadas para ayudar con la comprensión, mientras que los modelos prescriptivos toman esa comprensión y la automatizan en acciones planificadas.
Creo que es importante recordar que los algoritmos detrás de los modelos prescriptivos son tan buenos como las personas que los crean. hannah freír [3] hace un trabajo magistral al hablar sobre las fortalezas y debilidades de la automatización con algoritmos y esfuerzos para sacar a los humanos del circuito.
Podría ser ventajoso considerar modelos prescriptivos para situaciones en las que el volumen o la velocidad requeridos para tomar la decisión (piense en el diseño adaptativo, donde los nuevos sujetos que esperan ser asignados a los tratamientos llegan de manera continua y frecuente) hacen que sea poco práctico para un tomador de decisiones humano. Mantenga. Dicho esto, creo que hay enormes ventajas en mantener el diseño de experimentos como una tarea guiada por un ser humano reflexivo. Las personas notan cuando las condiciones cambian con respecto al paradigma que se usó para configurar el experimento para el cual se diseñó el algoritmo. Los humanos son mejores para extraer conocimiento y aspectos clave del problema. Son mejores para encontrar soluciones que equilibren adecuadamente múltiples objetivos de la manera que mejor refleje las prioridades del estudio. Por lo tanto, mi recomendación es que el diseño de experimentos debe ser el punto de partida para la mayoría de los experimentos, pero si el experimento debe repetirse muchas veces o si la velocidad o el volumen lo dictan, entonces la experiencia obtenida de los experimentos iniciales podría traducirse en un modelo prescriptivo. para reducir la carga sobre los humanos.
Para la experimentación secuencial, ¿cómo se construyen y estiman los modelos cuando los datos se obtuvieron de varias etapas, como un estudio piloto, exploración y construcción de modelos? ¿Cuáles son las consecuencias si no se pueden obtener nuevos datos para refinar el modelo?
A pesar de todas las ventajas de la experimentación secuencial, cómo manejar el análisis es una de las mayores complicaciones. Si los datos se recopilan en grupos en un orden no aleatorio, el análisis casi siempre debe reflejar esta situación. Una excepción a la necesidad de adaptar el análisis sería para un experimento informático en el que se ejecuta el mismo código para todas las combinaciones de entrada y es independiente del orden de ejecución. A veces no hay necesidad de combinar datos en un solo análisis, con modelos e interpretaciones separados para cada etapa. Por ejemplo, si se realiza un análisis del sistema de medición en la etapa piloto, es posible que no haya un vínculo directo entre este y los datos posteriores diseñados para centrarse en la exploración y la construcción de modelos.
En general, tratar grupos de ejecuciones de diferentes etapas del experimento (piloto, exploración, construcción de modelos, etc.) como bloques proporciona una forma de reconocer que las cosas pueden haber cambiado entre las fases. Los métodos exploratorios pueden ayudar a examinar el impacto de los bloques y ver si parece haber cambios sustanciales en las respuestas entre bloques. En el ejemplo de ciencia forense nuclear, las tres fases del experimento más grande se analizaron con un efecto de bloque agregado. A partir del examen de este efecto, pudimos identificar algunas diferencias en la medición de algunas de las características a lo largo del tiempo.
Si no se pueden obtener nuevos datos para refinar el modelo, entonces la precisión del modelo inicial no se puede mejorar más. En muchos casos, el objetivo del refinamiento del modelo es apuntar a áreas donde la estimación o predicción actual del modelo es débil. El aumento con ejecuciones adicionales puede ayudar a moderar esta debilidad y mejorar el rendimiento general. Si no hay presupuesto para el refinamiento de este modelo, la estimación y la predicción están dictadas por los datos disponibles. Esta podría ser una oportunidad perdida, por lo que, siempre que sea posible, es bueno pensar en la asignación eficiente de recursos en las diferentes etapas.
Ahora que tenemos una gran cantidad de datos de registros médicos electrónicos en hospitales, aquellos que los recopilan y analizan pueden tener habilidades limitadas en el DOE. ¿Cuáles son algunas formas de aplicar algunos de los grandes puntos que compartió con nosotros?
Los registros hospitalarios contienen una gran cantidad de información, pero bien puede estar oculta en el volumen de registros que se procesarán. Dada la naturaleza del tratamiento médico y las consideraciones éticas, lo más probable es que sea muy difícil cambiar su naturaleza observacional. Como resultado, es posible que no podamos controlar las "entradas" de los datos recopilados y es más probable que estemos restringidos durante la fase de big data al muestreo estratégico de registros para ayudarnos a responder preguntas.
Aquí hay algunas ideas sobre dónde podría haber oportunidades:
- Si se van a agregar nuevos tipos de datos a la base de datos, puede haber una oportunidad de realizar un análisis del sistema de medición para ayudar a comprender las fuentes de variabilidad. Por ejemplo, ¿son las personas que administran las pruebas una parte sustancial de la variación? ¿Importa qué máquina se usa para las pruebas o todas están calibradas de manera similar? Dado que es probable que el volumen de datos que se recopilará sea grande, un pequeño estudio para comprender las fuentes de variabilidad podría ser muy informativo sobre cómo se deben interpretar los resultados.
- Si las mediciones son costosas, en las etapas previas a los grandes datos, puede haber oportunidades para utilizar un conjunto de datos más pequeño para examinar las correlaciones entre las mediciones para comprender qué datos están mayormente conectados con los resultados y si existen posibles redundancias costosas de información.
- Un aspecto clave para responder diferentes consultas es asegurarse de que haya formas fáciles de implementar para dividir los datos en categorías relevantes y menos relevantes. Ser capaz de muestrear registros para subpoblaciones basadas en campos clave permitirá realizar comparaciones más precisas con sujetos similares.
- El muestreo de los datos por fecha o ubicación podría permitir la comparación de los resultados a lo largo del tiempo o del equipo. Hacerlo puede resaltar tendencias o reducir el número de conclusiones falsas que se atribuyen a factores externos y no a cambios en el paciente.
- Finalmente, en las etapas posteriores a los grandes datos, puede haber oportunidades para usar algunos experimentos pequeños diseñados en forma de experimentos de confirmación para verificar hipótesis o verificar si los efectos se traducen en poblaciones más amplias.
¿El enfoque de diseño adaptativo (pruebas A/B) no sesga los resultados hacia el modelo que obtiene una ventaja al principio? Si se muestra A el 75 % de las veces, la expectativa de referencia del número de aciertos para A es mayor que para B.
El campo del diseño adaptativo tiene muchas opciones para implementar el algoritmo que decide cómo responder a las nuevas observaciones. Por lo general, el experimentador tiene opciones sobre la rapidez con que el algoritmo cambiará la proporción de nuevos sujetos que reciben cada tratamiento. Si evoluciona demasiado lentamente, entonces existe un costo de oportunidad de tener potencialmente una mayor proporción de sujetos que reciben la opción menos deseable. Si evoluciona demasiado rápido, entonces con un comienzo “desafortunado” (no representativo) de la secuencia, puede comenzar dirigiendo demasiados sujetos a la opción menos deseable.
Como ocurre con tantas decisiones, hay dos tipos de errores, y el experimentador debe sopesar sus riesgos y consecuencias relativas. En muchas implementaciones, se elige el equilibrio entre exploración y explotación para minimizar la posibilidad de evolucionar demasiado rápido hacia la solución incorrecta, mientras se toleran algunas oportunidades perdidas al tomar una decisión cautelosa. Los algoritmos suelen estar diseñados para trabajar con la proporción de éxitos de cada opción, no con el número absoluto de éxitos observados.
Con respecto al ejemplo del conjunto de datos de competencia de datos, ¿dividir el diseño general en tres etapas es algo que JMP puede hacer para seleccionar qué ejecuciones son para qué etapa, o simplemente se determinó arbitrariamente?
En lugar de crear un conjunto de datos más grande y dividirlo en datos de entrenamiento, prueba pública y prueba privada, utilizamos un enfoque ascendente generando conjuntos de datos más pequeños con diferentes características para diferentes escenarios y luego los combinamos para generar los datos finales de la competencia.
Aquí hay algunos detalles más sobre la construcción de los conjuntos de datos de entrenamiento, prueba pública y prueba privada. Se construyó un conjunto denso de puntos candidatos para cada escenario (piense en una de las fuentes radiactivas a descubrir, blindada o no blindada). Dado que las mayores consecuencias de la competencia recaían en los resultados del conjunto de datos de prueba privados, primero se construyó utilizando un diseño de relleno de espacio no uniforme (NUSF). [4] , donde se eligió la falta de uniformidad para enfatizar las regiones más difíciles (aquí, el detector de movimiento rápido buscando una pequeña cantidad de material radiactivo), pero aún con cierta cobertura en todo el espacio. Una vez finalizado este diseño, se utilizó el conjunto de candidatos reducido (original menos los puntos ya seleccionados) para construir el conjunto de datos de prueba pública. En este caso, el énfasis estuvo en niveles moderados de dificultad, pero nuevamente con cierta cobertura en todo el espacio. El proceso se repitió por última vez para construir los datos de entrenamiento, con un conjunto de candidatos más reducido (los puntos seleccionados de los conjuntos de datos de prueba públicos y privados se eliminaron del conjunto de candidatos original). Esto permitió la creación de tres conjuntos de datos diseñados para cada combinación de fuente radiactiva x blindaje.
Luego, estos diseños se combinaron en todos los escenarios y se aleatorizaron en tres conjuntos de datos finales (entrenamiento general, prueba pública general y prueba privada general), que luego se proporcionaron a los competidores. Hay algunos artículos que escribí con mis colegas sobre cómo pensar en la construcción de conjuntos de datos de competencia de datos. [5] o cómo implementamos estas estrategias para el problema de detección de radiación [6] . Actualmente, JMP no tiene una función automática para construir diseños NUSF directamente, pero es posible construir uno que utilice un enfoque secuencial para variar el grado de uniformidad del diseño. [7] con los diseños rápidos y flexibles de llenado de espacios [8] en JMP. Alternativamente, hay un código R disponible para construir estos diseños en los materiales complementarios de mi artículo. [4] .
Tengo una pregunta sobre el manejo de la selección de valores atípicos antes del entrenamiento de los algoritmos. Existe el peligro de excluirlos, particularmente si hay escasez en ese espacio estatal. ¿Utilizaría potencialmente un diseño de experimento para mediciones adaptativas para diferenciar si incluir o excluir esos valores atípicos? ¿Existen otros enfoques para determinar la curación de valores atípicos?
La identificación de valores atípicos y puntos de alto apalancamiento son dignos de mención por su impacto desproporcionado en los resultados y nuestra interpretación de los patrones. Para definir estas nociones con mayor precisión, un valor atípico es una observación en la que la(s) respuesta(s) no sigue(n) la tendencia de los otros datos. Un punto de alto apalancamiento es una observación donde la combinación de entrada es extrema en relación con el resto del conjunto de datos (esto puede ser difícil de evaluar a medida que aumenta la dimensión del espacio de entrada).
El diseño de experimentos podría ser útil de diferentes maneras para cada uno de estos. Para un valor atípico, un pequeño experimento local en la región donde se observó el valor de respuesta extremo podría ayudar a aclarar si esta es una región de comportamiento diferente o quizás tiene una variación más alta que la típica. Cada uno de estos, cuando se confirme, requeriría una reacción diferente. Para un punto de apalancamiento alto, la experimentación intencional en la región que conecta el punto de apalancamiento alto con el resto del espacio de entrada puede ayudar a caracterizar la relación entre entradas y respuestas sin grandes brechas. Puede ayudar a proporcionar información sobre la transición de las dos regiones de ubicación de entrada. Ambas estrategias, por supuesto, dependen del grado de control de la configuración de entrada que tenga el experimentador.
Soy bastante de la vieja escuela sobre la eliminación de valores atípicos. A menos que haya experiencia en la materia para guiar la inclusión o la exclusión, soy extremadamente reacio a eliminar estos puntos de datos. Los modelos de conjunto (que combinan modelos basados en todo el conjunto de datos y con los valores atípicos eliminados) pueden proporcionar una forma alternativa de calibrar el impacto de estas observaciones en la comprensión de la variabilidad y la incertidumbre del modelo.
Apreciamos que Christine se haya tomado el tiempo de compartir más de su sabiduría sobre este tema estratégico. ¡Gracias a todos los que asistieron e hicieron preguntas tan buenas! ¡Aplaudimos todos los esfuerzos para recopilar datos ricos en información! También recomendamos encarecidamente el artículo de Christine, El por qué y el cómo de hacer buenas preguntas .
Referencias:
[1] Anderson Cook, CM, Lu, L. (2023) “¿Sigue siendo relevante la recopilación de datos diseñados en la era de los grandes datos? Ingeniería de Calidad y Confiabilidad Internacional 39(4) 1085-1101.
[2] Freeman, L. (2023) “Revisión: ¿La recopilación de datos de diseño sigue siendo relevante en la era de los grandes datos? Con extensiones al aprendizaje automático” Ingeniería de Calidad y Confiabilidad Internacional 39(4) 1102-1106.
[3] Freír, H. (2018) Hello World: ser humano en la era de los algoritmos , WW Norton y Compañía.
[4] Lu, L., Anderson Cook, CM, Ahmed, T. (2021) "Diseños de relleno de espacio no uniformes" Revista de tecnología de calidad 53(3) 309-330.
[5] Anderson Cook, CM, Lu, L., Myers, K., Quinlan, K., Pawley, N. (2019) "Aprendizaje mejorado de competencias de datos a través de la generación estratégica de conjuntos de datos informativos" Ingeniería de calidad 31(4) 564-580.
[6] Anderson Cook, CM, Myers, K., Lu, L., Fugata, ML, Quinlan, K., Pawley, N. (2019) "Concursos de datos: obtener más de un diseño estratégico y análisis posterior a la competencia" Análisis Estadístico y Minería de Datos 12 271-289.
[7] Lu, L., Anderson-Cook, CM (2022) "Aprovechando lo que sabe: diseños versátiles que llenan el espacio" Ingeniería de calidad https://doi.org/10.1080/08982112.2022.2161394
[8] Lekivetz, R. y B. Jones. 2015. “Diseños rápidos y flexibles de relleno de espacios para regiones no rectangulares” Ingeniería de Calidad y Confiabilidad Internacional 31 (5):829–37. doi: 10.1002/qre.1640.
