Hola a todos, me llamo Christopher Pillsbury y me alegra mucho estar con ustedes hoy. Les contaré cómo creamos un marco que ayuda a los equipos de I+D a transformar las ideas en información práctica, integrando AWS, Snowflake y JMP.
En esta sesión, explicaremos cómo se recopilan y analizan datos experimentales en tiempo real, y cómo esta arquitectura permite a los científicos tomar decisiones más rápidas y fiables. Independientemente de su puesto en I+D, ciencia de datos u operaciones, mi objetivo es mostrarle el camino desde los datos sin procesar hasta la comprensión y cómo la analítica escalable puede transformar la forma en que los equipos innovan y colaboran.
En la agenda de hoy, comenzaré guiándolos por los hitos clave en la implementación de nuestra instancia de JMP Live. Exploraremos el recorrido de los datos, desde el experimento inicial hasta la toma de decisiones prácticas, y analizaremos el impacto de escalar la generación de datos. Describiré el proceso de arquitectura de IDEXX Data Solutions, mostrando cómo la ingesta, la organización y el análisis de datos se combinan para empoderar a los usuarios de I+D. Analizaremos ejemplos concretos de paneles e informes en funcionamiento y su impacto medible en la toma de decisiones y la eficiencia.
Finalmente, concluiré con las conclusiones clave y las lecciones aprendidas al crear un sistema de análisis escalable en tiempo real en I+D. Pero primero, permítanme explicarles en qué consiste mi función.
Un arquitecto de soluciones de datos no es un solo rol. Es una combinación de varias disciplinas que se unen para que los datos sean utilizables, confiables y tengan un impacto significativo. Esto incluye gobernanza y seguridad, garantizando el cumplimiento normativo, la privacidad y los controles de acceso para que los datos se mantengan confiables y seguros. El ingeniero de datos garantiza que los datos fluyan a donde deben ir, creando canales, integraciones y transformaciones para que los datos sin procesar sean utilizables.
DevOps: gestiona la infraestructura, las plataformas en la nube, la automatización y mantiene todo seguro y resiliente. Arquitectura de Datos: diseña modelos, define estructuras y garantiza la escalabilidad de la base. Analista de Datos: traduce los datos en información, paneles, visualizaciones e historias que impulsan la toma de decisiones. Analista de Negocios: conecta el aspecto técnico con el problema de negocio, recopila requisitos, comprende el contexto y garantiza la solución de los problemas adecuados.
Finalmente, el Administrador de Bases de Datos se centra en el rendimiento, el ajuste, la fiabilidad y, hoy en día, en el coste. Juntas, estas perspectivas conforman el rol de Arquitecto de Soluciones de Datos. Mi trabajo consiste en asumir las distintas funciones, integrarlas y ofrecer soluciones que conecten a personas y equipos para crear canales de datos que permitan obtener información empresarial.
Ahora que me conocen un poco y cuál es mi rol, hablemos un poco sobre nuestra trayectoria en JMP Live hasta la fecha. Como cualquier buen proyecto, comenzamos con conversaciones con el departamento de TI empresarial, donde definimos una ruta de implementación orientada a la nube y los pasos para lograrla. Su orientación nos ayudó a configurar un servidor de Azure y las cuentas de servicio necesarias, sentando las bases seguras que necesitábamos para la automatización.
El 31 de julio de 2024, Alex me ayudó a instalar y poner en marcha JMP Live. Poco más de una semana después, el 9 de agosto, publicamos nuestro primer informe totalmente automatizado desde una vista de Snowflake. Durante el primer año de nuestra prueba piloto, superamos los límites de nuestra instancia de JMP Live realizando pruebas de carga de gráficos SPC automatizados con 7 millones de registros y más de 20 columnas, que se actualizaban cada 5 minutos. Implementamos paneles de control para satisfacer las diferentes necesidades del negocio y nos aseguramos de que esta arquitectura pudiera escalar, a la vez que proporcionaba información en tiempo real a los equipos que la utilizan a diario.
En teoría, nuestra implementación es muy sencilla. Sin embargo, el proceso completo, desde la idea hasta la decisión y la ruta hacia los datos, no lo es. Cualquiera que haya trabajado con experimentos, datos e informes sabe que hay muchos pasos ocultos en el camino. Por eso, antes de adentrarnos en la escalabilidad y los sistemas, quiero que nos basemos en el proceso que todos compartimos. Ya sea que trabajes en I+D, ciencia de datos u operaciones, el camino desde una idea hasta una decisión práctica sigue un patrón similar.
El camino hacia una idea es una forma sencilla pero contundente de describir cómo pasamos de la curiosidad a la toma de decisiones. Todo comienza con una pregunta o una hipótesis. Quizás seas un equipo de I+D que prueba un nuevo concepto de producto, o quizás estés extrayendo y analizando un gran conjunto de datos. En algún momento, tienes una idea que vale la pena probar. A partir de ahí, se realizan experimentos, se fabrican lotes o incluso se desarrolla código.
Aquí es donde el trabajo real empieza a tomar forma. Los datos de salida de los instrumentos, el registro manual de datos o los conjuntos de datos generados por código se almacenan, a veces localmente, a veces en la nube, pero en esta etapa aún están en bruto. Ahora viene la parte crítica: estructurar, depurar y analizar los datos. Aquí es donde aplicamos métodos estadísticos, comprobamos nuestras suposiciones y empezamos a descubrir los patrones ocultos en los resultados.
Finalmente, se comunican los conocimientos. Esto puede implicar compartir una presentación, redactar los resultados en ELN o compartir un hito importante de desarrollo. A menudo, estos conocimientos dan lugar al siguiente conjunto de preguntas y el ciclo se reinicia.
En general, has hecho el trabajo. Realizaste el experimento, recopilaste los datos, los procesaste, realizaste tu análisis y, ¡felicitaciones!, has llegado a una conclusión. Ahora, naturalmente, quieres compartir lo que descubriste. ¿Cuál es el siguiente paso? Tomas tu PowerPoint de confianza, copias los gráficos, quizás añades un par de cuadros de texto y luego los presentas en una reunión. En ese momento, has logrado tu objetivo. Has generado datos que respaldan una decisión.
Pero aquí está la pregunta en la que deberíamos detenernos. ¿A qué costo? ¿Cuánto tiempo les llevó ordenar los datos? ¿Cuántos pasos manuales implicaron? ¿Cuántas veces tuvieron que reexportar, reformatear o actualizar cuando algo cambiaba? Esto es lo que yo llamo el impuesto oculto al conocimiento. La sobrecarga de pasar de los datos sin procesar a una decisión.
Porque, en realidad, los datos que genera no fluyen de forma ordenada hacia JMP ni hacia ningún otro sistema. La mayoría de las veces, son brutos, fragmentados e inconsistentes. Esto significa que usted o su equipo terminan dedicando horas a localizar, limpiar, estructurar y procesar manualmente esos datos antes de siquiera poder analizarlos.
Una vez que finalmente se obtiene una tabla utilizable, ¿qué sucede después? Quizás se necesiten añadir cálculos. Quizás se creen algunas columnas derivadas. JMP es ideal para eso. Pero a veces se recurre a Excel porque parece más sencillo. Esto requiere una inversión de tiempo considerable, especialmente cuando el análisis se crea desde cero, incluso para experimentos con el mismo resultado.
Pero aquí está la trampa. Incluso con procesos estandarizados, todo es estático. Está congelado. Has hecho el trabajo, pero para el siguiente experimento tienes que empezar de cero. Esa es la carga. Se logra una visión una vez, pero con un gran esfuerzo manual y sin una forma sencilla de actualizarla o reutilizarla.
¿Qué sucede cuando intentas crecer? Piénsalo así. No esperamos que los ingenieros de datos comprendan la ciencia para gestionar los datos. Es lógico que no esperemos que los científicos se conviertan en ingenieros de datos para gestionar la ciencia. Su especialidad es la experimentación, el descubrimiento y la interpretación. Ahí es donde su tiempo es más valioso. Cuanto más tiempo dedican a limpiar hojas de cálculo o a lidiar con formatos, menos tiempo dedican a la ciencia real. La escalabilidad se trata de sistemas que crecen sin descomponerse ante más personas, más datos o más complejidad.
Tomemos el camino de una idea y apliquémosla a un equipo que genera datos. Al incorporar más personas al proceso, se introduce un nuevo desafío: la variación. Cada persona tiene distintos niveles de habilidad para procesar datos, diferentes hábitos y distintas formas de formatear o estructurar sus resultados. Cuanto más cerca esté de los datos sin procesar, mayor será la variación.
Y no acaba ahí. Esa variación se extiende a lo largo del análisis y los informes. Como resultado, compartir datos no es sencillo y los análisis no siempre coinciden. ¿Y las presentaciones? Bueno, pueden convertirse en una aventura de "¿Qué significa ese gráfico?". "Ah, ¿eso? Me gusta cómo lo formatea fulano, así que copié su estilo".
¿Qué sucede? Los equipos dedican enormes cantidades de tiempo oculto simplemente a coordinar ubicaciones de almacenamiento, definiciones de columnas, limpieza, formato y garantizar la continuidad. Ese esfuerzo oculto se multiplica a medida que generan más datos. Si esta es la situación de un solo equipo, imagine ampliarla a todo un departamento.
Hay numerosos equipos generando datos, cada uno con sus propios enfoques. De repente, se dedican incontables horas a manipular esos datos, intentando darles forma. Pero el mayor problema sigue siendo la variación. Diferentes interpretaciones, diferentes análisis, diferentes cálculos, diferentes formatos de salida. Todas estas diferencias merman la eficiencia.
¿Y a gran escala? Esto no solo ralentiza los proyectos individuales, sino que puede frenar el progreso general. Esta es la verdadera carga organizacional. Cuando cada equipo reinventa la rueda, la información se vuelve inconsistente, la alineación tarda más y se pierde el impulso. El reto y la oportunidad residen en crear sistemas que permitan a cada grupo centrarse en lo que mejor sabe hacer, sin dejar de trabajar en equipo.
En IDEXX, hemos reconocido este desafío y estamos trabajando para reconstruir la relación que nuestra gente tiene con los datos. Hemos rediseñado nuestros sistemas, equipos y procesos para que, en lugar de lidiar con los datos, las personas puedan centrarse en usarlos. Esto implica definir el trabajo con claridad, crear automatizaciones útiles y crear acceso sin código o con poco código a los sistemas de big data que estamos implementando. Porque convertirse en una organización basada en datos no se trata solo de tecnología. Se trata de comprender dónde residen realmente los problemas y el desperdicio. Se trata de saber qué se puede enseñar de forma realista a las personas y qué se soluciona mejor con la tecnología.
Al combinar las fortalezas de nuestra gente con las fortalezas de las herramientas adecuadas, AWS, Snowflake y JMP, eliminamos las barreras al conocimiento y hacemos posible que los equipos avancen más rápido con consistencia y confianza.
En resumen. En el panorama actual de I+D, los sistemas escalables ya no son opcionales. El ritmo de la ciencia es más rápido que nunca. El volumen de datos que generamos no para de crecer. Si nuestros sistemas no escalan, no pueden seguir el ritmo. Terminamos con cuellos de botella, inconsistencias y esfuerzo desperdiciado. La escalabilidad es lo que nos permite convertir la ciencia en soluciones rápidamente. Es la diferencia entre pasar semanas procesando datos y poder tomar decisiones en tiempo real. Por eso es tan crucial repensar nuestra gestión de los datos. Porque la velocidad, la consistencia y la confianza en nuestros conocimientos se traducen directamente en progreso en I+D.
Durante los próximos minutos, exploraremos los detalles generales del proceso de arquitectura de soluciones de datos, que se estructura en torno a dos categorías principales. La primera categoría es Enrutamiento e Ingesta de Datos, donde se recopilan, migran y gestionan los datos sin procesar. La segunda categoría es Data Lakehouse y Análisis, donde reside nuestra arquitectura de datos y análisis.
En nuestro entorno de I+D, los datos pueden provenir de múltiples fuentes. Algunos son recopilados manualmente por los científicos, mientras que otros son generados automáticamente por instrumentos y máquinas durante los experimentos. Una vez que los datos existen, nuestro servicio de migración a la nube interviene. Monitorea continuamente los directorios designados en busca de nuevos archivos y, cuando los detecta, los traslada automáticamente al almacenamiento de AWS. Esto garantiza que todos los datos entrantes se capturen en una ubicación centralizada y segura, listos para su posterior procesamiento y análisis.
Una vez migrados los datos a AWS, ingresan a la capa de Arquitectura de Datos. Aquí, todos los archivos se recopilan y almacenan de forma segura, lo que nos proporciona un almacenamiento de datos sin procesar escalable y confiable. Desde allí, los datos se incorporan a Snowflake mediante notificaciones de redes sociales y Snowpipes, lo que permite la transferencia en tiempo real desde AWS a nuestra plataforma de datos.
En Snowflake, los procesos ETL automatizados limpian, normalizan y transforman los datos sin procesar en modelos estandarizados, preparándolos para el análisis. También aprovechamos las funciones avanzadas de Snowflake, como las vistas y las tablas dinámicas, que permiten a los analistas y científicos consultar y combinar múltiples fuentes de datos sin problemas, proporcionando una base consistente y eficiente para el análisis posterior en JMP Live.
Finalmente, llegamos a la capa de Arquitectura Analítica. Aquí es donde los modelos de datos estandarizados de Snowflake se transforman en vistas de datos prácticas, diseñadas para respaldar casos de uso empresariales y científicos específicos. Ofrecemos puntos de acceso seleccionados, adaptados a las necesidades de las diferentes partes interesadas y sus flujos de trabajo analíticos, para que los usuarios puedan centrarse en la información en lugar de en la manipulación de datos.
En esencia, esta capa conecta los datos sin procesar con la toma de decisiones, alineando las estructuras de datos con los informes, la visualización y los objetivos generales del negocio. Es el paso que convierte los datos estructurados en información significativa en tiempo real en JMP Live.
A grandes rasgos, todo comienza con la generación de datos y la creación de un paquete de datos. Una vez que los datos existen, nuestro servicio de migración a la nube supervisa continuamente los directorios relevantes y transfiere los nuevos archivos al almacenamiento de AWS. A continuación, la capa de Arquitectura de Datos toma el control. Desde aquí, los datos se transfieren a Snowflake desde AWS mediante notificaciones de SNS y un Snowpipe.
En la capa de Arquitectura Analítica, transformamos los datos sin procesar en modelos estandarizados y luego en vistas de datos procesables que respaldan casos de uso científico específicos.
Finalmente, la publicación de informes y datos en JMP Live permite la automatización del autoservicio. En resumen, este flujo, desde la generación de datos y la arquitectura hasta el análisis, convierte los datos experimentales sin procesar en información que impulsa las decisiones.
Ahora quiero detenerme un momento. Todos los diagramas de arquitectura y diagramas de flujo que hemos visto son importantes. Muestran que el sistema funciona. No demuestran su valor por sí solos. El verdadero valor surge cuando quienes usan el sistema, nuestros científicos, pueden ver de inmediato la información que necesitan para tomar decisiones.
Cuando un científico dice: "Eso es justo lo que necesito", es el momento en que el sistema ha tenido un impacto real. Eso es precisamente lo que exploraremos a continuación: los casos de uso tangibles y los impactos medibles que muestran cómo esta arquitectura se traduce en resultados para la I+D.
Para empezar, contamos con un lector de microplacas que genera un archivo de registro con dos variantes, como se ve aquí. Durante una calibración y un control, los instrumentos generan estos archivos de registro. Estos contienen resultados importantes de calibración y control, incrustados en tablas directamente dentro del archivo.
Un equipo de MPD se interesó mucho en estos datos y creó un proceso de informes que rastreaba el estado del equipo basándose en los resultados de estas ejecuciones. Como suele ocurrir, no solo los recopilaron de los laboratorios de I+D, sino que también comenzaron a extraerlos del campo. El problema es que todo esto se hacía manualmente. Lo que empezó como una simple curiosidad se convirtió gradualmente en un proceso repetitivo y lento.
Cada mes, los equipos recopilaban cientos de archivos de registro, copiaban y pegaban manualmente datos en tablas basura y generaban informes. Era un esfuerzo enorme que se repetía mes tras mes. Un ejemplo perfecto de una tarea de gran valor que se ve obstaculizada por el trabajo manual.
Trabajando en estrecha colaboración con este equipo, creamos una canalización de datos DSA para automatizar todo el proceso. En lugar de recopilar archivos manualmente, comenzamos a capturarlos programáticamente en cuanto se creaban y los difundimos al almacenamiento de AWS. Una vez en Snowflake, los datos se procesaron, limpiaron y estandarizaron. A partir de ahí, creamos vistas que sirvieron como puntos de acceso para los informes de JMP Live, como se muestra en la captura de pantalla. El resultado es una tabla centralizada y bien organizada que transforma lo que antes eran datos manuales desordenados en un recurso estructurado y fiable que los científicos pueden usar al instante para el análisis y la toma de decisiones.
Ahora, el informe de JMP Live se actualiza automáticamente al completar una nueva calibración o control. Los instrumentos se agrupan por ID y ubicación, y cada evento de calibración o control se rastrea claramente por fecha. Esto proporciona visibilidad en tiempo real del estado del sistema, lo que ayuda a las operaciones de I+D y a los laboratorios de referencia a detectar posibles problemas de mantenimiento antes de que se conviertan en problemas. En otras palabras, no solo eliminamos el trabajo manual repetitivo, sino que también creamos un informe interdepartamental. Un único punto de referencia en el que todos confían para obtener datos precisos y actualizados.
Antes, un proceso manual que consumía mucho tiempo ahora está completamente automatizado. Cada paso del flujo de trabajo, desde la generación de datos hasta la actualización del informe, se completa en aproximadamente 20 minutos tras la finalización del evento. Esta rápida respuesta permite al equipo tener visibilidad de sus datos en tiempo real, lo que permite una toma de decisiones más rápida y una gestión más proactiva de los experimentos y el estado de los instrumentos.
Pero el sistema no es valioso solo por existir, sino porque cambia la forma en que los científicos interactúan con los datos. Cuando dejan de preguntarse cómo llegaron aquí y empiezan a preguntarse qué significan, esa es la prueba de que hemos aportado un valor real y práctico. En diversas áreas, hemos transformado procesos manuales que consumen mucho tiempo en flujos de trabajo automatizados en tiempo real.
En la monitorización de campo de calibración y control, antes un solo científico recopilaba datos de cientos de instrumentos. Ahora, la recopilación automatizada en toda la red proporciona visibilidad en tiempo real del estado del sistema. Para el acceso a los datos en el mercado y el desarrollo de nuevos productos (NPD) de la plataforma, el personal de I+D procesaba manualmente los datos de los ensayos de placas de microtitulación. La automatización ahora proporciona conjuntos de datos listos para analizar en cuestión de minutos tras la lectura de la placa, lo que agiliza la toma de decisiones.
En el desarrollo de nuevos instrumentos y consumibles, eliminamos la necesidad de la recolección manual de datos prevista al establecer una ingesta automatizada, brindando a los equipos acceso casi instantáneo a los resultados después de la ejecución.
Finalmente, en la fabricación de datos SPC, los análisis lentos y repetitivos han sido reemplazados por gráficos SPC en tiempo real accesibles las 24 horas del día, los 7 días de la semana a través de los paneles de JMP Live, lo que permite una toma de decisiones más rápida basada en datos entre los equipos.
¿Cuáles son las conclusiones clave de esto? Los datos sin procesar de los instrumentos se transfieren automáticamente desde los laboratorios a AWS y Snowflake. Esto reduce los retrasos y garantiza que los científicos trabajen con conjuntos de datos completos y precisos desde el principio. Snowflake proporciona una plataforma única y segura para almacenar y estructurar todos los datos experimentales. Se acabaron los silos y las hojas de cálculo fragmentadas; solo datos limpios y listos para consultar, accesibles para todos los equipos. Con JMP y JMP Live, los científicos pueden crear paneles y análisis reutilizables que se actualizan automáticamente con nuevos datos, ahorrando horas de trabajo manual y facilitando la monitorización continua.
Los paneles se actualizan a medida que se completan los experimentos, ofreciendo a los responsables de la toma de decisiones información en tiempo real sobre el progreso, los resultados y las tendencias emergentes. Se acabó la espera de informes estáticos.
Los resultados se pueden compartir fácilmente entre las operaciones de I+D, control de calidad, fabricación y liderazgo, lo que ayuda a alinear prioridades y a acelerar el desarrollo de productos. En resumen, este sistema transforma la forma en que los equipos acceden, analizan y procesan los datos, convirtiendo los resultados experimentales sin procesar en información oportuna y práctica que impulsa la innovación.
Como hemos visto hoy, la transición de datos experimentales sin procesar a información procesable no tiene por qué ser lenta ni manual. Al combinar AWS, Snowflake y JMP Live, hemos creado un sistema que captura, estructura y analiza datos automáticamente, convirtiendo lo que antes era un trabajo tedioso en información fiable en tiempo real.
Hemos demostrado varios impactos clave: acceso más rápido a datos de alta calidad, una arquitectura escalable y centralizada, análisis repetibles y automatizados, soporte para la toma de decisiones en tiempo real y visibilidad interfuncional que impulsa la colaboración. La verdadera medida del éxito reside en la experiencia del usuario. Los científicos ya no se preguntan cómo llegaron los datos, sino qué significan.
Ese cambio de una pregunta de proceso a preguntas de insight es la prueba definitiva de que el sistema aporta valor. De cara al futuro, este enfoque sienta las bases para la innovación continua. Los equipos pueden dedicar menos tiempo a lidiar con los datos y más tiempo a utilizarlos para resolver problemas, tomar decisiones y acelerar el desarrollo de productos.
Gracias por su tiempo hoy. Espero que esto le haya brindado una imagen clara de cómo el análisis escalable automatizado puede transformar una organización.
