Hola a todos. Hoy nos complace presentarles nuestro póster. Este póster trata sobre la integración de JMP con los servicios de AWS. Soy Yacine Belamiri y trabajo como ingeniero de datos en Soitec.
Soy Guillaume Bugnon. También trabajo como ingeniero de datos en Soitec. Hoy les presentaremos el póster. JMP permite acceder a numerosas fuentes de datos con formatos nativos como Excel, JSON e incluso archivos PDF. JMP también puede conectarse a muchas bases de datos mediante la conexión nativa ODBC, pero a veces esto no es suficiente. ¿Por qué? Porque hoy en día la nube y los servicios en la nube como Azure, AWS o Google se utilizan cada vez más en nuestro sector y en todos los sectores, y ahora forman parte de la arquitectura de datos de la empresa. En algunos casos, los usuarios de JMP necesitan acceder a los datos actuales y, en otros, también tenemos que desarrollar conectores específicos para GSL.
¿Cuáles son los objetivos de este póster? En primer lugar, les contamos que a partir de JMP 15 se utilizó la integración con Python para ampliar sus capacidades, implementando tanto JMP como Python en los ordenadores de los usuarios. ¿Qué nos ha permitido esto? Nos ha permitido crear bibliotecas de JMP, que son básicamente un conjunto de funciones GSL dedicadas a los servicios de AWS o a cualquier otro caso que no se gestione de forma nativa en JMP. Cabe mencionar que tenemos más de 600 usuarios y necesitamos gestionar estas implementaciones para facilitar el uso de esta conexión a todos y garantizar que nuestros desarrolladores utilicen el mismo código.
A partir de JMP 18, JMP facilita la gestión de la integración con Python y elimina las dependencias que teníamos antes, lo que hace que la instalación de JMP sea más rápida y sencilla, permitiendo instalar JMP con Python y usarlo de forma nativa.
La razón por la que hacemos esto es porque mejora la experiencia del usuario y simplifica el acceso a los datos. Podemos preparar los datos desde el principio, almacenarlos y validarlos a nivel corporativo. Además, en Soitec hemos validado JMP como un paso fundamental en nuestro proceso de ingeniería de datos, por lo que cuando necesitamos exponer datos con fines estadísticos, lo hacemos con JMP.
Cómo lo hemos hecho. Este es un diagrama rápido de lo que hacemos. En primer lugar, creamos bibliotecas comunes en Python. Estas bibliotecas se conectan, por ejemplo, a AWS, pueden incluir algunas funciones estadísticas que no están presentes en JMP o simplemente gráficos que queremos incorporar porque nos parecen más atractivos, divertidos o algo similar. Este es el primer paso.
Entonces, lo que hacemos es llamar a estas bibliotecas de Python desde nuestras bibliotecas JSL. Este JSL es el que queremos que nuestros desarrolladores de JSL utilicen posteriormente. Esto se valida internamente, lo validamos nosotros en el departamento de TI, y luego todos podemos usar el mismo código. Finalmente, Soitec certifica, creo, que puede llamar a estas bibliotecas GSL, y luego proporciona al usuario un método realmente sencillo para conectarse a los datos.
Si profundizamos en los detalles con símbolos simples, obtendremos este tipo de arquitectura. Tenemos los tres bloques diferentes de los que Yacine habló anteriormente. Digamos que soy desarrollador de trabajos y quiero conectar nuestros datos extraídos que están almacenados en los buckets de S3 en el servidor de AWS. Lo primero que debo hacer es llamar a la ruta de la biblioteca y a la biblioteca de Python que es JSL, y luego simplemente tengo que usar mi función. Como pueden ver, es muy fácil con cuatro líneas de código, ahora puedo acceder a los archivos que están almacenados en AWS S3. Pero hacer esto tiene un costo inicial. Todavía tenemos que desarrollar estos otros dos bloques, el bloque rojo y el negro.
Primero, digamos que esta aplicación, llamaremos a esta biblioteca de Python y aquí simplemente importamos la biblioteca de Python. Exacto. Esto es como ladrillos. Tenemos los ladrillos verdes, negros y azules. Hagamos una demostración. Lo siento. Entremos en JMP. Está aquí. Es muy simple. Pongamos el registro. Solo tengo que importar mi biblioteca Python GSL. Puedes ver que en esta Python GSL tenemos diferentes funciones, así que dos aquí.
Entonces solo puedo decir que quiero abrir los archivos de paquete. Parquet es un formato de archivo que no es nativo, no detectado ahora por JMP, pero con Python, puedo abrir los archivos de paquete, así que está bien. Solo tengo que decir que quiero abrir el archivo de paquete que está almacenando... Tomemos el descubrimiento de John con un subcubo, el nombre del archivo y la región de la dirección, así que está bien. Necesito hacer la nueva vista de datos, y es más fácil, más rápido, y puedo obtener mis datos, luego puedo usar JMP para hacer mi análisis.
Otra forma de hacerlo es la misma, pero también usamos la misma biblioteca para obtener algún secreto. El secreto podría ser una contraseña o credencial para conectarse a la base de datos, por ejemplo. Con esta función, que también está en la biblioteca, es muy fácil obtener esta secuencia. Mi secreto es el descubrimiento de gemas de desarrollo en el respeto, y luego puedo imprimir los secretos, y podemos ver aquí cuál es el valor del secreto.
Otro caso de uso más real, diría yo, es el que tenemos en Soitec: nuestra aplicación se conecta a la base de datos AWS RDS para obtener datos agregados. La aplicación también se conecta a AWS S3 para obtener datos sin procesar almacenados en formato de paquete.
Gracias al desarrollo de Python y la biblioteca GSL, podemos conectarnos fácilmente a bases de datos y buckets de S3, y luego usar JMP para realizar todos nuestros cálculos estadísticos. Esto podría incluir gráficos SPC, indicadores de capacidad para CPK, etc. De esta manera, obtenemos los datos agregados y los datos brutos. Una vez hecho esto, podremos realizar minería y análisis de datos.
Hemos presentado cómo accedemos a nuestros datos en S3. En conclusión, la integración de Python en JMP para el acceso a AWS ofrece numerosas ventajas. Mejora tanto la funcionalidad como la eficiencia. Las bibliotecas de Python facilitan la interacción con cualquier servicio. En nuestro caso, mostramos AWS, pero puede ser cualquier otro servicio que no sea nativo de JMP. Lo hicimos con S3, DynamoDB y Secret Manager, servicios de AWS, ya que son los que utilizamos actualmente en Soitec.
La integración que tenemos desde JMP 18 reduce la complejidad y nos ahorra tiempo, ya que antes teníamos que desplegar manualmente las bibliotecas de Python y realizar la instalación. Ahora, Python nos permite hacerlo todo, garantizando el acceso a todos los datos y facilitando que el usuario final se centre en el análisis y no en la recopilación de datos. Juntos, Python y JMP crean una poderosa sinergia para una toma de decisiones eficiente basada en datos.
En las próximas versiones de JMP, presentamos la biblioteca jmputils para Python. Esta biblioteca ofrece una nueva forma de interactuar entre JMP y Python, y estamos muy entusiasmados por descubrir cómo la utilizaremos y cómo nos brindará una experiencia totalmente mejorada para ejecutar todo en Python y prepararlo posteriormente para JMP. Esperamos con interés esta versión.
Gracias. Eso es todo por nuestra parte. Pueden ver una breve presentación de nuestra empresa, lo que hacemos y cuál es la esencia de nuestro negocio.
Gracias.
Gracias.
