565545_es-ES

liliconcom

Mucho tiempo para big data

Hola,

 

Estoy usando JMP para conjuntos de datos más grandes, 1000 variables y 500 sujetos. Se necesita mucho tiempo, como un par de minutos, para ejecutar un modelo de ajuste simple. Tengo una buena computadora portátil con 64 GB de RAM, 4 g de GPU, etc. Cuando se ejecuta JMP, nada se acerca al 30% de uso; aún así, JMP tarda una eternidad en hacer algo. Le di prioridad a JMP Realtime.

¿Alguna sugerencia?

 

Mejor

 

Kamil

 

Modelado estadístico avanzadoExploración y visualización de datosRe: Mucho tiempo para big data

Hola Kamil,

El cuello de botella es la implementación de Ajustar modelo>Mínimos cuadrados estándar. Incluso con el ajuste por separado, se intenta poner 1000 resultados de modelos en un solo informe. Y eso es sólo el comienzo. Supongo que hace esto en tiempo lineal (uno a la vez), por lo que se utiliza un procesador/hilo para generar el informe. Pero sólo estoy adivinando.

 

No estoy seguro de si puede especificar cómo usar los recursos de la computadora mediante JMP (excepto para desactivar el subproceso múltiple según la plataforma en algunos de los cuadros de diálogo de la plataforma). Muchas de las plataformas ya son multiproceso (creo que Response Screening podría ser una de ellas). No estoy seguro acerca de Ajustar modelo>Mínimos cuadrados estándar. También supongo que la generación de informes es de un solo subproceso. Pero necesitaría que un desarrollador me dijera cómo funciona esta situación entre bastidores. Algunas funciones no pueden ser multiproceso, por lo que es posible que no sea posible utilizar la capacidad máxima de la CPU. La memoria es similar. Puede consumir toda su memoria simplemente agrupando grandes conjuntos de datos (de 1000 por 1000 en un clúster jerárquico bidireccional). Esto es principalmente para almacenar la información para generar la salida gráfica.

 

Espero que esto dé una idea de lo que hace JMP en segundo plano. Intenta utilizar todos los recursos disponibles para esa función/capacidad/plataforma, si es posible.

 

Por cierto, seguimos mejorando JMP Pro para que se adapte a conjuntos de datos amplios, como el suyo. Ajustar modelo>Modelos mixtos es un ejemplo en el que tenemos una opción de triángulo rojo para eliminar informes y mostrar solo tablas. Esto hace que sea más rápido ajustar un modelo mixto a miles de respuestas, pero no proporciona un informe basado en gráficos.

 

Re: Mucho tiempo para big data

Hola Chris,

 

Tengo JMP 17 Pro. Gracias por el consejo. Esto hace que las cosas sean más rápidas. Aún así, ¿existe alguna forma o configuración que permita a JMP utilizar más capacidad de mi computadora? Tratando de entender qué es un cuello de botella.

 

Mejor

 

Kamil

Re: Mucho tiempo para big data

Hola @kamil ,

 

¿Qué versión de JMP estás usando? ¿Has probado el modelo de evaluación de respuesta de personalidad en forma? Si tienes JMP Pro, entonces esta personalidad está presente. Si solo es JMP, la detección de respuesta se puede encontrar en Analizar>Detección>Detección de respuesta (este método solo permite probar un efecto de modelo a la vez). Response Screening está diseñado específicamente para hacer esto y es muy rápido.

 

 

Re: Mucho tiempo para big data

Hola P_Bartell y todos,

 

Gracias por su respuesta. Estos son datos metabolómicos. 1000 variables continuas como columnas medidas en 500 sujetos (filas). El modelo de ajuste que estaba intentando ejecutar es solo una prueba t para el efecto del genotipo (solo 2 grupos categóricos) con covariables. Entonces, todos mis metabolitos en Y y mi genotipo, IMC, sexo y edad como efectos modelo. Montar por separado.

 

Estoy tratando de entender por qué mi computadora no se utiliza a su máxima capacidad durante esas operaciones. Mi CPU está al 30% y mi RAM puede estar al 10%. ¿Cuál es el cuello de botella aquí? ¿Puedo configurar JMP para usar más mi computadora?

 

Gracias

 

Kamil

 

 

Re: Mucho tiempo para big data

Además, ¿son datos numéricos o cadenas? Si son cadenas, ¿cuántas variables contienen cadenas y cuál es la naturaleza de una cadena?

Re: Mucho tiempo para big data

Para agregar un poco a @peng_liu Según lo que piensa, podría ayudarnos a orientarnos si nos cuenta un poco más sobre sus datos, como la naturaleza de las 'variables'... ¿todas ellas son x y/o cuántas y? Por favor, diferencie/explique una 'variable' y un 'tema'. El tipo de datos también puede influir en el tiempo de procesamiento en algunas plataformas. Y el 'modelo de ajuste simple' no nos dice qué personalidad elegiste realmente. Algunos también pueden tardar más que otros. Cada diálogo de plataforma requiere un modelo. ¿Puede decirnos cuál es la estructura de su modelo? Por último, ¿más información sobre sus objetivos de modelado? Con '...1000 variables...', si su objetivo de modelado es la identificación de variables, probablemente la última plataforma que miraría sería Fit Model y cualquiera de las personalidades que contiene.

Re: Mucho tiempo para big data

Cuando dijiste 30% de uso, ¿eso es CPU? Supongo que no estás hablando del tamaño de la memoria. Creo que estás hablando de un tipo de modelado específico; para el tamaño (o complejidad) de tus datos, el rendimiento es lento. Por ejemplo, los mínimos cuadrados no deberían tener problemas como este, pero otros métodos sí pueden.

Re: Mucho tiempo para big data

Si lo está haciendo mediante secuencias de comandos, asegúrese de abrir las tablas de datos en modo privado para ahorrar tiempo de direccionamiento de la memoria.

Cierra todas las demás aplicaciones para tener tanta RAM disponible como puedas y elimina el intercambio.