Para conjuntos de datos muy grandes, Ajustar modelo con muchas variables 'Por' tiene un rendimiento limitado.Suponiendo que la ejecución del modelo no se quede sin memoria, el tiempo de procesamiento es bastante lento.Por ejemplo: un archivo de datos de 50 millones de filas con las coordenadas X e Y como efectos del modelo, y la coordenada Z como la variable Y para adaptarse a 1000 variables 'Por' distintas, fallará en un sistema con 256 GB de RAM y varios procesadores. (La memoria es lo que lo mata aquí, pero suponiendo que tuviéramos RAM infinita, el tiempo de cálculo sigue siendo muy lento ya que es de un solo subproceso)
El deseo es que Fit Model Platform agrupe los cálculos del modelo en lotes más pequeños y manejables de variables 'Por' y utilice subprocesos múltiples para procesar la carga de trabajo hasta que todas las variables 'Por' tengan una respuesta generada. En el caso particular con el que estoy trabajando, la Personalidad es 'Mínimos Cuadrados Estándar' y el Énfasis es 'Informe Mínimo'. Una vez que se genera la respuesta, estoy capturando los valores residuales y los valores pronosticados, lo que también toma tiempo para actualizar la tabla de datos.
¿Existe la oportunidad de administrar las cargas de trabajo de Fit Model de manera más eficiente para grandes conjuntos de datos?
Gracias,
Ryan
