Para conjuntos de datos muy grandes, el ajuste del modelo con muchas variables "By" tiene un rendimiento limitado. Suponiendo que la ejecución del modelo no se quede sin memoria, el tiempo de procesamiento es bastante lento. Por ejemplo: un archivo de datos de 50 millones de filas con coordenadas X e Y como efectos del modelo y la coordenada Z como la variable Y para ajustar con 1000 variables "By" distintas fallará en un sistema con 256 GB de RAM y varios procesadores. (La memoria es lo que lo arruina aquí, pero suponiendo que tuviéramos una RAM infinita, el tiempo de cómputo sigue siendo muy lento ya que es de un solo subproceso)
El deseo es que la plataforma Fit Model agrupe los cálculos del modelo en lotes más pequeños y manejables de variables "By" y utilice subprocesos múltiples para procesar la carga de trabajo hasta que todas las variables "By" tengan una respuesta generada. En el caso particular con el que estoy trabajando, la personalidad es "Mínimos cuadrados estándar" y el énfasis es "Informe mínimo". Una vez que se genera la respuesta, capturo los valores residuales y los valores predichos, lo que también lleva tiempo actualizar en la tabla de datos.
¿Existe la oportunidad de gestionar las cargas de trabajo del modelo de ajuste de manera más eficiente para grandes conjuntos de datos?
Gracias,
Ryan
