Per set di dati molto grandi, Fit Model con molte variabili 'By' ha prestazioni limitate. Supponendo che l'esecuzione del modello non esaurisca la memoria, il tempo di elaborazione è piuttosto lento. Ad esempio: un file di dati da 50 milioni di righe con coordinate X e Y come effetti del modello e coordinata Z come variabile Y per adattarsi a 1000 variabili 'By' distinte fallirà su un sistema con 256 GB di RAM e più processori. (La memoria è ciò che lo uccide qui, ma supponendo che avessimo RAM infinita, il tempo di elaborazione è ancora molto lento poiché è single threaded)
Il desiderio è che la Fit Model Platform raggruppi i calcoli del modello in batch più piccoli e gestibili di variabili "By" e utilizzi il multithreading per elaborare il carico di lavoro finché tutte le variabili "By" non hanno generato una risposta. Nel caso specifico con cui sto lavorando, la personalità è "Minimi quadrati standard" e l'enfasi è "Report minimo". Una volta generata la risposta, catturo i valori residui e i valori previsti, il che richiede anche del tempo per l'aggiornamento della tabella dati.
Esiste la possibilità di gestire i carichi di lavoro del Fit Model in modo più efficiente per set di dati di grandi dimensioni?
Grazie,
Ryan
