Per set di dati molto grandi, Fit Model con molte variabili "By" ha prestazioni limitate.Supponendo che l'esecuzione del modello non esaurisca la memoria, il tempo di elaborazione è piuttosto lento.Ad esempio: un file di dati di 50 milioni di righe con le coordinate X e Y come effetti del modello e la coordinata Z come variabile Y per adattarsi a 1000 variabili 'By' distinte non riuscirà su un sistema con 256 GB di RAM e più processori. (La memoria è ciò che lo uccide qui, ma supponendo che avessimo RAM infinita, il tempo di calcolo è ancora molto lento poiché è a thread singolo)
L'obiettivo è che Fit Model Platform raggruppa i calcoli del modello in batch di variabili "By" più piccoli e più gestibili e utilizza il multithreading per elaborare il carico di lavoro fino a quando tutte le variabili "By" non hanno generato una risposta. Nel caso particolare con cui sto lavorando, la personalità è "minimi quadrati standard" e l'enfasi è "rapporto minimo". Una volta generata la risposta, sto acquisendo i valori residui e i valori previsti, il che richiede tempo anche per l'aggiornamento alla tabella dei dati.
Esiste la possibilità di gestire i carichi di lavoro di Fit Model in modo più efficiente per set di dati di grandi dimensioni?
Grazie,
Ryan
