Bei sehr großen Datensätzen ist die Leistung von Fit Model mit vielen „By“-Variablen begrenzt. Vorausgesetzt, der Speicher der Modellausführung geht nicht aus, ist die Verarbeitungszeit ziemlich langsam. Beispiel: Eine 50 Millionen Zeilen umfassende Datendatei mit X- und Y-Koordinaten als Modelleffekte und Z-Koordinate als Y-Variable, die mit 1000 unterschiedlichen „By“-Variablen angepasst werden soll, schlägt auf einem System mit 256 GB RAM und mehreren Prozessoren fehl. (Der Speicher ist hier der Knackpunkt, aber vorausgesetzt, wir hätten unendlich viel RAM, ist die Rechenzeit immer noch sehr langsam, da es sich um ein Single-Thread-System handelt.)
Der Wunsch ist, dass die Fit Model Platform die Modellberechnungen in kleinere, besser handhabbare Stapel von „By“-Variablen bündelt und Multithreading verwendet, um die Arbeitslast zu verarbeiten, bis für alle „By“-Variablen eine Antwort generiert wurde. In dem speziellen Fall, mit dem ich arbeite, ist die Persönlichkeit „Standard Least Squares“ und die Betonung „Minimal Report“. Sobald die Antwort generiert ist, erfasse ich die Restwerte und die vorhergesagten Werte, was ebenfalls Zeit in Anspruch nimmt, um sie in die Datentabelle zu aktualisieren.
Gibt es eine Möglichkeit, die Arbeitslast von Fit Model bei großen Datensätzen effizienter zu verwalten?
Danke schön,
Ryan
