Bei sehr großen Datensätzen hat Fit Model mit vielen 'By'-Variablen eine begrenzte Leistung.Unter der Annahme, dass der Modellausführung nicht der Arbeitsspeicher ausgeht, ist die Verarbeitungszeit ziemlich langsam.Beispiel: Eine Datendatei mit 50 Millionen Zeilen mit X- und Y-Koordinaten als Modelleffekte und Z-Koordinate als Y-Variable zur Anpassung an 1000 verschiedene „By“-Variablen schlägt auf einem System mit 256 GB RAM und mehreren Prozessoren fehl. (Der Speicher ist das, was es hier tötet, aber vorausgesetzt, wir hätten unendlich viel RAM, ist die Rechenzeit immer noch sehr langsam, da es sich um einen Single-Thread handelt.)
Der Wunsch ist, dass die Fit Model Platform die Modellberechnungen in kleineren, besser handhabbaren Stapeln von „By“-Variablen bündelt und Multithreading verwendet, um die Arbeitslast zu verarbeiten, bis für alle „By“-Variablen eine Antwort generiert wird. In dem speziellen Fall, mit dem ich arbeite, ist die Persönlichkeit „Standard Least Squares“ und die Betonung „Minimal Report“. Sobald die Antwort generiert ist, erfasse ich die Restwerte und vorhergesagten Werte, was auch Zeit braucht, um die Datentabelle zu aktualisieren.
Gibt es eine Möglichkeit, Arbeitslasten für Modellanpassungen für große Datensätze effizienter zu verwalten?
Danke schön,
Ryan
