Pour les ensembles de données très volumineux, Ajuster le modèle avec de nombreuses variables « By » a des performances limitées.En supposant que l'exécution du modèle ne manque pas de mémoire, le temps de traitement est assez lent.Par exemple : un fichier de données de 50 millions de lignes avec les coordonnées X et Y comme effets de modèle et la coordonnée Z comme variable Y pour s'adapter à 1 000 variables « By » distinctes échouera sur un système doté de 256 Go de RAM et de plusieurs processeurs. (La mémoire est ce qui la tue ici, mais en supposant que nous disposions d'une RAM infinie, le temps de calcul est encore très lent car il s'agit d'un thread unique)
Le souhait est que la plate-forme Fit Model regroupe les calculs du modèle dans des lots plus petits et plus gérables de variables "By" et utilise le multithreading pour traiter la charge de travail jusqu'à ce que toutes les variables "By" aient une réponse générée. Dans le cas particulier avec lequel je travaille, la personnalité est 'Standard Least Squares' et l'emphase est 'Minimal Report'. Une fois la réponse générée, je capture les valeurs résiduelles et les valeurs prédites, ce qui prend également du temps à mettre à jour dans le tableau de données.
Existe-t-il une possibilité de gérer plus efficacement les charges de travail Fit Model pour les grands ensembles de données ?
Merci,
Ryan
