Pour les ensembles de données très volumineux, l'ajustement du modèle avec de nombreuses variables « By » présente des performances limitées. En supposant que l'exécution du modèle ne manque pas de mémoire, le temps de traitement est assez lent. Par exemple : un fichier de données de 50 millions de lignes avec les coordonnées X et Y comme effets du modèle et la coordonnée Z comme variable Y pour s'adapter à 1 000 variables « By » distinctes échouera sur un système doté de 256 Go de RAM et de plusieurs processeurs. (La mémoire est ce qui le tue ici, mais en supposant que nous ayons une RAM infinie, le temps de calcul est toujours très lent car il est monothread)
L'objectif est que la plateforme Fit Model regroupe les calculs du modèle en lots plus petits et plus faciles à gérer de variables « By » et utilise le multithreading pour traiter la charge de travail jusqu'à ce que toutes les variables « By » aient une réponse générée. Dans le cas particulier avec lequel je travaille, la personnalité est « Moindres carrés standard » et l'accent est mis sur « Rapport minimal ». Une fois la réponse générée, je capture les valeurs résiduelles et les valeurs prédites, ce qui prend également du temps à mettre à jour dans la table de données.
Existe-t-il une possibilité de gérer plus efficacement les charges de travail du modèle d’ajustement pour les grands ensembles de données ?
Merci,
Ryan
