48854_fr-FR

liliconcom

Performances non linéaires

Salut,

 

J'ai un client qui utilise régulièrement une plateforme non linéaire.

Il définit une équation à 16 paramètres et souhaite les estimer sur une donnée relativement volumineuse (106300 lignes). Cela peut prendre environ 3 heures pour faire l'estimation, ce qui est assez long.
Il a un ordinateur à 4 cœurs mais un seul est utilisé pendant le processus.
A part la RAM, est-ce que quelqu'un a des conseils pour améliorer le problème de temps pour son cas? et l'ajout de RAM aura-t-il vraiment un bon impact dans ce cas ?

Par défaut, il utilise la méthode de Newton. Je ne suis pas sûr que changer cette option puisse être utile.

Merci beaucoup pour vos suggestions,

Florence

PS : je souhaite à tous une bonne pause festive !

 

Re : Performances non linéairesJe suis d'accord avec l'approche de Nick, en particulier les points de départ et l'algorithme utilisé. Le point de départ est extrêmement important lors de l'utilisation de newton. Et même dans ce cas, vous pourriez simplement trouver une solution locale basée sur la méthode derrière. De plus, Newton a ses difficultés si vous avez un comportement hautement non linéaire avec plusieurs points de retournement, il peut alors sauter d'un optimum à l'autre et a du mal à converger. BFGS ou Quasi Neeton devraient mieux performer. Et ils se traduiront plus probablement par un véritable optimum. Il devrait essayer ces deux suggestions, au cas où il ne pourrait pas réduire le paramètre défini à l'avance. Comme je suis également d'accord qu'il s'agit d'un grand ensemble de paramètres. Bien que l'optimisation numérique ne soit pas rare. Cependant, vous devez garder à l'esprit qu'avec Newton, vous devez calculer à chaque itération la toile de jute 16x16 et son inverse, ce qui prend du temps. Aussi pour Newton, je ne crois pas qu'il soit multithread car chaque étape doit calculer la dérivée de l'étape précédente. mais dans le calcul de la toile de jute, il pourrait être multithread. aussi je ne sais pas si dans JMP est implémenté une taille de pas différente de 1, ce qui pourrait être mieux pour les fonctions hautement non linéaires avec de nombreux extrêmes. BFGS et par exemple levenberg markwardt utilisent des approximations de la hesse basées sur les informations de gradient de l'itération précédente, . Par conséquent, vous avez besoin de moins d'opérations.Re : Performances non linéairesSalut Florence !

Un modèle avec 16 paramètres semble beaucoup… y a-t-il une raison (modèle physique, etc.) pour laquelle ils exécutent 16 paramètres ? De plus, quelle version de JMP utilise-t-il, système d'exploitation, taille de RAM, etc. ?

Le non-linéaire est hyper-threadé (voir "Utilisation de JMP" page 602) il doit donc s'exécuter sur les 4 cœurs. Si vous ne voyez aucune charge sur les autres cœurs pendant qu'il s'adapte, il se peut qu'il ait configuré quelque chose pour ne pas autoriser l'hyper threading. J'irais après cela en premier, car cela donnera des gains de performances tout autour de JMP.

Meilleur,

M
Re : Performances non linéairesJe partage toujours les stratégies ci-dessous avec mes clients utilisant la plate-forme non linéaire, généralement celles-ci aideront à converger rapidement vers une solution :


- Utilisez diverses combinaisons d'options itératives (Newton, QuasiNewton BFGS, QuasiNewton SR1 et Dérivées numériques uniquement)

- Ajustez les valeurs de départ des paramètres à l'aide des curseurs pour modifier visuellement la courbe pour mieux s'adapter

- Centrer les polynômes en transformant l'équation, cela améliorera les conditions d'optimisation

- Augmenter le nombre d'itérations autorisées

- Assouplir un des critères de convergence

- Essayez un modèle différent, si les données ne présentent pas la même relation que le modèle choisi, il sera difficile de converger vers une solution.

- Réduire le nombre de paramètres, un modèle qui est sur-défini est celui qui a plus de paramètres qu'il n'en faut pour modéliser la relation.


Re : Performances non linéaires

Bonjour Florence,

Cela peut sembler un peu rétrograde, mais je recommanderais à votre client d'essayer l'estimation des paramètres sur des sous-ensembles de données beaucoup plus petits, puis de comparer les estimations à l'ensemble de données plus large et de voir à quel point ils pourraient être éloignés de l'utilisation de l'ensemble de données complet.Peuvent-ils obtenir un ensemble raisonnable d'estimations avec 10 % ou 20 % des données ? Une fois qu'ils disposent d'un ensemble de paramètres fiables, ils peuvent ensuite appliquer la formule au reste de l'ensemble de données.

Meilleur,

Facture