Grand réseau de neurones, impossible d'enregistrer les formulesBonjour,
J'ai une grande base de données et j'ai réussi à exécuter un réseau de neurones sur les données après une longue attente.
Les données contiennent des milliers de variables d'entrée et environ 700 observations.
Quel est le moyen le plus efficace ou économiser les formules? J'ai essayé "enregistrer les formules" mais il était impossible de produire un résultat après 24 heures d'attente. J'ai donc redémarré jmp. Je vais essayer des formules rapides ou un jeu de données SAS, mais je pensais pouvoir poser la question de toute façon.
Je me demandais également comment recréer le réseau de neurones que j’ai dans JMP dans Enterprise Miner. Le modèle ne comporte qu'une seule couche avec 3 nœuds d'activation tanH, est optimisé (le modèle s'exécute 40 fois) avec un taux d'apprentissage de 0,6 et n'utilise aucune pénalité. Si quelqu'un peut me faire comprendre comment répéter cela dans SAS (base ou EM), cela serait très utile. J'imagine que je pourrais également exécuter le code JMP dans Enterprise Miner, est-ce possible?
Merci.
Re: Grand réseau de neurones, impossible d'enregistrer les formulesOui, je devrais essayer l'approche de réduction de dimension que vous avez mentionnée. J'hésite un peu à croire que cela fonctionnera, car les données d'entrée ressemblent à une série chronologique avec des données associées à un retard indéterminé, de sorte que la relation entre toutes les variables d'entrée est un peu "floue" (une observation, entrée la variable un est le premier échantillon de la série pour toutes les observations, mais j'utilise le NN pour trouver des modèles dans les données au lieu de comparer directement les observations pour chaque variable, si cela a du sens) et je ne suis donc pas sûr à 100% de l'ACP ou la méthode de partition suggérée conviendrait.
Je pense que réduire mon taux d'échantillonnage pour chaque série et supprimer manuellement une série à la fois peut générer beaucoup moins de données et un modèle équivalent.
Re: Grand réseau de neurones, impossible d'enregistrer les formulesJ'ai fait un peu plus de tests avec des réseaux de neurones plus petits, et cela semble être le calcul le plus efficace.
Merci pour la suggestion.
Re: Grand réseau de neurones, impossible d'enregistrer les formulesAvec des milliers de variables d'entrée et 40 étapes de relance, je peux imaginer que vous avez une formule massive et extrêmement complexe.
Si vous le permettez, je suggérerais d’utiliser une technique de réduction variable telle que la partition si vous utilisez JMP ou Bootstrap Forest, un arbre boosté ou une régression généralisée si vous avez JMP Pro pour réduire le nombre de variables d’entrée à un nombre plus gérable de facteurs les plus importants. Une fois que vous avez ces facteurs, vous pouvez exécuter un modèle Neural comme auparavant avec le jeu réduit de variables d'entrée. Ne pas dire que le modèle ne sera toujours pas volumineux et / ou compliqué, mais je parierais qu'il serait beaucoup plus petit que votre modèle NN actuel. En outre, si vous utilisez ces autres techniques, vous pouvez comparer les modèles pour voir lequel est le meilleur via Comparaison de modèles dans le dépôt de formules comme le suggère Karen ou Comparaison de modèles autonome.
Re: Grand réseau de neurones, impossible d'enregistrer les formulesAvez-vous essayé le SAS Data Step (je ne suis pas un utilisateur SAS, donc je ne connais pas grand chose à ce sujet, mais je vous suggère de regarder dans cette option). Si vous avez JMP13 Pro, le dépôt de formules peut vous aider. Vous pouvez publier une formule dans le dépôt puis, à partir du dépôt, créer un code de scoring dans plusieurs langues.
