L'ordre des colonnes d'entrée affecte les résultats dans la plate-forme NeuralJe travaille sur un projet de groupe pour la classe et une fois qu'un membre a placé les colonnes de notre fichier dans un ordre différent, son modèle Neural Net donne des résultats de classification erronés bien pires de 16% à 18%.Pourquoi cela arriverait-il?
Re : colonnes réorganisées et maintenant le modèle donne des résultats différentsSalut Cate,
L'ordre dans lequel les facteurs sont répertoriés dans la boîte de dialogue du modèle affecte les valeurs de départ du réseau de neurones et produira des résultats différents. La différence dans les résultats est liée à la différence des poids attribués aux facteurs lors du premier essai du réseau neuronal. La seule façon de s'assurer que les mêmes résultats sont obtenus est d'utiliser les mêmes facteurs dans le même ordre avec la même graine.
J'espère que vous appréciez le cours !
Mia
Re : colonnes réorganisées et maintenant le modèle donne des résultats différentsSalut, oui, nous avons une colonne de validation.Re : colonnes réorganisées et maintenant le modèle donne des résultats différentsUne dernière vérification, peut-être évidente, est que les routines du réseau neuronal EXIGENT un ensemble de validation. Si vous n'avez pas spécifié d'ensemble de validation, JMP choisira automatiquement AU HASARD votre ensemble de validation. Pour éviter cela, créez une colonne spécifiant votre jeu de validation et spécifiez-le lors de l'exécution de la plate-forme de réseau neuronal. Ceci, associé au complément de Mia, devrait vous permettre d'obtenir des résultats reproductibles.
Re : colonnes réorganisées et maintenant le modèle donne des résultats différentsSalut Cate,
Merci d'avoir posé cette question.Les réseaux de neurones ont une composante aléatoire : ils utilisent des valeurs de départ aléatoires pour les pondérations, puis mettent à jour les pondérations de manière itérative pour améliorer les performances du modèle. Le complément, s'il est exécuté juste avant d'exécuter un nouveau modèle à partir de la plate-forme Neural, indique simplement à JMP de démarrer avec les mêmes valeurs de départ pour les pondérations (si le même modèle est exécuté à nouveau).Le complément n'est qu'une simple ligne de code JMP (JSL).Je suppose que si les colonnes sont mélangées dans un ordre différent, vous pourriez voir des résultats différents (je le confirmerai).Je suppose que vous avez le même partitionnement en formation, validation (et test) ?
J'espère que vous appréciez le cours !
Mia
Re : colonnes réorganisées et maintenant le modèle donne des résultats différentsVous êtes merveilleux!!Merci beaucoup!
Je suis tellement impressionné par le service client fantastique et la réactivité.
Passe une bonne semaine.
Re : colonnes réorganisées et maintenant le modèle donne des résultats différentsCompris!
C'est bien que tu sois au courant @mia_stephens ' ajouter à. Elle pourra parler de ce qu'il fait et ne fait pas (je comprends qu'il y a eu quelques révisions). Je vais la diriger vers ce fil.
Re : colonnes réorganisées et maintenant le modèle donne des résultats différentsMerci pour votre réponse.Nous allons en effet revoir la documentation que vous avez référencée.Et en fin de compte, comme vous l'avez dit, nous devrons peut-être simplement accepter cette "variabilité algorithmique".
A titre d'explication, la volonté de forcer des résultats reproductibles, bien qu'inappropriée dans un cadre professionnel, est très souhaitable dans un cadre universitaire.Il s'agit d'un projet de groupe pour une classe d'études supérieures.Malheureusement, les membres de l'équipe résident tous dans des États différents et essaient de travailler de concert pour développer des modèles prédictifs.Pour Neural Nets, nous utilisons tous la même graine aléatoire avec le complément Random Seed qui, selon notre professeur, a été conçu par Mia Stephens Academic Ambassador avec JMP dans le but d'être utilisé dans le domaine universitaire.Il semble étrange que la même personne exécutant le même modèle avec la même graine aléatoire obtienne des réponses si différentes d'un jour à l'autre (et toujours des résultats pires).Lorsqu'il est exécuté le même jour, le modèle produit de manière fiable le même taux d'erreur de classification des tests.Le seul changement, autre que l'arrêt de l'ordinateur, consistait à réorganiser les colonnes pour préparer le fichier pour un vidage supplémentaire des données. De plus, les autres membres de l'équipe ne peuvent pas reproduire les résultats en exécutant ce même modèle.
Cela nous a obligés à rechercher s'il y a un problème avec le modèle, ou s'il est attribuable au hasard, que nous pensions avoir été éliminé via le Random.
Encore une fois, merci pour votre réponse précédente.
Re : colonnes réorganisées et maintenant le modèle donne des résultats différentsDe nombreux algorithmes utilisés dans la modélisation prédictive ont nécessairement un aspect aléatoire. JMP fournit plusieurs façons de rendre les résultats "reproductibles", les détails dépendant exactement de ce que vous avez fait (recherchez les références à "Random Seed" dans l'interface utilisateur et consultez la documentation). Il est presque certain que la variation que vous avez vue est pour cette raison et n'a rien à voir avec le mélange des colonnes.
Cela dit, c'est une bonne question supplémentaire pour se demander s'il est souhaitable de forcer les résultats à être reproductibles, ou s'il faut adopter cette «variabilité algorithmique».
