Pondérer les réseaux de neurones?<meta http-equiv="Content-Type" content="text/html; charset=UTF-8" />Un client m'a posé une question concernant les réseaux neuronaux:
" Je fais de l'ajustement de modèles à l'aide de réseaux de neurones. Je voudrais utiliser la «pondération» pour minimiser les erreurs de classification dans certaines situations. Comment utiliser «poids» dans JMP? Il existe une option «Fréquence» dans la modélisation de réseau de neurones JMP. Est-ce que cela a quelque chose à voir avec la pondération? Toute aide sera grandement appréciée. "
Certes, ma compréhension du fonctionnement des réseaux neuronaux est très basique, et je suis un peu perdu ici. Je comprends très bien la pondération des modèles de régression, mais en ce qui concerne les réseaux neuronaux. Quelqu'un peut-il me fournir de l'aide ou des conseils ici?
Salutations,
Erich
Re: Pondération des réseaux neuronaux?Pourquoi ne pas utiliser la propriété de colonne de la matrice de profit pour placer les coûts sur une classification incorrecte? Personnellement, je n'utiliserais pas le poids, car ce sera analogue à la duplication de lignes.
Re: Pondération des réseaux neuronaux?Salut Eric,
On dirait que le client a affaire à une variable de réponse catégorielle déséquilibrée, où la catégorie cible est sous-représentée.J'ai tendance à rester à l'écart de la fréquence et du poids pour les modèles (en particulier les modèles Neural et Partition).Une façon générale de traiter ce problème, s'il y a suffisamment de données, est d'échantillonner à partir de l'ensemble de données plus large, en sélectionnant toutes les observations dans la catégorie cible et le même nombre d'observations dans l'autre catégorie.Le modèle est construit sur des données équilibrées, et la matrice de confusion le reflète.Les probabilités sont ajustées après coup pour refléter les vraies probabilités.
Il existe un complément qui fait cela, qui gère également l'équilibrage du jeu de validation si vous le souhaitez.Cela vous permet de créer le modèle sur un ensemble d'apprentissage équilibré (et un ensemble de validation), puis un ensemble de test non équilibré est utilisé pour la comparaison et la sélection du modèle: Complément de partitionnement de données stratifiées (avec options d'équilibrage).
Une autre approche consiste à explorer différents seuils pour la matrice de confusion pour ces situations.Il existe également un complément pour cela: Complément de matrice de confusion de seuil alternatif .
Ces approches sont discutées dans Shmueli, Patel et Bruce, Data Mining for Business Intelligence.La première approche est discutée dans Data Mining Techniques par Linoff et Berry.
FYI - nous avons mis une collection de ces outils pratiques à: Collection: compléments d'outils d'exploration de données
J'espère que cela t'aides!Heureux de discuter si vous le souhaitez.
Mia
Re: Pondération des réseaux neuronaux?Salut Eric,
Je ne me considérerai pas comme un expert en NN, mais pour autant que je les comprends, il existe différentes façons de pondérer dans les réseaux neuronaux. La première consiste à pondérer la fonction de pénalité, car vous pensez que peu de facteurs parmi les nombreux facteurs contribuent davantage à la capacité prédictive du modèle. Cela peut être fait dans JMP via le réglage de la fonction de pénalité sur une décroissance absolue ou de poids (O vue d'ensemble des réseaux de neurones )
Ce que j'ai compris de votre description, il est intéressé par la pondération des entrées déjà pour la fonction de transfert afin de construire des réseaux de neurones artificiels. D'après ma compréhension (et je suis heureux si quelqu'un le sait mieux que moi et partage ses connaissances ) nous n'ajoutons pas de poids pour la fonction de transfert utilisée par la fonction d'activation. Hmm, bien que vous puissiez obtenir des types de poids avec la variable de fréquence au cas où - sous le capot - cela serait utilisé pour ajouter plus d'entrées qu'une seule pour simuler une importance plus élevée. Mais là, je n'ai pas confiance, car je ne peux pas examiner l'algorithme implémenté.
J'espère que cela aidera. Cependant j'aimerais voir alors qui confirme ce que j'ai dit
Martin
