La plateforme K Nearest Neighbours, ou KNN, prédit une valeur de réponse pour une observation donnée en utilisant les réponses des observations dans le voisinage local de cette observation. Il peut être utilisé pour classer une réponse catégorielle ainsi que pour prédire une réponse continue.
KNN est un algorithme d'apprentissage automatique non paramétrique et supervisé. Il part de l’hypothèse sous-jacente selon laquelle les similitudes dans certains paramètres (les observations) reflètent les similitudes dans d’autres paramètres (la prédiction). Pour remplir cette hypothèse, KNN classe les k plus petites distances entre l'observation donnée et toutes les autres observations.
De ce fait, les K-Nearest Neighbours peuvent classer les observations avec des limites de prédiction irrégulières. Cependant, comme l’algorithme est sensible aux prédicteurs non pertinents, le choix des prédicteurs peut affecter vos résultats.
Calculer la distance
JMP pro 17 utilise les distances euclidiennes pour calculer les distances entre les valeurs prédictives et celles des autres. Dans un espace 2D, la distance euclidienne d entre (x1, y1) et (x2, y2) est simplement :
d = sqrt((x2-x1)^2 + (y2-y1)^2)
la méthode euclidienne exige que toutes les valeurs soient réelles.
Faire des prédictions
Le KNN donne sa prédiction en fonction des types de réponses dont il dispose.
- Réponses continues
JMP prédit les valeurs comme la moyenne des réponses des k voisins les plus proches. Chaque prédicteur continu est mis à l'échelle par son écart type. Les valeurs manquantes pour un prédicteur continu sont remplacées par la moyenne de ce prédicteur.
- Réponses catégoriques
Dans JMP, la valeur prédite est le niveau de réponse le plus fréquent pour les k voisins les plus proches. S'il existe plusieurs réponses principales, la réponse prédite est attribuée en sélectionnant aléatoirement l'un de ces niveaux.
La valeur k ou n_neighbours
Différentes valeurs de k peuvent donner différentes prédictions. Dans JMP, il vous suffit de spécifier le nombre maximum de k. Pour chaque k, 1 ≤ k ≤ k_max, JMP construit un modèle en utilisant uniquement les observations de l'ensemble d'apprentissage. Chacun de ces modèles est utilisé pour classer les observations de l'ensemble de validation. Les résultats de l'ensemble de validation sont utilisés pour sélectionner le modèle avec le taux d'erreur de classification le plus bas (c'est-à-dire le meilleur k).
Validation de KNN dans la modélisation JMP
Vous pouvez ajouter une colonne numérique comme validation pour la modélisation KNN dans JMP Pro. JMP utilise la validation pour partitionner les données en ensembles avant la modélisation afin de réduire le surajustement et de sélectionner un bon modèle prédictif. Pour KNN, cette fonctionnalité est facultative. Cependant, le surapprentissage peut entraîner une inadéquation entre l'entraînement et la prédiction, c'est-à-dire que l'algorithme est trop spécifique aux données d'entraînement, ce qui entraîne des prédictions moins précises.
Pour KNN, vous pouvez partitionner les données en deux ou trois ensembles par les méthodes suivantes :
|
Méthode
|
Ensemble
|
Fonction
|
|
Entraînez-vous et réglez
|
Entraînement
|
Estimer les paramètres du modèle
|
|
Validation
|
Ajustez les paramètres du modèle dans l'algorithme d'ajustement du modèle et choisissez finalement un modèle avec une bonne capacité prédictive
|
|
Former, ajuster et évaluer
|
Entraînement
|
Estimer les paramètres du modèle
|
|
Validation
|
Ajustez les paramètres du modèle dans l'algorithme d'ajustement du modèle et choisissez finalement un modèle avec une bonne capacité prédictive
|
|
Test
|
Évaluer indépendamment les performances du modèle ajusté
|
Apprenez-en davantage sur la validation dans le documentaire JMP : Exemple de la plateforme Make Validation Column (jmp.com)
Exemple
Dans cet exemple, nous souhaitons utiliser KNN pour classer un client entre Bon risque et Mauvais risque en fonction de son historique financier.
- Sélectionnez Aide > Exemple de dossier de données et ouvrez Equity.jmp .
- Sélectionnez Analyser > Modélisation prédictive > K voisins les plus proches .
- Sélectionnez MAUVAIS et cliquez sur Y, Réponse . C'est la valeur à analyser.
- Sélectionnez PRÊT et CLNO et cliquez sur X, Facteur . Ce sont les variables prédictives.
- Sélectionnez Validation et cliquez sur Validation . Il s'agit de la valeur utilisée pour partitionner les données en ensembles avant la modélisation afin d'éviter le surajustement et de sélectionner un bon modèle prédictif. Nous avons utilisé la méthode Train, Tune et Evaluate dans l'exemple.
- Cliquez sur OK .
Pour enregistrer l'équation de prédiction
- Cliquez avec le bouton droit sur le triangle rouge MAUVAIS et sélectionnez Publier la formule de prédiction .
- À côté de Nombre de voisins, K , laissez la valeur par défaut de 7.
- Cliquez sur OK .
L'équation de prédiction est enregistrée dans Formula Depot . Vous pouvez comparer les performances des modèles alternatifs publiés dans Formula Depot avec celles du modèle K = 7 voisin le plus proche à l'aide de l'option Comparaison de modèles dans Formula Depot. Vous trouverez plus d'informations sur Formula Depot dans Aide/Bibliothèque de documentation JMP, page 3763 .
Si vous êtes intéressé, vous pouvez revenir à l'étape 4. Cette fois, mettez tous les paramètres entre LOAN et CLNO comme X, Factor. Qu'est-ce qui a changé et pourquoi ?
Shuran,
Évalué par Jeremy T. @jeteez
Janvier 2024, basé sur JMP(R) Pro 17.2.0
Cet article ne reflète pas les positions et opinions de JMP Statistical Discovery ni de SAS Institute.
