| Conférencier |
Transcription |
| Michael Crotty |
Bonjour. Merci de votre écoute. |
| |
notre discussion sur le module complémentaire de classification déséquilibrée qui vous permet de comparer les techniques d'échantillonnage et les modèles dans JMP Pro. |
| |
Je m'appelle Michael Crotty. Je suis rédacteur statistique au sein de l'équipe de documentation de JMP. Ma co-présentatrice aujourd'hui est Colleen McKendry, également membre de l'équipe de documentation statistique. Nous avons collaboré avec Marie Gaudard pour ce travail. |
| |
Voici un bref aperçu de notre exposé d'aujourd'hui. Nous examinerons l'objectif de l'ajout que nous avons créé, le contexte du problème de classification déséquilibrée et la manière d'obtenir un modèle de classification dans cette situation. |
| |
Nous examinerons certaines méthodes d’échantillonnage que nous avons incluses dans le module complémentaire et qui sont populaires pour le problème de classification déséquilibrée. |
| |
Nous examinerons les options disponibles dans le module complémentaire |
| |
et parlez de la façon d'obtenir le module complémentaire, puis Colleen montrera un exemple et une démonstration du module complémentaire. |
| |
Dans les diapositives disponibles sur la Communauté, il y a également des références et une annexe contenant des informations générales supplémentaires. |
| |
L’objectif de notre module complémentaire, le module complémentaire de classification déséquilibrée, est de vous permettre d’appliquer une variété de techniques d’échantillonnage conçues pour les données déséquilibrées. |
| |
Vous pouvez comparer les résultats de l’application de ces techniques, ainsi que divers modèles prédictifs disponibles dans JMP Pro. |
| |
Et vous pouvez comparer ces modèles et les ajustements des techniques d'échantillonnage à l'aide de courbes de rappel de précision, de courbes ROC et de courbes de gains, ainsi que d'autres mesures. |
| |
Cela vous permet de choisir un seuil de classification à l'aide des courbes. |
| |
Et vous pouvez également appliquer les techniques d'échantillonnage Tomek, SMOTE et SMOTE plus Tomek directement à vos données, ce qui vous permet ensuite d'utiliser les plates-formes JMP existantes et |
| |
sur ces données nouvellement échantillonnées et affinez les options de modélisation, si vous n'aimez pas les options de méthode par défaut que nous avons choisies. |
| |
Et juste une remarque, les techniques d'échantillonnage Tomek, SMOTE et SMOTE plus Tomek peuvent être utilisées avec des variables prédictives nominales et ordinales, ainsi que continues. |
| |
Voici donc quelques informations sur le problème des données déséquilibrées. |
| |
Donc, en général, vous pourriez avoir une réponse multinomiale, mais nous nous concentrerons sur la variable de réponse binaire, et le point clé est que le nombre d'observations à un niveau de réponse est bien supérieur au nombre d'observations à l'autre niveau de réponse. |
| |
Nous appellerons ces niveaux de réponse respectivement « niveaux de classe majoritaire » et « niveaux de classe minoritaire ». Ainsi, le niveau de classe minoritaire correspond généralement au niveau d'intérêt que vous souhaitez prédire et détecter. Il peut s'agir, par exemple, de détecter une fraude, une maladie ou un risque de crédit. |
| |
Et nous voulons prédire l’appartenance à une classe en fonction de variables de régression. |
| |
Pour ce faire, nous avons développé un modèle prédictif qui attribue des probabilités d’appartenance à la classe minoritaire, puis nous choisissons une valeur seuil qui optimise |
| |
Divers critères. Il peut s'agir du taux d'erreur de classification, du taux de vrais positifs, du taux de faux positifs, etc. Ensuite, nous classons une observation, en déterminant qui appartient à la classe minoritaire, si la probabilité prédite d'appartenance à cette classe dépasse le seuil choisi. |
| |
Alors comment obtenir un modèle de classification ? |
| |
Nous disposons de nombreuses plateformes différentes dans JMP qui peuvent faire une prédiction pour une variable binaire, un résultat binaire |
| |
En présence de variables de régression, il est nécessaire de comparer ces modèles. Certaines mesures traditionnelles, comme la précision de la classification, ne sont pas vraiment adaptées aux données déséquilibrées. Prenons comme exemple extrême le cas d'une minorité de 2 %. |
| |
Je pourrais vous donner une précision de 98 %, simplement en classant toutes les observations comme cas majoritaires. Or, ce modèle ne serait pas utile et vous ne voudriez pas l'utiliser. |
| |
parce que vous ne prédisez pas... vous ne prédisez correctement aucun de vos cas cibles par rapport aux cas minoritaires, mais juste la précision globale, vous seriez à 98 %, ce qui semble plutôt bien. |
| |
Cela a donc conduit les chercheurs à explorer d'autres méthodes pour mesurer la précision de la classification dans un modèle de classification déséquilibré. L'une d'elles est la courbe de rappel de précision. |
| |
Ils sont souvent utilisés avec des données déséquilibrées et ils tracent la valeur prédictive positive ou la précision par rapport au taux de rappel positif réel. |
| |
Et comme la précision prend en compte les instances majoritaires, la courbe PR est plus sensible au déséquilibre de classe qu’une courbe ROC. |
| |
Ainsi, une courbe PR est plus à même de mettre en évidence les différences entre les modèles pour les données déséquilibrées. C'est donc la courbe PR qui apparaît en premier dans notre rapport pour notre module complémentaire. |
| |
Une autre façon de gérer les données de classification déséquilibrées consiste à utiliser des méthodes d’échantillonnage qui aident à modéliser la classe minoritaire. |
| |
En général, il s'agit simplement de différentes manières d'équilibrer la distribution des réponses, ce qui permet de mieux délimiter les observations des classes majoritaires et minoritaires. Notre complément comprend donc sept techniques d'échantillonnage différentes. |
| |
Nous ne parlerons pas trop des quatre premiers et nous concentrerons sur les trois derniers, mais très rapidement, « pas de pondération » signifie ce que cela semble être. Nous ne ferons rien… nous n'apporterons aucun changement, et c'est tout. |
| |
il s'agit essentiellement de fournir une base de référence à ce que vous feriez si vous n'utilisiez aucun type de méthode d'échantillonnage pour tenir compte du déséquilibre. |
| |
La pondération surpondérera les cas minoritaires de sorte que la somme des poids de la classe majoritaire et de la classe minoritaire soit la même. |
| |
Le sous-échantillonnage aléatoire exclura aléatoirement les cas majoritaires pour obtenir un cas équilibré et le suréchantillonnage aléatoire se répliquera aléatoirement. |
| |
les cas minoritaires à nouveau pour arriver à un état équilibré. |
| |
Et puis nous parlerons davantage des trois méthodes suivantes plus avancées dans les diapositives suivantes. |
| |
La première des méthodes avancées est la SMOTE, qui signifie « Synthetic Minority Oversampling Technique ». |
| |
Et il s’agit fondamentalement d’une forme plus sophistiquée de suréchantillonnage, car nous ajoutons davantage de cas minoritaires à nos données. |
| |
Nous y parvenons en générant de nouvelles observations similaires aux observations existantes sur les classes minoritaires, mais nous ne les reproduisons pas simplement comme dans le cas du suréchantillonnage. |
| |
Nous utilisons donc la fonction de distance de Gower et effectuons K voisins les plus proches sur chaque observation de classe minoritaire, puis les observations sont générées pour remplir l'espace défini par ces voisins. |
| |
Et sur ce graphique, vous pouvez voir si nous avons ce cas minoritaire ici en rouge. Nous avons choisi les trois voisins les plus proches. |
| |
Et nous en choisirons un au hasard. Il se trouve que c'est celui-ci, en bas, puis nous générerons un cas, un autre cas minoritaire, quelque part dans cette petite case grisée. Et c'est en deux dimensions. Si vous aviez |
| |
n dimensions de vos prédicteurs, alors cette zone ombrée serait un espace à n dimensions. |
| |
Mais un point essentiel à souligner est que vous pouvez choisir le nombre de voisins les plus proches que vous souhaitez |
| |
choisir au hasard entre, et vous pouvez également choisir combien de fois vous exécuterez cela |
| |
cet algorithme par cas minoritaire. |
| |
La méthode d'échantillonnage suivante est celle des liens Tomek. Cette méthode tente de mieux définir la frontière entre les classes minoritaires et majoritaires. Pour ce faire, elle supprime les observations de la classe majoritaire proches de celles de la classe minoritaire. |
| |
Nous utilisons à nouveau la distance de Gower pour trouver les liens de Tomek. Ce lien est une paire de voisins les plus proches appartenant à des classes différentes. Il s'agit donc d'une majorité et d'une minorité, les plus proches voisins l'une de l'autre. |
| |
Pour réduire le chevauchement de ces instances, il est possible de supprimer un ou les deux membres de la paire. Dans l'option principale de notre module complémentaire, l'option « Évaluer les modèles », nous supprimons uniquement l'instance majoritaire. Cependant, dans l'option « Tomek », vous pouvez utiliser l'une ou l'autre forme de suppression. |
| |
Enfin, la dernière méthode d'échantillonnage est SMOTE plus Tomek. Elle combine les deux méthodes précédentes. |
| |
Et la façon dont il les combine est qu'il applique cet algorithme de mode pour générer de nouvelles observations minoritaires, puis une fois que vous avez vos données d'origine, plus un tas de nouveaux cas minoritaires générés, |
| |
Cette méthode s'applique à l'algorithme de Tomek pour trouver des paires de voisins les plus proches appartenant à des classes différentes. Cette méthode supprime les deux observations de la paire de Tomek. |
| |
Ainsi, le module complémentaire de classification déséquilibrée dispose de quatre options lorsque vous l'installez, qui s'affichent toutes sous forme d'éléments de sous-menu sous le menu des modules complémentaires. |
| |
La première option est l'option « Évaluer les modèles », qui permet d'ajuster divers modèles à l'aide de diverses techniques d'échantillonnage. Les trois suivantes sont des boîtes de dialogue indépendantes permettant d'appliquer les trois techniques d'échantillonnage décrites précédemment. |
| |
Ainsi, dans l'option d'évaluation des modèles du module complémentaire, un rapport de classification déséquilibré est fourni qui facilite la comparaison des combinaisons de modèles et de techniques d'échantillonnage. |
| |
Il montre la courbe PR et les courbes ROC, ainsi que les courbes de gains, et pour les courbes PR et ROC, il montre la zone sous la courbe, qui généralement, plus la zone sous chacune de ces courbes est grande, mieux un modèle est adapté. |
| |
Il fournit le tracé des probabilités prédites par classe qui vous aide à obtenir une image de la façon dont chaque modèle s'adapte. |
| |
Il fournit également un tableau de données sur les techniques et les seuils, et ce tableau contient un script qui vous permet de reproduire le rapport. |
| |
qui est produit la première fois que vous exécutez le module complémentaire. Et nous tenons à souligner que si vous exécutez ceci et que vous souhaitez enregistrer vos résultats sans réécrire l'intégralité |
| |
algorithme de méthodes de modélisation et d'échantillonnage, vous pouvez enregistrer ce tableau de techniques et de seuils et cela vous permettra de sauvegarder vos résultats et de reproduire le rapport. |
| |
Nous allons maintenant examiner la boîte de dialogue de l'option d'évaluation des modèles. Elle vous permet de choisir parmi plusieurs modèles et techniques d'échantillonnage. |
| |
Vous pouvez indiquer quelle est votre variable de classe binaire et tous vos prédicteurs X, puis |
| |
nous, afin de s'adapter à tous les modèles et et |
| |
Pour les évaluer sur un ensemble de test, nous divisons aléatoirement les données en ensembles d'entraînement, de validation et de test. Vous pouvez fournir… vous pouvez définir les proportions qui seront intégrées à chacun de ces ensembles. |
| |
Il existe une option de graine aléatoire si vous souhaitez reproduire les résultats. Il existe également des options SMOTE. |
| |
auquel j'ai fait allusion auparavant, où vous pouvez choisir le nombre de voisins les plus proches, parmi lesquels vous en sélectionnez un pour être le voisin le plus proche utilisé pour générer un nouveau cas, et la réplication de chaque cas minoritaire est le nombre de fois que vous répétez l'algorithme pour chaque observation minoritaire. |
| |
Encore une fois, il existe trois autres options d’échantillonnage |
| |
Les options du module complémentaire correspondent à Tomek, SMOTE et SMOTE plus Tomek. L'option d'échantillonnage Tomek ajoute deux colonnes à votre tableau de données, qui peuvent servir de pondérations pour la prédiction, quel que soit le modèle prédictif que vous souhaitez utiliser. |
| |
La première colonne supprime uniquement le voisin majoritaire le plus proche dans le lien et l'autre supprime les deux membres du lien Tomek, vous avez donc cette option. |
| |
Les observations SMOTE ajouteront des observations synthétiques à votre tableau de données. |
| |
Et il fournira également une colonne source afin que vous puissiez identifier laquelle |
| |
Des observations ont été ajoutées. SMOTE et Tomek ajoutent des observations synthétiques et la colonne de pondération qui supprime les deux membres du lien Tomek. |
| |
Et la colonne de pondération de l'échantillonnage Tomek et SMOTE plus Tomek, |
| |
Il s'agit simplement d'une colonne indicatrice pouvant servir de pondération dans une plateforme de modélisation JMP. La valeur est 1 si elle est incluse et 0 si elle doit être exclue. |
| |
La plupart des trois autres boîtes de dialogue d’options d’échantillonnage se ressemblent fondamentalement. |
| |
L'une des options disponibles, et non celle de la boîte de dialogue d'évaluation des modèles, est « Afficher les tables intermédiaires ». Cette option est disponible pour SMOTE et SMOTE plus Tomek. |
| |
En résumé, cela vous permet de consulter les tables de données utilisées pour la construction des observations SMOTE. En général, vous n'avez pas besoin de les consulter, mais si vous souhaitez mieux comprendre comment ces observations sont générées, vous pouvez consulter ces tables intermédiaires. |
| |
Et ils sont tous expliqués dans la documentation. |
| |
Encore une fois, vous pouvez obtenir le module complémentaire via la Communauté, |
| |
à travers cette page pour cette conférence sur le Discovery Summit Americas 2020 |
| |
Je fais partie de la communauté. Comme je l'ai mentionné il y a un instant, une documentation est disponible dans le module complémentaire. Cliquez simplement sur le bouton Aide. |
| |
Et maintenant, il est temps pour Colleen de montrer un exemple dans une démo du module complémentaire. |
| Colleen McKendry |
Merci Michael. Je vais maintenant faire une démonstration du module complémentaire, et pour cela, j'utiliserai ces données de démonstration de mammographie. |
| |
L'ensemble de données de mammographie est donc basé sur un ensemble de mammographies sur film numérisées utilisées dans une étude des microcalcifications dans les images mammographiques. |
| |
Et dans ces données, chaque enregistrement est classé soit comme 1, soit comme 0. 1 représente qu'il y a une calcification visible sur l'image, et 0 représente qu'il n'y en a pas. |
| |
Dans cet ensemble de données, les images où vous voyez une calcification sont celles que vous souhaitez prédire et donc le niveau de classe un est le niveau de classe qui vous intéresse. |
| |
Dans l’ensemble complet des données, il y a six prédicteurs continus et environ 11 000 observations. |
| |
Afin de réduire le temps d'exécution de cette démonstration, nous n'utiliserons qu'un sous-ensemble de données complet. Cela représentera donc environ la moitié des observations, soit environ 5 500 observations. |
| |
Les observations classées 1, celles qui vous intéressent, représentent environ 2,31 % du total des observations, tant dans l'ensemble de données complet que dans l'ensemble de données de démonstration que nous utilisons. Nous avons donc une proportion minoritaire d'environ 2 %. |
| |
Et maintenant je vais passer à JMP |
| |
à |
| |
J'ai donc les données de démonstration de mammographie. |
| |
Et nous allons ouvrir et j'ai déjà installé le module complémentaire. J'ai donc le module complémentaire de classification déséquilibrée dans mon menu déroulant et je vais utiliser l'option d'évaluation des modèles. |
| |
Et donc ici nous avons la fenêtre de lancement, et nous allons spécifier la variable de classe binaire, vos variables prédictives, nous allons sélectionner tous les modèles et toutes les techniques et nous allons spécifier |
| |
une graine aléatoire. |
| |
Et cliquez sur OK. |
| |
Pendant que cela fonctionne, je vais vous expliquer ce qui se passe en arrière-plan. La première action du module complémentaire est de diviser la table de données en un ensemble de données d'entraînement et un ensemble de données de test. |
| |
Vous disposez donc de deux tables de données distinctes, puis, dans la table de données d'entraînement, ces observations sont divisées en observations d'entraînement et de validation, et la validation est utilisée dans l'ajustement du modèle. |
| |
Et donc une fois que vous avez ces deux ensembles de données, |
| |
il existe des variables indicatrices... des colonnes indicatrices qui sont ajoutées au tableau de données d'apprentissage pour chacune des techniques d'échantillonnage que vous spécifiez, à l'exception de celles qui impliquent SMOTE. |
| |
Ainsi, ces colonnes sont ajoutées et utilisées comme colonnes de pondération et elles spécifient simplement si l'observation doit être incluse dans l'analyse ou non. |
| |
Si vous spécifiez une technique d'échantillonnage avec SMOTE, des lignes supplémentaires sont ajoutées au tableau de données. Il s'agit des observations générées. |
| |
Une fois vos colonnes et vos lignes générées, chaque modèle est adapté à chaque technique d'échantillonnage. Si vous les sélectionnez tous, |
| |
Comme nous venons de le voir, 42 modèles différents sont en cours d'adaptation. Voilà donc ce qui se passe actuellement. |
| |
Dans la démo actuelle, nous avons 42 modèles en cours d'ajustement. Une fois ces modèles ajustés, les informations pertinentes sont collectées et compilées dans un rapport de résultats. Ce rapport… |
| |
Ce rapport, qui devrait bientôt être publié, est disponible ici. Vous y trouverez également un tableau des techniques et des seuils, ainsi qu'un tableau récapitulatif. |
| |
Nous allons donc examiner ce que vous obtenez en exécutant le module complémentaire. Nous avons d'abord l'ensemble d'entraînement. Vous pouvez voir ici les colonnes de pondération ajoutées, ainsi que les colonnes de probabilités prédites pour ces observations. |
| |
Nous avons ensuite l'ensemble de test. Il ne contient aucune de ces colonnes de pondération, mais il contient les probabilités prédites pour les observations de l'ensemble de test. |
| |
Nous avons le rapport des résultats |
| |
et le tableau des données sur les techniques et les seuils. Michael a donc mentionné cela dans |
| |
la discussion précédente, mais c'est important car c'est ce que vous souhaitez enregistrer si vous souhaitez enregistrer vos résultats et les consulter à nouveau |
| |
sans avoir à réexécuter le script dans son intégralité. Cette table de données est donc celle que vous enregistrerez et elle contient les scripts qui reproduiront |
| |
Le rapport de résultats et le tableau récapitulatif, qui est le dernier élément que je dois afficher. Il contient donc des résumés pour chaque technique d'échantillonnage et combinaison de modèles, ainsi que leurs valeurs d'ASC. |
| |
Regardons maintenant la fenêtre de résultats. En haut, nous trouvons les spécifications de la boîte de dialogue. Celle-ci contient les informations que vous avez spécifiées dans la fenêtre de lancement. |
| |
Donc, si vous oubliez quelque chose que vous avez spécifié, comme votre graine aléatoire ou les proportions que vous attribuez, vous pouvez simplement l'ouvrir et y jeter un œil. |
| |
Nous avons également la distribution de classe binaire. Il s'agit de la distribution de la variable de classe entre les ensembles d'apprentissage et de test. Elle est conçue pour que la proportion soit la même, ce qui est le cas ici : 2,3. |
| |
Et puis, il manque aussi un seuil. Ce n'est pas super important, mais ça donne |
| |
une indication si une valeur de la variable de classe a une valeur de prédiction manquante, alors cela est affiché ici. |
| |
Pour les résultats réels, nous disposons de ces graphiques à onglets. Nous avons donc les courbes de rappel de précision, les courbes ROC et les courbes de gains cumulés. Pour les courbes PR et ROC, nous avons également les valeurs d'ASC correspondantes. |
| |
Nous disposons également de graphiques des probabilités prédites par classe. Ils sont particulièrement utiles lorsque vous n'en visualisez que quelques-unes à la fois, comme nous le verrons plus tard. |
| |
Et puis nous avons un filtre de données qui relie tous ces graphiques et résultats ensemble. |
| |
Pour nos résultats d'analyse, nous pouvons maintenant les examiner. Je vais d'abord les trier. |
| |
Vous pouvez donc déjà voir que la courbe ROC et la courbe PR présentent une bien plus grande différence entre les courbes de la courbe PR que celles de la courbe ROC. |
| |
Et si nous sélectionnons les cinq premiers, disons, ceux-ci ont tous en fait une AUC de 0,97. |
| |
Et vous pouvez voir qu'ils sont tous très proches les uns des autres. Ils sont pratiquement superposés. Il serait très difficile de déterminer quel modèle est réellement le meilleur, lequel choisir. |
| |
C'est là que, notamment avec des données déséquilibrées, les courbes de rappel de précision sont essentielles. Si nous revenons à la normale, nous constatons que les modèles présentant les valeurs d'ASC les plus élevées pour les courbes ROC… |
| |
Ils sont très dispersés sur la courbe de rappel de précision. Et en fait, ils n'ont pas les valeurs d'ASC les plus élevées pour la courbe PR. |
| |
Alors peut-être qu’il y a… peut-être qu’il y a un meilleur modèle que nous pouvons choisir. |
| |
Alors maintenant, je vais regarder et me concentrer sur les deux premiers, qui sont Boosted Tree Tomek et SVM Tomek, et je vais le faire en utilisant le filtre de données. |
| |
Et puis nous voulons simplement regarder ceux que nous allons montrer et inclure. |
| |
Nous avons donc maintenant les courbes pour ces deux modèles uniquement et la courbe bleue est l'arbre boosté et la courbe rouge est SVM. |
| |
On peut donc constater que ces courbes se chevauchent sur différentes valeurs du taux de vrais positifs. On pourrait donc les utiliser. |
| |
Pour choisir le modèle à utiliser dans votre analyse, en fonction d'un taux de vrais positifs acceptable. Nous pouvons le voir en ajoutant quelques lignes de référence. Veuillez excuser mes mains, car vous les verrez pendant que j'écris ceci. |
| |
D'accord, disons qu'il s'agit de différents taux de vrais positifs qui pourraient vous intéresser. Donc, si, par exemple, pour n'importe quel ensemble de données dont vous disposez, vous vouliez un taux de vrais positifs de 0,55. |
| |
Vous pourriez choisir votre seuil pour en faire le taux de vrais positifs. Et dans ce cas, |
| |
Pour ce taux de vrais positifs, le modèle Tomek à arbre boosté offre une précision supérieure. Vous pourriez donc choisir ce modèle. |
| |
Cependant, si vous souhaitez que votre taux de vrais positifs soit d'environ 0,85, le modèle SVM pourrait être un meilleur choix car il a une précision plus élevée pour ce taux de vrais positifs spécifique. |
| |
Et puis, si vous aviez un taux de vrais positifs plus élevé de 0,95, vous changeriez à nouveau de modèle et vous voudriez peut-être choisir le modèle d'arbre boosté. |
| |
C'est ainsi que vous pouvez utiliser ces courbes pour choisir le modèle le mieux adapté à vos données. |
| |
Nous allons maintenant examiner à nouveau ces graphiques, puisqu'ils sont peu nombreux. Ils montrent la distribution des probabilités prédites pour chaque classe des modèles sélectionnés. Dans ce cas précis, on constate que les SVM sont majoritaires. |
| |
probabilités sur toute la gamme des probabilités prédites, où l'arbre boosté fait un meilleur travail pour les maintenir à l'extrémité inférieure. |
| |
Voilà pour cette démonstration. Mais avant de terminer, je voulais vous montrer encore une chose : un exemple d'utilisation de l'outil d'évaluation. |
| |
Option Modèles. Imaginons que vous souhaitiez simplement utiliser une technique d'échantillonnage particulière. C'est possible ici. La fenêtre de lancement est donc quasiment identique. Vous pouvez assigner votre classe binaire et vos prédicteurs, puis cliquer sur OK. |
| |
Et cela génère une nouvelle table de données et vous avez votre |
| |
colonne indicatrice. |
| |
Votre colonne d'indicateurs, qui indique simplement si l'observation doit être incluse dans l'analyse ou non. |
| |
Et puis, comme c'était SMOTE plus Tomek, vous avez également toutes ces observations générées par SMOTE. |
| |
Vous disposez désormais de ce nouveau tableau de données et pouvez utiliser n'importe quel modèle avec toutes les options souhaitées. Utilisez simplement cette colonne comme colonne de pondération ou de fréquence, et ainsi de suite. Voilà qui conclut notre démonstration du module complémentaire de classification déséquilibrée. Merci de votre attention. |