Deux questions sur l'utilisation du clustering JMPJ'utilise JMPpro pour effectuer une analyse de cluster d'apprentissage automatique non supervisée avec une taille d'échantillon d'environ 10 000 échantillons et 20 variables. J'ai quelques questions lors de l'utilisation, et j'aimerais venir ici pour poser les questions à d'autres utilisateurs ou ingénieurs. Merci d'avoir pris le temps de lire et d'analyser patiemment et de répondre à mes questions ! Question 1 : J'ai lu attentivement l'introduction de la fonction d'analyse de cluster de ce logiciel. Le clustering hiérarchique dans JMP convient à tout type de données avec de petits échantillons. Ainsi, si les 20 variables des données appartiennent à des données mixtes (y compris des variables continues, des variables discrètes, des variables ordinales et des variables nominales), dois-je combiner les variables continues et les variables nominales à l'avance lors d'un regroupement hiérarchique ? les variables discrètes sont standardisées, puis « non standardisé » est sélectionné dans [Base de normalisation] ? Ou le logiciel identifiera-t-il automatiquement les variables continues et les variables discrètes et effectuera-t-il la normalisation après avoir sélectionné « Non standardisé », et les variables ordinales et nominales conserveront leurs valeurs d'origine (c'est-à-dire qu'il n'est pas nécessaire de normaliser manuellement avant le clustering hiérarchique) ? Question 2 : L'analyse cluster est un apprentissage non supervisé dans l'apprentissage automatique si 19 variables sont regroupées hiérarchiquement et qu'une certaine (1) variable nominale binaire est définie dans [Basic]. Alors, cette analyse est-elle toujours considérée comme un apprentissage non supervisé, ou s’agit-il déjà d’un apprentissage semi-supervisé ? S'il est considéré comme un « apprentissage semi-supervisé », mais que le clustering lui-même est un apprentissage non supervisé, comment décrire avec précision la relation entre eux ?
Modélisation prédictive et apprentissage automatiqueRe : Deux questions sur l'utilisation du clustering JMPSalut @pnogau ,
Bienvenue dans la Communauté !
Concernant vos questions :
- Si vous avez des données avec des types de données et de modélisation mixtes (numériques continues, ordinales et nominales), seule la plate-forme de clustering hiérarchique sera en mesure de gérer ces différents types de données. Vous pouvez obtenir plus d'informations ici, Présentation des plates-formes de clustering des observations, où ce tableau est présenté :
Vous n'avez pas besoin d'effectuer au préalable le traitement des variables numériques continues, il existe plusieurs options pour effectuer le prétraitement directement dans la plateforme en spécifiant le format des données, le type de normalisation et l'imputation des données manquantes : Lancer la plateforme de cluster hiérarchique
- Je ne suis pas sûr de bien comprendre votre deuxième question.
Le clustering est utilisé lorsque vous ne savez pas à l'avance combien de "groupes"/clusters vous avez dans vos données et dans quel groupe appartiennent vos observations, c'est donc une technique d'apprentissage non supervisé. Le clustering hiérarchique est une technique et une plateforme intéressante dans JMP, car elle permet d'effectuer un clustering bidirectionnel, où vos observations sont regroupées en clusters mais aussi les variables utilisées, pour voir la similarité et les corrélations entre les variables utilisées. Cette analyse peut être effectuée en complément d'autres plateformes multivariées comme Correlations and Multivariate Techniques ou avec des visualisations réalisées avec Graph Builder, pour mieux évaluer les corrélations entre vos variables.
De plus, si votre variable binomiale est une sorte de cible, vous pouvez effectuer le clustering « à l'aveugle » et voir combien de groupes sont recommandés, et analyser le lien entre les groupes et la variable binomiale (qui serait une combinaison d'apprentissage non supervisé pour le clustering, puis d'apprentissage supervisé pour analyser le lien entre les clusters et la cible binomiale), ou en spécifiant directement que vous voulez 2 clusters dans la plateforme de clustering hiérarchique (ce qui pourrait alors être considéré comme un apprentissage semi-supervisé, puisque vous connaissez déjà le nombre de clusters à trouver et à spécifier), et voir si/comment le clustering correspond à la variable cible binomiale.
J'espère que cette réponse vous aidera,
Re : Deux questions sur l'utilisation du clustering JMPSalut. @Victor_G
Merci beaucoup pour votre aide et votre patience dans vos réponses à ma question sur le forum. Vos réponses et suggestions m'ont apporté des informations précieuses et je pense que le problème auquel je faisais face a été provisoirement résolu.
Question 1 : Étant donné que mes données contiennent des types mixtes de variables, il est en effet nécessaire d'effectuer un clustering hiérarchique. De plus, suivant vos conseils, j'ai relu attentivement « Lancer la plateforme de cluster hiérarchique » et j'ai trouvé la solution : pour résoudre le problème des différentes échelles de mesure pour les colonnes continues et ordinales, il semble que je doive d'abord normaliser les variables continues et discrètes, puis sélectionner « Non standardisé » sous « Standardiser par ». Standardiser par
Question 2 : Votre compréhension de mes doutes était très précise et votre réponse m'a donné une inspiration importante. En fait, mon objectif est d'utiliser l'analyse de cluster pour découvrir différents clusters au sein d'un vaste ensemble de données (individus) et de mener une analyse visuelle pour explorer les relations potentielles entre plus de vingt variables, ce qui est une tâche d'apprentissage automatique non supervisée. Cependant, pour obtenir des résultats de clustering plus idéaux, il semble que le choix d'une certaine variable binomiale sous « Par » donne des résultats de clustering très satisfaisants. Je me demande si cela est désormais devenu un apprentissage semi-supervisé ou supervisé. Par
En fait, j'ai eu la chance d'entrer en contact avec un ingénieur responsable des activités universitaires de JMP en Chine, et je compte vérifier mes hypothèses avec lui. Si cela vous intéresse, je partagerai avec vous les réponses que je recevrai.
J'ai été très heureux de recevoir votre réponse ! Je vous souhaite une vie heureuse et un travail harmonieux ~
Re : Deux questions sur l'utilisation du clustering JMP
@Victor_G a écrit :
Salut @pnogau ,
Bienvenue dans la Communauté !
Concernant vos questions :
- Si vous avez des données avec des types de données et de modélisation mixtes (numériques continues, ordinales et nominales), seule la plate-forme de clustering hiérarchique sera en mesure de gérer ces différents types de données. Vous pouvez obtenir plus d'informations ici, Présentation des plates-formes de clustering des observations, où ce tableau est présenté :
Vous n'avez pas besoin d'effectuer au préalable le traitement des variables numériques continues, il existe plusieurs options pour effectuer le prétraitement directement dans la plateforme en spécifiant le format des données, le type de normalisation et l'imputation des données manquantes : Lancer la plateforme de cluster hiérarchique - Je ne suis pas sûr de bien comprendre votre deuxième question.
Le clustering est utilisé lorsque vous ne savez pas à l'avance combien de "groupes"/clusters vous avez dans vos données et dans quel groupe appartiennent vos observations, c'est donc une technique d'apprentissage non supervisé. Le clustering hiérarchique est une technique et une plateforme intéressante dans JMP, car elle permet d'effectuer un clustering bidirectionnel, où vos observations sont regroupées en clusters mais aussi les variables utilisées, pour voir la similarité et les corrélations entre les variables utilisées. Cette analyse peut être effectuée en complément d'autres plateformes multivariées comme Correlations and Multivariate Techniques ou avec des visualisations réalisées avec Graph Builder, pour mieux évaluer les corrélations entre vos variables.
De plus, si votre variable binomiale est une sorte de cible, vous pouvez effectuer le clustering « à l'aveugle » et voir combien de groupes sont recommandés, et analyser le lien entre les groupes et la variable binomiale (qui serait une combinaison d'apprentissage non supervisé pour le clustering, puis d'apprentissage supervisé pour analyser le lien entre les clusters et la cible binomiale), ou en spécifiant directement que vous voulez 2 clusters dans la plateforme de clustering hiérarchique (ce qui pourrait alors être considéré comme un apprentissage semi-supervisé, puisque vous connaissez déjà le nombre de clusters à trouver et à spécifier), et voir si/comment le clustering correspond à la variable cible binomiale.
J'espère que cette réponse vous aidera,
Salut @Victor_G , j'ai progressé sur le dernier numéro et je voulais partager la bonne nouvelle avec vous. Comme vous l'avez dit, lors du regroupement de données mixtes, JMP normalise automatiquement les données continues et discrètes sans avoir besoin d'une normalisation manuelle préalable. Bien que j'aie contacté le directeur commercial régional de l'Université JMP Chine il y a quelque temps, je n'ai toujours pas reçu de réponse claire. J'apprécie vraiment votre aide à ce moment-là. Merci encore!
Re : Deux questions sur l'utilisation du clustering JMPSalut @ Victor_G , J'ai progressé sur mon dernier problème et je voulais partager cette bonne nouvelle avec vous. Comme vous l'avez dit, lors du regroupement de données mixtes, JMP standardise automatiquement les données continues et discrètes sans qu'il soit nécessaire de procéder à une standardisation manuelle au préalable. Bien que j'aie contacté le responsable commercial régional de JMP Chine pour les universités il y a quelque temps, je n'ai toujours pas reçu de réponse définitive. Je vous suis très reconnaissant de votre aide à l'époque. Merci encore !
