Visualisation des données avec t-SNE et UMAPDescription
Récemment, des algorithmes non linéaires de réduction de dimension et de visualisation, notamment l'incorporation de voisins stochastiques distribués en t (t-SNE) et l'approximation et la projection de variétés uniformes (UMAP), ont été largement appliqués à divers domaines de recherche tels que le traitement d'images, l'exploration de texte. , et la génomique. Ce complément permet d'accéder aux packages t-SNE et UMAP R. Il offre une interface conviviale permettant la navigation dans les tables de données, le contrôle de la qualité des données, la gestion de la parcimonie, le paramétrage intuitif et l'interprétation interactive des résultats.
Exemple d'utilisation
Voici une capture d'écran de l'interface avec les données MNIST chargées. Sous Spécifications du modèle, j'ai sélectionné la colonne d'étiquettes comme étiquette et tous les pixels comme prédicteurs. J'ai choisi à la fois t-SNE et UMAP comme algorithmes.
Une autre capture d'écran des résultats de t-SNE (en haut) et UMAP (en bas).
Ce complément prend également en charge certaines options de contrôle qualité de base, notamment la vérification des valeurs manquantes, la distribution et le calcul de la parcimonie. Vous pouvez trouver ces options sous Options de contrôle qualité sur l'interface.
Mises à jour : L'interface JMP R sur Mac présente des problèmes de version. Veuillez rétrograder votre R vers la version <=3.3.3 et n'utiliser t-sne que si vous êtes un utilisateur Mac.
Journal des modifications :
v.2 <22/09/2020> Ajout des résultats tsne et umap au tableau d'origine et réorganisation de la sortie pour une meilleure expérience d'exploration.
v.1.2 <14/03/2019> Correction d'un problème dans le package Rtsne où un grand nombre de colonnes causait un problème de débordement de pile.
v.1.1 <08/03/2019> Correction d'un bogue pouvant potentiellement produire des "problèmes trouvés dans R, mémoire épuisée ?" Message d'erreur. Ajout d'un sous-menu pour l'exemple de jeu de données MNIST.
v.1.0 <26/02/2019> Version initiale.
Intégration tierceVisualisation de donnéesL'analyse exploratoire des donnéesSciences de la vieRe : Visualisation des données avec t-SNE et UMAP@Nazarkovski - mettez-le dans la liste de souhaits! Je suis d'accord que UMAP devrait être là-dedans. Si vous regardez comment ils ont configuré l'interface graphique, il est assez clair qu'elle a été conçue pour l'ajout d'autres méthodes par la suite.
M
Re : Visualisation des données avec t-SNE et UMAPMerci, @MikeD_Anderson !
Waouh, c'est vrai. Dommage que UMAP n'ait pas été inclus avec TSNE.
Re : Visualisation des données avec t-SNE et UMAP@Nazarkovski - consultez la documentation JMP 17 Pro ( https://www.jmp.com/support/help/en/17.1/index.shtml#page/jmp/multivariate-embedding.shtml%23 ). T-SNE fait désormais partie du Analyse > Multivarié > Incorporation multivariée plate-forme en pro.
Meilleur,
M
Re : Visualisation des données avec t-SNE et UMAPBonsoir, chers collègues!
J'ai installé R 3.6.3 et RStudio sur mon Windows 10 (64 bits). Les deux packages ont été installés avec succès et le fichier d'exemple du complément a bien fonctionné en visualisant correctement les données. Cependant, tant que j'ai lancé mon fichier (32 lignes, 7 colonnes des prédicteurs, 1 colonne comme "étiquette"), le processus a abouti à une alerte ci-dessous.
Pourriez-vous s'il vous plaît, expliquer, ce qui n'allait pas. Toutes les colonnes étaient numériques continues comme dans l'exemple, MNIST.jmp. La seule différence était que les nombres dans 7 variables étaient non entiers : comme 0.234234 ou 0.472343.
J'apprécierai beaucoup vos conseils.
Michael
Re : Visualisation des données avec t-SNE et UMAP@MJ Avez-vous pu aider les utilisateurs de MacOS avec l'intégration de R ? Cela fonctionne très bien sur mon Windows. Une possibilité d'établir cette connexion sans déclasser mon R ? J'utilise souvent l'intégration avec de nouveaux packages. C'est pour un Macbook M1 que ça fait toute la différence.
Re : Visualisation des données avec t-SNE et UMAPSalut
J'essaie d'utiliser le complément mais j'obtiens la même réponse "Impossible d'obtenir la sortie R" de JMP 16.2.0 + R 4.1.2
= Même problème que FR60
J'ai eu l'une des plaintes précédentes qui disait qu'il ne pouvait pas trouver R, j'ai donc supprimé l'ancien R et installé la version actuelle R 4.1.2 qui génère l'erreur ci-dessus.
Il n'est donc pas du tout clair où se situe le problème.Avec la large application de ces outils, il semble qu'il est temps que SAS intègre cette fonctionnalité dans JMP !
Re : Visualisation des données avec t-SNE et UMAPSalut MJ.
J'essaie d'utiliser votre complément, mais même si j'ai suivi votre suggestion concernant la version R à définir comme Accueil, je reçois toujours le message d'alerte suivant :
Impossible d'obtenir la sortie R.
S'il vous plaît pouvez-vous m'aider?
Félix
Re : Visualisation des données avec t-SNE et UMAPMJ
Votre complément UMAP fonctionne très bien. Je l'utilise presque tous les jours. Merci pour l'info sur la perplexité.
Lorsque je répète l'UMAP sur les mêmes données, j'obtiens toujours des paramètres similaires mais légèrement différents.
Elle n'est pas significative car les parcelles sont toujours très proches. Mais quelques échantillons varieront un peu.
Pourquoi est-ce. Est-ce la graine aléatoire qui change ?
Merci beaucoup. Super auberge
Néal
Re : Visualisation des données avec t-SNE et UMAP@MikeDereviankin Je n'ai pas pu reproduire ce problème. J'utilisais le dernier R 4.0.3, JMP 15.1 et les derniers UMAP et tSNE, les deux algorithmes fonctionnaient bien. Je pense que ce qui s'est mal passé, c'est la commande R send (), qui pourrait être causée par un échec de communication avec une version R spécifique ou des problèmes de données inattendus. Avez-vous essayé le complément avec l'exemple d'ensemble de données MNIST ? D'autres choses que vous pouvez essayer incluent la mise à jour de R et UMAP, la suppression d'installations R supplémentaires et la mise à jour de JMP vers des versions plus récentes si possible. Vous pouvez également m'envoyer votre jeu de données pour que je puisse y jeter un œil s'il n'est pas confidentiel (Meijian.Guan@jmp.com). Et contacter le support technique est toujours une bonne option aussi.
Re : Visualisation des données avec t-SNE et UMAPJ'ai défini R home sur la version précédente de R et la bibliothèque cran installe également des packages sur cette version. Le problème est qu'UMAP n'est pas compatible avec 3.5.2. de l'apparence de celui-ci.
Comme mentionné précédemment, je travaillais auparavant avec 4.0.2 et tout fonctionnait très bien.
Re : Visualisation des données avec t-SNE et UMAPA donné des fins d'administration et obtient maintenant la même erreur qu'avant, "sendRdata".
J'avais déjà utilisé cela avec R-4.0.2 et tout à coup la semaine dernière, cela ne fonctionne pas. UMAP fonctionne bien dans R lui-même.
Re : Visualisation des données avec t-SNE et UMAP@MJ
Cela apparaît maintenant comme avant :
Dois-je donner des autorisations d'administrateur ?
Re : Visualisation des données avec t-SNE et UMAP@MikeDereviankin Oui, veuillez consulter les informations suivantes.
Veuillez essayer de définir R_HOME en tant que variable d'environnement comme suit et essayez à nouveau ce complément. Ouvrez la console Windows CMD et tapez : setx R_HOME "Ce PC\Documents\R\R-3.5.2". Et assurez-vous que les packages Rtsne et umap sont installés sur cette version de R. Veuillez me faire savoir si cela résout votre problème.
De plus, nous avons quelques fils de discussion sur la communauté qui parlent de ce problème que vous pouvez consulter.
https://community.jmp.com/t5/Administration-Discussions/Help-JMP-find-R-installation/td-p/6357
https://community.jmp.com/t5/Discussions/Setting-path-to-R-location/td-p/59764
Re : Visualisation des données avec t-SNE et UMAP@MJ Puis-je configurer deux R différents sur mon ordinateur et faire en sorte que le script JMP aille vers cette version spécifique de R ?
Re : Visualisation des données avec t-SNE et UMAP@MikeDereviankin Si cette erreur s'est produite après la mise à jour de votre package R et UMAP, cela pourrait en être la raison. Certaines versions de JMP ne fonctionnent bien qu'avec des versions R spécifiques, par exemple, R 3.5.2 fonctionne bien avec la plupart des versions de JMP. Vous devrez peut-être envisager de rétrograder votre R et réessayer.
Re : Visualisation des données avec t-SNE et UMAPBonjour,
J'obtiens cette erreur. J'ai réinstallé R 4.03 et UMAP dans le package cran. La connexion est là, mais quelque chose ne se connecte pas.
{"UMAP"}
{3, 15, 200, 0,1}
"Je suis bien !"
"Paramètres !"
"Démarrer dans DataPrep"
{"2,3,7,8-TCDD", "1,2,3,7,8-PeCDD", "1,2,3,4,7,8-HxCDD", "1,2,3, 6,7,8-HxCDD", "1,2,3,7,8,9-HxCDD", "2,3,7,8-TCDF", "1,2,3,7,8-PeCDF" , "2,3,4,7,8-PeCDF", "1,2,3,4,7,8-HxCDF", "1,2,3,6,7,8-HxCDF"}
"Terminer la parcimonie"
"La parcimonie est :"
0.280112044817927
"Le libellé est :"
{}
"Dim de inData2R est : "
119
15
"Préparation des données terminée."
"Démarrez le back-end !"
"Le libellé est :"
{}
"Dans la fonction talk2R."
"le libellé est :"
{}
"UMAP est sélectionné !"
TKIntRJMP.R version 14.0
L'énoncé R final est incomplet.
Échec de l'envoi de données pour "data4R"
Re : Visualisation des données avec t-SNE et UMAP@FN Oui, le complément est essentiellement un fichier compressé. Vous devriez pouvoir le décompresser avec n'importe quel outil de décompression et trouver le fichier embedding.jsl dans le dossier du script. La modification de la fonction talk2R() dans le script devrait le faire.
Re : Visualisation des données avec t-SNE et UMAPBonjour MJ,
Serait-il possible d'avoir le code source de l'addin ?
Je voudrais utiliser la même interface utilisateur mais avec des packages Python comme backend.
Merci.
Re : Visualisation des données avec t-SNE et UMAP@MikeDereviankin Il supprimera les lignes en double uniquement en fonction des prédicteurs, même si ces lignes peuvent avoir des noms ou des étiquettes différents. Parce que seuls les prédicteurs sont utilisés dans le calcul UMAP/tSNE.
Re : Visualisation des données avec t-SNE et UMAP@MJ
Dans quelles circonstances l'UMAP supprime-t-il les lignes. Je comprends que si les échantillons ont des valeurs en double, ils seront supprimés, mais un UMAP identifie les échantillons avec des valeurs en double, mais des noms différents ?
Re : Visualisation des données avec t-SNE et UMAP@MJ a beaucoup de sens maintenant avec le recul en fonction du fonctionnement de l'algorithme Rtsne. Merci!
Re : Visualisation des données avec t-SNE et UMAPSalut @MikeDereviankin , il semble que vous ayez utilisé 4 comme Output Dim pour t-SNE, ce qui n'est pas autorisé pour cette version de tSNE, veuillez utiliser 2 ou 3 à la place. Alternativement, vous pouvez spécifier une dimension de sortie> 3 pour UMAP si vous le jugez nécessaire.
Re : Visualisation des données avec t-SNE et UMAP@MJ ci-dessous le log :
{"t-SNE"}
{4, 30, 500}
"Je suis bien !"
"Paramètres !"
"Démarrer dans DataPrep"
{"PCB-1_imputé, % du total", "PCB-2_imputé, % du total", "PCB-3_imputé, % du total", "PCB-4_10_imputé, % du total", "PCB-5_8_imputé, % du total" , "PCB-6_imputé, % du total", "PCB-7_9_imputé, % du total", "PCB-11_imputé, % du total", "PCB-12_13_imputé, % du total", "PCB-15_imputé, % du total" }
"Terminer la parcimonie"
"La parcimonie est :"
0.00300530234872998
"Le libellé est :"
{"Taper"}
"Dim de inData2R est : "
439
120
"Préparation des données terminée."
"Démarrez le back-end !"
"Le libellé est :"
{"Taper"}
"Dans la fonction talk2R."
"le libellé est :"
{"Taper"}
"t-SNE est sélectionné !"
TKIntRJMP.R version 14.0
"Envoi de l'étiquette à R :"
{"Taper"}
"Envoi de l'étiquette à R"
data4R=data.frame(data4R)
#label=unlist(label)
#cat("le libellé est : ",le libellé,"\n")
#print(longueur(étiquette))
#cat("\n")
#supprimer les observations en double des deux ensembles de données
#inDataUniq=data4R[!duplicated(data4R[,!names(data4R) %in% label]),] #autoriser l'exclusion de plusieurs labels
#head(data4R)
#cat("la dimension de inDataUniq est : ",dim(inDataUniq),"\n")
chat("Prêt pour l'exécution","\n")
if("t-SNE"=="t-SNE"){
cat("Nous exécutons t-SNE","\n")
bibliothèque("Rtsne")
inDataTsne=data.matrix(data4R[,!names(data4R) %in% label])
cat("dim of inDataTsne est : ",dim(inDataTsne),"\n")
tsne <- Rtsne(inDataTsne, dims = 4, perplexity=30, verbose=TRUE, max_iter = 500,pca=F)
sortieY=tsne$Y
tête (sortie)
}else if("t-SNE"=="UMAP"){
cat("Nous exécutons UMAP","\n")
bibliothèque (umap)
outUmap=umap(data4R[,!names(data4R) %in% label], #method="umap-learn",
n_voisins=15, n_composants=2, n_époques=200,min_dist=0.1)
sortieY=outUmap$mise en page
tête (sortie)
}else if("t-SNE"=="Les deux"){
cat("Nous courons les deux","\n")
bibliothèque("Rtsne")
bibliothèque (umap)
chat("\n","Démarrer t-sne","\n")
inDataTsne=data.matrix(data4R[,!names(data4R) %in% label])
tsne <- Rtsne(inDataTsne, dims = 4, perplexity=30, verbose=TRUE, max_iter = 500,pca=F)
sortieY1=tsne$Y
chat("Démarrer umap","\n")
outUmap=umap(data4R[,!names(data4R) %in% label], #method="umap-learn",
n_voisins=15, n_composants=2, n_époques=200,min_dist=0.1)
outputY2=outUmap$mise en page
chat("Les deux faits","\n")
}
print("Analyse terminée!")
Prêt à courir
Nous exécutons t-SNE
dim de inDataTsne est : 439 119
Attention : Erreur dans .check_tsne_params(nrow(X), dims = dims, perplexity = perplexity, :
dims doit être soit 1, 2 ou 3
{"Code d'échantillon", "Type", "PCB-1_imputé", "PCB-2_imputé", "PCB-3_imputé", "PCB-4_10_imputé", "PCB-5_8_imputé", "PCB-6_imputé", "PCB-7_9_imputé" ", "PCB-11_imputé"}
"Numéro d'itération : "
241
"Créer de nouvelles colonnes pour t-SNE."
Erreur dans eval(expr, p) : objet 'outputY' introuvable
Impossible d'obtenir la sortie R.
Re : Visualisation des données avec t-SNE et UMAP@MJ
Qu'est-ce que cela signifie lorsque t-SNE renvoie "impossible d'obtenir la sortie R". Je me suis assuré de définir mon CMD et j'ai même exécuté JMP en tant qu'administrateur. Où d'autre pourrait-il y avoir un problème de sécurité ?
Re : Visualisation des données avec t-SNE et UMAPSalut @Ed1 , non, les prédicteurs peuvent être n'importe quel type de valeurs numériques. Cependant, cela peut ne pas fonctionner avec des personnages.
Re : Visualisation des données avec t-SNE et UMAPSalut MJ,
Merci pour le complément.
Les prédicteurs doivent-ils être des nombres entiers ?
Meilleur,
Éd
Re : Visualisation des données avec t-SNE et UMAPMerci @ih pour partager votre expérience personnelle.
@MikeDereviankin Mes excuses pour les problèmes d'intégration R, avoir généralement une installation R unique, redémarrer R, JMP ou même votre machine aiderait dans ce scénario. Après avoir traversé ces problèmes, vous apprécierez peut-être la commodité et l'interactivité de ce complément.
Re : Visualisation des données avec t-SNE et UMAP@MikeDereviankin ,
Au cas où cela vous aiderait, ce texte provient de la section "Comment JMP trouve R" du Guide de création de scripts JMP 15 . Selon mon expérience paramètre la variable d'environnement de JMP est la méthode la plus sûre.
JMP retarde le chargement de R jusqu'à ce qu'un script basé sur JSL en demande l'accès. Lorsque JMP doit charger R,
il suit les étapes standard pour trouver R sur un ordinateur Windows :
1. Recherchez la variable d'environnement R_HOME.
Si la variable existe, chargez R à partir du répertoire spécifié.
2. Si la variable d'environnement R_HOME n'existe pas, recherchez la valeur InstallPath dans le
Registre Windows sous la clé suivante :
HKEY_LOCAL_MACHINE\SOFTWARE\R-core\R
Si la valeur InstallPath existe, chargez R à partir du répertoire spécifié.
3. Si la valeur InstallPath n'existe pas, un message d'erreur indique que R est introuvable.
Re : Visualisation des données avec t-SNE et UMAP@MJ
Je viens d'installer le complément et maintenant JMP ne trouve pas mon R ... J'ai réinitialisé mes variables d'environnement, changé le chemin dans CMD, réinstallé R et rien.
J'obtiens l'erreur indiquant que R n'est pas installé. Cela ne semble pas être un complément efficace avec tous ces problèmes qui sont évités si T-SNE est simplement exécuté dans R. L'interface graphique est agréable, mais cela semble être un casse-tête basé sur tous les commentaires.
Re : Visualisation des données avec t-SNE et UMAPSalut @MikeDereviankin , je viens de publier une nouvelle version de ce complément. Pourriez-vous s'il vous plaît essayer cette nouvelle version et me dire si cela fonctionne pour vous ? Il semble qu'il y ait un problème avec votre installation R.
Re : Visualisation des données avec t-SNE et UMAP
Salut,
J'obtiens l'erreur suivante :
Le package a été exécuté sur différents ensembles de données JMP. Qu'est-ce qui a spécifiquement déclenché cela ?
Re : Visualisation des données avec t-SNE et UMAPSalut @rexneal , j'ai fait quelques recherches, c'est probablement parce que le niveau de perplexité que vous avez défini était trop élevé pour un ensemble de données de moins de 90 lignes. Je recommanderais de le réduire à 5 ~ 10 dans ce cas. Je publierai prochainement une version mise à jour de cet addin permettant une meilleure comparaison entre les deux méthodes.
Re : Visualisation des données avec t-SNE et UMAPSalut @rexneal , je suis ravi que vous ayez trouvé ce complément utile. Je vais étudier ce problème et je reviens vers vous dès que possible.
Merci,
MJ
Re : Visualisation des données avec t-SNE et UMAPJ'utilise le complément d'intégration dans JMP 14+ et JMP15. Cet addin crée des images tsne et umap et des données pca avec une interface R. C'est un excellent programme et facile à utiliser car il est si rapide. Les instructions de l'interface R ont bien fonctionné.
Je l'ai utilisé sur de nombreuses bases de données. Cependant, sur une base de données récente plus petite de 74 lignes, il génère toujours un message d'erreur (mémoire insuffisante ou installation incorrecte). Je l'ai réinstallé mais toujours le même problème. En parcourant les données, j'ai déterminé que ce complément nécessite au moins 90 lignes. Ce n'est pas un problème avec sklearn. Je préférerais utiliser cet addin au lieu de sklearn car cet addin est beaucoup plus rapide pour plusieurs analyses et permet facilement d'exporter les données primaires x et y pc vers un autre fichier jmp pour la création manuelle de nouvelles classes.
Existe-t-il un correctif pour cela?
J'adore JMP.Merci Neal
Re : Visualisation des données avec t-SNE et UMAP@MikeD_Anderson Merci Mike!
Re : Visualisation des données avec t-SNE et UMAP@MJ & @markschahl , une autre idée est de l'ajouter à la liste de souhaits JMP sur la communauté :
https://community.jmp.com/t5/JMP-Wish-List/idb-p/jmp-wish-list
Cela aidera à obtenir des chiffres sur la demande et permettra aux autres d'exprimer leur soutien à la capacité (je suis d'accord que ce serait formidable d'avoir dans JMP aussi !)
M
Re : Visualisation des données avec t-SNE et UMAPSalut @markschahl , je sais que John Sall travaillait sur une version JMP de t-SNE mais je ne sais pas quand nous allons la publier. Je conviens qu'il s'agit d'une méthode puissante et que son implémentation dans JMP serait la méthode optimale, car l'appel à R présente de nombreux problèmes potentiels. Vous pouvez en faire la demande en tant que nouvelle fonctionnalité auprès de nos équipes techniques ou de gestion de produits.
Re : Visualisation des données avec t-SNE et UMAPAlors, t-SNE/UMAP va-t-il être ajouté à une future version de JMP ? Il s'agit d'une technique de détection d'événements anormaux très puissante avec une large applicabilité dans l'industrie. Je viens de lire ce papier. t-SNE fonctionne très bien sur l'ensemble de données Tennessee Eastman Process :
Une nouvelle méthode d'exploration de données non supervisée basée sur l'auto-encodeur empilé pour le diagnostic des défauts de processus chimiques
Re : Visualisation des données avec t-SNE et UMAPL'erreur suivante s'affiche toujours lors de l'exécution du complément Embezdding.
Le complément ne fonctionne toujours pas dans JMP-pro après la modification du CMD. Dans R, j'ai utilisé l'onglet "Packages" - "Installer les packages" pour installer les packages umap et Rtsn. Une autre suggestion ?
Toute autre suggestion
Re : Visualisation des données avec t-SNE et UMAP@Lu Désolé pour le dérangement. Sur Windows 7, je pense que vous pouvez aller dans le menu Démarrer, taper cmd ou commande dans la zone de recherche, et appuyer sur Entrée. Ou vous pouvez simplement aller dans le menu Démarrer et aller dans Tous les programmes. Ensuite, ouvrez Accessoires et cliquez sur le raccourci Invite de commandes.
Re : Visualisation des données avec t-SNE et UMAPJe suis un utilisateur de Windoxs 7 et non un expert en TIC. Donc je ne trouve pas comment entrer dans la "console CMD", désolé :-(.J'ai supprimé R et l'ai réinstallé dans la même carte que JMPpro. Toujours le même message d'erreur que ci-dessus. Pas une bonne idée?
Re : Visualisation des données avec t-SNE et UMAP@Lu Votre problème a probablement été causé par plusieurs installations de R sur votre ordinateur et JMP n'a pas pu décider lequel utiliser. Veuillez essayer de définir R_HOME en tant que variable d'environnement comme suit et essayez à nouveau ce complément. Ouvrez la console Windows CMD et tapez : setx R_HOME "Ce PC\Documents\R\R-3.5.2". Et assurez-vous que les packages Rtsne et UMAP sont installés sur cette version de R. Veuillez me faire savoir si cela résout votre problème.
Re : Visualisation des données avec t-SNE et UMAPJ'ai installé Rtsne comme suggéré, mais j'obtiens maintenant le message d'erreur suivant ;
Re : Visualisation des données avec t-SNE et UMAPBonjour @Lu , désolé pour le manque de détails dans le message d'erreur. Pourriez-vous revérifier si vous avez installé Rtsne au lieu du package TSNE dans R ? Faites-moi savoir si cela résout votre problème.
Re : Visualisation des données avec t-SNE et UMAPBonjour, j'ai la même erreur en disant "Les problèmes trouvés dans R peuvent être causés par une installation infructueuse des packages Rtsne/umap ou une mémoire limitée." J'ai installé UMAP et TSNE de Rstudio. J'utilise R x64 3.5.2 sous Windows
Re : Visualisation des données avec t-SNE et UMAPMerci @DBhattaram , il semble que vous n'ayez pas installé le package Rtsne et UMAP sur la version R avec laquelle JMP parle. Si vous avez plusieurs versions de R, assurez-vous de configurer R_Home comme variable d'environnement comme suit : ouvrez la console Windows CMD et tapez : setx R_HOME "votre chemin vers R". Et assurez-vous que les packages Rtsne et umap sont installés sur cette version de R. Faites-moi savoir si cela résout votre problème.
Re : Visualisation des données avec t-SNE et UMAP@ Pat1 C'est sur Windows pour moi
Re : Visualisation des données avec t-SNE et UMAPSalut, @MJ
J'ai envoyé le journal de toutes mes tentatives infructueuses pour qu'il exécute le programme. Espérons que cela servira à quelque chose
Salutations,
Dhruv
Re : Visualisation des données avec t-SNE et UMAPVous utilisez un Mac ? Face au même problème! Malheureusement UMAP n'a pas fonctionné.
Rtsne bien travaillé.
Meilleurs vœux
Tapoter
Re : Visualisation des données avec t-SNE et UMAPSalut @DBhattaram , il est possible que JMP n'ait pas trouvé la bonne version de R, ou les problèmes de version de R avec l'interface JMP R. Pourriez-vous s'il vous plaît ouvrir le fichier journal (CTRL + Maj + L) lorsque vous voyez le message d'erreur et m'envoyer les informations détaillées du journal à Meijian.Guan@jmp.com ? Je serais ravi d'y jeter un œil.
MJ
Re : Visualisation des données avec t-SNE et UMAPCher @MJ ,
Lorsque j'ai essayé d'exécuter le programme sur l'ensemble de données de test, j'ai reçu une erreur disant "Les problèmes trouvés dans R peuvent être causés par une installation infructueuse des packages Rtsne/umap ou une mémoire limitée."
Je suis presque sûr d'avoir téléchargé tout ce dont j'ai besoin (les packages et R également), donc si vous pouviez m'expliquer pourquoi cela ne fonctionne pas, ce serait très apprécié
Salutations,
Dhruv Bhattaram
Re : Visualisation des données avec t-SNE et UMAP@Raaed Merci de me l'avoir dit. Très content de l'entendre !
Re : Visualisation des données avec t-SNE et UMAPCher Monsieur:
après avoir installé les packages tsne, Rtsne et umap, et tapez le script ci-dessous sur CMD, les compléments sont exécutés✌
merci beaucoup
Re : Visualisation des données avec t-SNE et UMAPCher @Raaed , je crois avoir répondu ci-dessus concernant ce problème. C'est probablement parce que JMP R Interface a eu du mal à trouver votre installation R.
Veuillez essayer de définir R_HOME en tant que variable d'environnement comme suit et essayez à nouveau ce complément. Ouvrez la console Windows CMD et tapez : setx R_HOME "Chemin vers R". Et assurez-vous que les packages Rtsne et umap sont installés sur cette version de R. Veuillez me faire savoir si cela résout votre problème.
Si vous utilisez Mac, vous devez rétrograder votre R vers la version 3.3.3 et utiliser uniquement T-SNE.
De plus, nous avons quelques fils de discussion sur la communauté qui parlent de ce problème que vous pouvez consulter.
https://community.jmp.com/t5/Administration-Discussions/Help-JMP-find-R-installation/td-p/6357
https://community.jmp.com/t5/Discussions/Setting-path-to-R-location/td-p/59764
J'espère que cela pourra aider!
Re : Visualisation des données avec t-SNE et UMAPCher Monsieur
les addins ne s'exécutent pas
Re : Visualisation des données avec t-SNE et UMAPSalut Mejian,
Bon après-midi. J'ai essayé d'utiliser t-SNE et UMAP sur les exemples de données. J'utilise la dernière version de R Studio et JMP 13. Mais j'ai l'erreur suivante-
S'il vous plaît, savez-moi comment puis-je le réparer. Merci pour votre aide.
PS. Je ne pourrai pas passer à JMP 14 pour le moment.
Sincèrement,
Arif
Re : Visualisation des données avec t-SNE et UMAPCher @MJ
merci pour ce joli complément. Je l'ai utilisé sur un Mac tSNE avec R La version 3.3.3 a bien fonctionné. L'UMAP ne l'a pas fait.
Maintenant, je l'ai vérifié sur Windows en utilisant la dernière version R 3.6.1 avec RStudio. J'ai installé les packages pour umap et Rtsne malheureusement ni umap ni Rtsne n'ont fonctionné. J'utilise JMP 14.3.
Voici ce que dit le journal lorsque j'essaie les données mnist après PCA (en utilisant 2 PC comme prédicteurs):
{"UMAP"}
{2, 3, 200, 0,1}
"Je suis bien !"
"Paramètres !"
"Dim de inData2R est : "
10000
3
"Démarrez le back-end !"
"UMAP est sélectionné !"
TKIntRJMP.R version 14.0
l'étiquette est : étiquette
dim de inDataUniq est : 10000 3
Prêt à courir
Nous utilisons UMAP
Une exception de type c0000005 s'est produite à l'adresse 6c910ef2 lors du traitement des instructions R soumises. Cette adresse est à l'offset 10ef2 dans le module "C:\Program Files\R\R-3.6.1\bin\i386\R.dll"
Une exception de type c0000005 s'est produite à l'adresse 6c910ef2 lors du traitement des instructions R soumises. Cette adresse est à l'offset 10ef2 dans le module "C:\Program Files\R\R-3.6.1\bin\i386\R.dll"
Les problèmes trouvés dans R peuvent être causés par une installation infructueuse des packages Rtsne/umap ou par une mémoire limitée.
{"t-SNE"}
{2, 5, 500}
"Je suis bien !"
"Paramètres !"
"Dim de inData2R est : "
10000
3
"Démarrez le back-end !"
"t-SNE est sélectionné !"
TKIntRJMP.R version 14.0
l'étiquette est : étiquette
dim de inDataUniq est : 10000 3
Prêt à courir
Nous exécutons t-SNE
dim de inDataTsne est : 10000 2
Lisez la matrice de données 10000 x 2 avec succès !
OpenMP fonctionne. 1 fils.
En utilisant no_dims = 2, perplexity = 5.000000 et theta = 0.500000
Calcul des similitudes d'entrée...
Construire un arbre...
- point 10000 sur 10000
Fait en 0,45 seconde (parsité = 0,001695) !
Apprentissage intégré...
Itération 50 : l'erreur est 120,349392 (50 itérations en 2,08 secondes)
Itération 100 : l'erreur est 103,025177 (50 itérations en 1,94 seconde)
Itération 150 : l'erreur est 94,995130 (50 itérations en 1,70 seconde)
Itération 200 : l'erreur est 90,828601 (50 itérations en 1,75 seconde)
Itération 250 : l'erreur est 87,964178 (50 itérations en 1,81 seconde)
Itération 300 : l'erreur est de 4,069311 (50 itérations en 1,82 seconde)
Itération 350 : l'erreur est de 3,474366 (50 itérations en 1,83 seconde)
Itération 400 : l'erreur est de 3,044447 (50 itérations en 1,84 seconde)
Itération 450 : l'erreur est de 2,719790 (50 itérations en 1,83 seconde)
Itération 500 : l'erreur est de 2,466420 (50 itérations en 1,84 seconde)
Pose effectuée en 18,44 secondes.
[,1] [,2]
[1,] -18.4173747 30.133875
[2,] -23,5082997 -17,985255
[3,] 0,7376548 -4,148267
[4,] -5,6881024 6,385878
[5,] 8.8457460 22.245393
[6,] -10.8212058 -17.013940
[1] "Analyse terminée !"
Une exception de type c0000005 s'est produite à l'adresse 6c910ef2 lors du traitement des instructions R soumises. Cette adresse est à l'offset 10ef2 dans le module "C:\Program Files\R\R-3.6.1\bin\i386\R.dll"
Les problèmes trouvés dans R peuvent être causés par une installation infructueuse des packages Rtsne/umap ou par une mémoire limitée.
Ce serait super si vous aviez une idée de ce que je devrais essayer. Merci d'avance et bien cordialement Patrick
Re : Visualisation des données avec t-SNE et UMAPBonjour, @FN , il semble que vous ayez installé une version différente du package t-sne. Pourriez-vous s'il vous plaît essayer d'installer Rtsne via R studio à la place? La version github de ce package est ici : https://github.com/jkrijthe/Rtsne . Assurez-vous également que votre chemin R_HOME pointe vers la bonne version de R avec UMAP et Rtsne installés. Faites-moi savoir si vous avez d'autres questions.
Re : Visualisation des données avec t-SNE et UMAPJ'ai réussi à exécuter umap mais pas via Anaconda/conda.
Je pense que j'installe le mauvais paquet pour tsne. Pouvez-vous fournir l'URL dans cran ?
Voici le pas à pas.
Intall R à partir de https://cran.r-project.org/
Installer la communauté Rstudio https://www.rstudio.com/products/rstudio/download/#download
Utilisez Rstudio pour installer tsne et umap.
Re : Visualisation des données avec t-SNE et UMAPMerci. Pour être honnête, je ne sais pas quelle est la meilleure façon d'installer R. Je suis habitué à gérer les installations Python avec conda/anaconda, qui inclut également R maintenant.
C'est le chemin où j'ai installé R.
(base) C:\Users\john_doe>où r
C:\Users\john_doe\AppData\Local\Continuum\miniconda3\Scripts\R.exe
Je suppose que je dois installer ces packages
https://anaconda.org/conda-forge/r-tsne
https://anaconda.org/conda-forge/r-umap
Pour que JMP puisse trouver mon installation R, j'exécute ceci (ou change le PATH manuellement):
setx R_HOME "C:\Users\john_doe\AppData\Local\Continuum\miniconda3\Scripts\"
S'il existe un guide détaillé sur la façon de mieux faire cela, s'il vous plaît faites le moi savoir.
Re : Visualisation des données avec t-SNE et UMAP@FN Salut, merci pour vos suggestions. Ce serait une excellente option d'inclure des exécutables R/Python, mais en raison de nos politiques et de nos préoccupations juridiques, je ne les ai pas inclus. Veuillez me faire savoir si vous rencontrez des problèmes concernant les installations ou les versions de R lors de l'utilisation de ce complément.
Re : Visualisation des données avec t-SNE et UMAPMerci beaucoup d'avoir fourni une interface pour JMP.
Je me demande si ces addins peuvent inclure les exécutables R/Python afin que nous puissions les exécuter directement.
Re : Visualisation des données avec t-SNE et UMAPSalut @ngalphie , cela ressemble à un problème avec l'ancienne version de JMP.
1. J'ai remarqué que vous utilisez JMP 13, il peut être utile de le mettre à jour vers la dernière version (JMP 14.3) et de réessayer ce complément.
2. Envoyez-moi le rapport d'incident enregistré dans C:\Users\username\AppData\Local\Temp\JmpCrashReports\13 au support technique ( https://support.sas.com/ctx/supportform/createForm?ctry=us_JMP ) ou moi directement (Meijian.Guan@jmp.com), nous pouvons creuser dedans.
3. Il y a quelques messages sur la communauté qui parlent également de ce problème. Vous pouvez jeter un coup d'œil pour voir s'il y a quelque chose qu'ils mentionnent qui pourrait aider.
https://community.jmp.com/t5/Discussions/JMP-has-performed-an-access-violation-and-will-shut-down-while/td-p/108183
https://community.jmp.com/t5/Discussions/JMP-Access-Violation-Likely-Causes/mp/5648#M5647
Re : Visualisation des données avec t-SNE et UMAPBonjour @MJ ,
J'ai essayé d'exécuter vos exemples de données, mais j'ai rencontré un problème de violation d'accès. Dans le fichier journal, il semble que le côté R s'est exécuté avec succès. Des idées sur la façon dont je peux résoudre le problème?
Merci,
Al
Re : Visualisation des données avec t-SNE et UMAPSalut marxx,
Votre problème a probablement été causé par plusieurs installations de R sur votre ordinateur et JMP n'a pas pu décider lequel utiliser. Veuillez essayer de définir R_HOME en tant que variable d'environnement comme suit et essayez à nouveau ce complément. Ouvrez la console Windows CMD et tapez : setx R_HOME "Ce PC\Documents\R\R-3.5.2". Et assurez-vous que les packages Rtsne et umap sont installés sur cette version de R. Veuillez me faire savoir si cela résout votre problème.
De plus, nous avons quelques fils de discussion sur la communauté qui parlent de ce problème que vous pouvez consulter.
https://community.jmp.com/t5/Administration-Discussions/Help-JMP-find-R-installation/td-p/6357
https://community.jmp.com/t5/Discussions/Setting-path-to-R-location/td-p/59764
Re : Visualisation des données avec t-SNE et UMAPSalut MJ,
Je reçois un message d'erreur lorsque j'essaie ce complément. On dirait qu'il ne reconnaît pas mon installation de R. Seriez-vous en mesure d'aider à comprendre comment faire en sorte que votre complément reconnaisse mon installation R si tel est bien le problème ?
J'inclus une capture d'écran montrant que R est ouvert mais n'est pas reconnu, et une capture d'écran de mon emplacement d'installation R (pas de fichiers de programme) et aussi copier une partie du message d'erreur ci-dessous.
Cela ressemble à un outil très excitant et j'espère l'utiliser. J'ai déjà trouvé que t-sne dans R était utile et il serait très utile de pouvoir le faire correctement dans JMP. Toute aide que vous pourriez fournir est grandement appréciée.
Merci!
Captures d'écran de l'erreur et de l'instance R ouverte, puis capture d'écran de l'emplacement d'installation de R
Code d'erreur
"
Une installation de R est introuvable sur ce système. La prise en charge de JMP R nécessite R version 2.9.1 ou supérieure pour l'accès ou l'évaluation de 'Glue' , write2lastRun( pb2, _addinPath_ );
algr = cbb << obtenir sélectionné();
Print( "Vous avez algr !" );
Essayer(
dim1 = dimBx1 << obtenir ;
per1 = perBx1 << obtenir ;
iter1 = iterBx1 << obtenir ;
);
Essayer(
dim2 = dimBx2 << obtenir ;
per2 = perBx2 << obtenir ;
iter2 = iterBx2 << obtenir ;
dist = distbox << get;
);
Print( "Paramètres !" );
Essayez (prédicteur = sélectionnéX << getitems );
Si( Longueur( prédicteur ) < 1,
Throw( "Veuillez spécifier les prédicteurs" )
);
Try( étiquetteY = sélectionnéY << getitems );
Si( N éléments( labelY ) > 0,
étiquetteY1 = étiquetteY[1] ;
grphVars = Eval Insert( "X( :Y2 ), Y( :Y1 ), Color( :^labelY1^ ) " );
,
étiquetteY1 = "" ;
grphVars = "X( :Y2 ), Y( :Y1 )" ;
***** Texte tronqué *****"
Re : Visualisation des données avec t-SNE et UMAPSalut Mujahida,
Les couleurs indiquent de véritables étiquettes pour cet ensemble de données, de sorte que les points de données de la même couleur doivent avoir un attribut similaire. Les clusters ont été estimés par t-SNE et UMAP, vous devriez voir quelques discordances de couleur.
Re : Visualisation des données avec t-SNE et UMAPSalut! MJ,
Puis-je comprendre que, dans les photos ci-dessus, chaque masse/groupe de points peut être traité comme le même attribut ? ou différents points de couleur doivent être traités comme des attributs différents ?
