Il y a quelques jours, j'ai essayé, un peu inconsidérément, un MCA sur quatre variables de l'enregistrement Twitter. Il s'agissait de noms d'utilisateurs, de pseudonymes d'utilisateurs, de noms de réponse, etc. Tous sont alphabétiques de longueur aléatoire.La procédure s'est parfaitement déroulée.
Maintenant, j'ai commencé à refaire l'analyse, en réfléchissant d'abord. Mon erreur évidente.sur un dossier 4257, je n'arrive pas à terminer l'exécution du MCA (je n'ai pas attendu assez longtemps). Le gestionnaire des tâches Windows m'indique que le programme ne répond pas, mais, bien sûr, la taille du cœur et l'utilisation du processeur changent continuellement.
J'ai spéculé sur le nombre de catégories qui pourraient être générées à partir de ces variables. J'ai donc choisi l'ID utilisateur et l'ID de l'entité en réponse à l'origine du tweet.Cela fonctionne sur une machine Dell 8 cœurs avec 64 Go de mémoire.Il a fonctionné pendant deux heures, utilisant 8 % du processeur (variant) de quelques pour cent) et moins de 5 000 Mo de mémoire.La ligne de commentaire indique "ne répond pas .."Je peux laisser le travail fonctionner toute la nuit sans frais supplémentaires.Mais la logique sous-jacente me gêne, car je ne la connais pas assez bien.
un. Si une variable utilise des nombres, mais est désignée comme modélisation nominale, le nombre maximum de catégories est le nombre de cas (par exemple, le nombre d'auteurs de tweet dans le fichier).
b. Si une variable utilise des caractères, des mots ou des noms arbitraires, le même nombre est valable - la dimension maximale dans la direction des observations est le nombre d'observations.Donc pas de différence.
c. Si une variable est modélisée comme un nombre, même ordinal, le nombre de positions peut être le nombre de places entre le nombre le plus bas et le plus élevé de l'ensemble.
ré. L'un des membres de la communauté JMP a réalisé une étude de cas sur 600 000 et produit des graphiques soignés.Il a dû utiliser une baguette magique -- ou avait très peu de valeurs dans la variable cible.
e. Si je dois compter avec la création d'une matrice qui-à-qui, je dois être préparé (dans mon cas) à une matrice 4257 x 4256 ou environ qui doit ensuite être simplifiée.Mais à première vue, cette matrice serait inférieure à 19 millions de mots.C'est peu pour un ordinateur.
Qu'est-ce que je n'arrive pas à comprendre ?Suis-je limité à quelque chose comme mes 4257 cas multipliés par une variable avec seulement une douzaine ou deux valeurs ?
Donc, puisque vous avez été si gentils dans le passé, j'ai pensé que je pourrais jeter ça.Si quelqu'un le souhaite, je peux télécharger une table avec tous les cas et quelques variables, mais je ne veux pas inonder le stockage de quelqu'un d'autre.
:
