Vor ein paar Tagen habe ich etwas gedankenlos einen MCA auf vier Variablen aus dem Twitter-Datensatz ausprobiert. Dies waren alles Benutzernamen, Benutzerbildschirmnamen, Antwortnamen und dergleichen. Alle sind alphabetisch von zufälliger Länge.Die Prozedur verlief einwandfrei.
Jetzt habe ich begonnen, die Analyse zu wiederholen, indem ich zuerst nachdenke. Mein offensichtlicher Fehler.Bei einer 4257-Falldatei kann ich den MCA nicht dazu bringen, die Ausführung zu beenden (ich habe nicht lange genug gewartet). Der Windows Task-Manager sagt mir, dass das Programm nicht antwortet, aber natürlich ändern sich die Kerngröße und die CPU-Auslastung ständig.
Ich habe über die Anzahl der Kategorien spekuliert, die aus diesen Variablen generiert werden könnten. Also habe ich die Benutzer-ID und die ID der In-Response-to-Entität ausgewählt, die den Tweet ausgelöst hat.Dies läuft auf einem Dell 8-Core-Computer mit 64 GB Speicher.Es läuft seit zwei Stunden, verwendet 8 % der CPU (variiert ein paar Prozent) und weniger als 5.000 MB Speicher.In der Kommentarzeile steht "antwortet nicht.."Ich kann den Job ohne zusätzliche Kosten die ganze Nacht laufen lassen.Aber die zugrunde liegende Logik stört mich, weil ich sie nicht gut genug kenne.
a. Wenn eine Variable Zahlen verwendet, aber als nominale Modellierung bezeichnet wird, ist die maximale Anzahl der Kategorien die Anzahl der Fälle (z. B. die Anzahl der Tweet-Autoren in der Datei).
b. Wenn eine Variable beliebige Zeichen, Wörter oder Namen verwendet, gilt die gleiche Zahl – die maximale Dimension in Richtung der Fälle ist die Anzahl der Beobachtungen.Also kein Unterschied.
c. Wenn eine Variable als Zahl modelliert wird, selbst wenn sie ordinal ist, kann die Anzahl der Stellen die Anzahl der Stellen zwischen der niedrigsten und der höchsten Zahl in der Menge sein.
d. Eines der JMP-Community-Mitglieder hat eine Fallstudie mit 600.000 erstellt und ordentliche Diagramme erstellt.Er muss einen Zauberstab benutzt haben – oder sehr wenige Werte in der Zielvariablen gehabt haben.
e. Wenn ich damit rechnen muss, eine Who-to-whom-Matrix zu erstellen, muss ich mich (in meinem Fall) auf eine 4257 x 4256-Matrix oder so ungefähr einstellen, die dann vereinfacht werden soll.Aber auf den ersten Blick würde diese Matrix weniger als 19 Millionen Wörter umfassen.Das ist nicht viel für einen Computer.
Was verstehe ich nicht?Beschränke ich mich auf so etwas wie meine 4257 Fälle mal eine Variable mit nur einem Dutzend oder zwei Werten?
Da ihr Leute in der Vergangenheit so nett wart, dachte ich, ich werfe das hier raus.Wenn jemand möchte, kann ich eine Tabelle mit allen Fällen und ein paar Variablen hochladen, möchte aber nicht den Speicher eines anderen überfluten.
:
