Vor ein paar Tagen habe ich etwas gedankenlos versucht, eine MCA für vier Variablen aus dem Twitter-Datensatz durchzuführen. Dies waren alles Benutzernamen, Benutzerbildschirmnamen, Antwortnamen und dergleichen. Alle sind alphabetisch und haben eine zufällige Länge.Der Vorgang verlief einwandfrei.
Jetzt habe ich begonnen, die Analyse zu wiederholen und zuerst nachzudenken. Mein offensichtlicher Fehler.Bei einer 4257-Falldatei kann ich die Ausführung des MCA nicht beenden (ich habe nicht lange genug gewartet). Der Windows Task-Manager teilt mir mit, dass das Programm nicht reagiert, aber natürlich ändern sich die Kerngröße und die CPU-Auslastung ständig.
Ich habe über die Anzahl der Kategorien spekuliert, die aus diesen Variablen generiert werden könnten. Also habe ich die Benutzer-ID und die ID der Entität ausgewählt, auf die geantwortet wurde und die den Tweet ausgelöst hat.Dies läuft auf einem Dell 8-Core-Computer mit 64 GB Arbeitsspeicher.Es läuft seit zwei Stunden, verbraucht 8 % der CPU (variiert um ein paar Prozent) und hat weniger als 5.000 MB Speicher.In der Kommentarzeile wird „keine Antwort“ angezeigt.Ich kann den Job ohne zusätzliche Kosten die ganze Nacht laufen lassen.Aber die zugrunde liegende Logik stört mich, weil ich sie nicht gut genug kenne.
A. Wenn eine Variable Zahlen verwendet, aber als nominale Modellierung bezeichnet wird, ist die maximale Anzahl von Kategorien die Anzahl der Fälle (z. B. die Anzahl der Tweet-Autoren in der Datei).
B. Wenn eine Variable beliebige Zeichen, Wörter oder Namen verwendet, gilt die gleiche Zahl – die maximale Dimension in Richtung der Fälle ist die Zahl der Beobachtungen.Also kein Unterschied.
C. Wenn eine Variable als Zahl modelliert wird, auch wenn sie ordinal ist, kann die Anzahl der Positionen die Anzahl der Stellen zwischen der niedrigsten und der höchsten Zahl in der Menge sein.
D. Eines der JMP-Community-Mitglieder hat eine 600.000-Fallstudie erstellt und übersichtliche Grafiken erstellt.Er muss einen Zauberstab benutzt haben – oder die Zielvariable hatte nur sehr wenige Werte.
e. Wenn ich damit rechnen muss, eine Who-to-Wem-Matrix zu erstellen, muss ich mich auf eine (in meinem Fall) etwa 4257 x 4256 große Matrix einstellen, die dann vereinfacht werden soll.Aber auf den ersten Blick würde diese Matrix weniger als 19 Millionen Wörter umfassen.Das ist nicht viel für einen Computer.
Was verstehe ich nicht?Bin ich auf etwa meine 4257 Fälle mal eine Variable mit nur einem Dutzend oder zwei Werten beschränkt?
Da Sie also in der Vergangenheit so nett waren, dachte ich, ich könnte das hier wegwerfen.Wenn jemand möchte, kann ich eine Tabelle mit allen Fällen und ein paar Variablen hochladen, möchte aber nicht den Speicher von jemand anderem überfluten.
:
Danke, Phil.
Das Problem ist die Anzahl der Kategorien.Es ist nicht so, dass das Programm nicht mit etwa tausend Kategorien rechnen kann, aber es dauert wirklich lange.Die Frage, die ich stelle, ist, wer wem antwortet.Ich werde noch ein bisschen damit experimentieren, um zu sehen, ob ich eine der Variablen überprüfen kann, um die Anzahl der Kategorien zu reduzieren.Wenn etwas dabei herauskommt, werde ich Ergebnisse veröffentlichen.
Larry
Ich denke, es könnte hilfreich sein, wenn Sie einige anschauliche Daten teilen könnten.
Ich verstehe nicht wirklich, was das Ziel Ihrer Analyse ist und wie die Daten aussehen, die Sie analysieren möchten. Ich bin nicht sicher, ob MCA angemessen ist.
Wenn ich das verstehe, haben Sie eine Tabelle mit 4257 Zeilen. Für MCA in JMP Pro ist das kein Problem.
Ein wichtigerer Faktor wird die Anzahl der Ebenen innerhalb jeder Variablen sein.
