Video unten, Dateien im Anhang. Dieses Projekt wurde in etwa drei Phasen durchgeführt: Datenerfassung, ein zeitaufwändiger Vorverarbeitungsschritt und ein Schritt zur Erstellung von Videobildern.
Die Daten wurden von wikipediaTextParser.jsl gesammelt, das viele Wikipedia-Webseiten heruntergeladen hat (in mehreren Stapeln über mehrere Tage hinweg). Auf der Wikipedia-Startseite gibt es eine Zufallsschaltfläche mit einem Link, der einen zufälligen Artikel zurückgibt. JMP kann diesen Link in einer Schleife öffnen und den HTML-Code in eine Tabelle schreiben. (Wenn Sie dies tun, sollten Sie bei der nächsten Anfrage wirklich darüber nachdenken, zu spenden.) Die Download-Schleife hat auch einige Verarbeitungsvorgänge durchgeführt, um eine Menge HTML zu entfernen und zu versuchen, den interessanten Teil des Dokuments zu identifizieren; Sie werden im Video immer noch einige Wörter sehen, die gefiltert werden sollten. In diesem Schritt wurde auch nach Datumsangaben in einem bestimmten Format gesucht, um zu versuchen, jedem Artikel ein Datum zuzuordnen. Das älteste Datum schien das beste zu sein, da die meisten Artikel ziemlich oft berührt werden. Wenn Sie fertig sind, sortieren Sie nach Datum.
Generator2.jsl ist der Vorverarbeitungsschritt; Es verwendet die Text Explorer-Plattform von JMP, um Teilmengen der Dokumente anzuzeigen. Ich begann mit allen Dokumenten und erstellte eine Liste der Stoppwörter, die entfernt wurden. Jede Teilmenge umfasst etwa 1500 Dokumente und überschneidet sich stark mit der vorherigen Teilmenge. Aus jeder Teilmenge wird eine Begriffstabelle gespeichert und in eine größere Tabelle kopiert. Die größere Tabelle besteht aus 300 Zeilen mal 3600 Spalten. Ich behalte die 300 beliebtesten Begriffe bei und benötige 1800 Bilder, um 60 Sekunden eines Videos mit 30 Bildern/Sekunde zu erstellen. Jedes Spaltenpaar ist ein Begriff und eine Häufigkeit. Ja, wenn ich es noch einmal machen würde, könnte ich es um 90 Grad drehen und 600 Spalten mal 1800 Zeilen haben. Das lief über Nacht.
ProcessMC4.jsl, der letzte Schritt, besteht hauptsächlich aus JSL, um die Daten für die Eingabe von Graph Builder zu erstellen. Ich habe „Für Marker verwenden“ verwendet, um den Begriff im Diagramm in ein Wort umzuwandeln und Graph Builder die Größe ermitteln zu lassen. Es gibt eine ganze Menge JSL, das a ausführt gewaltsam gerichtet Algorithmus, der den Wörtern dabei hilft, einen schönen Ort zum Abhängen zu finden. Am Ende des Videos können Sie das verbleibende Zittern sehen, nachdem der Datenfluss gestoppt wurde, der erzwungene Code jedoch weiterhin ausgeführt wird. Trotzdem ergibt das immer noch mehrere Bilder pro Sekunde. (Ich habe viel Feinabstimmung vorgenommen, um einige kraftgesteuerte Parameter zu finden, die ziemlich gut funktionieren. Eine der Überraschungen war die Entdeckung, dass weniger mehr ist, wenn die Wörter ihre nächsten Nachbarn betrachten: 1 oder 2 hatten einen guten Abstand um die Wörter herum, aber 5 oder mehr schnitten nicht so gut ab. Vielleicht habe ich bei der Summierung der Kraftvektoren die Abstandsberechnung vermasselt.)
Video (will maximiert werden, es gibt viele kleine Wörter)
Alle Videos
