A vorherigen Post beschrieb eine komplizierte Reihe von Schritten zum Herunterladen eines Streams von Twitter-Daten. Diese angehängte JSL beschreibt eine einfachere Möglichkeit, durch Screen-Scraping von Twitter eine kleinere Datenmenge zu erhalten Erweiterte Suche (kein Login erforderlich).
Beim Screen-Scraping werden die Daten auf dem Bildschirm nicht wirklich verwendet. Stattdessen wird der HTML-Code erfasst und analysiert, der normalerweise zum Anzeigen einer Webseite auf dem Bildschirm verwendet wird. In diesem Beispiel ist die Analyse ziemlich einfach: Suchen Sie nach URLs, die mit .jpg enden. Eine URL ist die Webadresse einer Ressource, und eine URL mit der Endung .jpg ist ein Bild, das heruntergeladen (normalerweise von Ihrem Browser) und (in diesem Beispiel) gespeichert werden kann.
Da diese Twitter-Schnittstelle neue Bilder langsam und immer wieder dieselben Bilder liefert, verfügt die JSL über eine Logik, um redundante Downloads zu verhindern und bestimmte Arten von Bildern zu ignorieren. Wenn Sie Ihren eigenen Screen-Scraping-Code schreiben, werden Sie auf ähnliche Regeln stoßen. Sie werden wahrscheinlich komplizierteren Code schreiben, um den HTML-Code zu analysieren und zugehörige Metadaten zu extrahieren, beispielsweise den getwitterten Text, der zum Bild gehört.
Um die Anzeige interessant zu halten, zeigt die JSL alte Bilder erneut an und wartet dabei mindestens eine Minute, bevor sie Twitter auffordert, die Anfrage erneut zu senden. Es gibt viele Möglichkeiten, von einem Bild zum nächsten zu wechseln. Anstatt eine einfache Überblendung zu verwenden, verwendet diese JSL eine FFT, um die Bilder vom räumlichen 2D-Bereich in den Frequenzbereich umzuwandeln, und wendet die Überblendung im Frequenzbereich an. Es ist langsam und nur ein Experiment. Hier ist ein Video mit Bildern, zu deren Verwendung ich berechtigt bin (im Gegensatz zu den meisten Bildern auf Twitter). Es verwendet außerdem eine größere FFT und mehr Übergangsrahmen als die JSL, da es nicht in Echtzeit ausgeführt werden muss.
Die angehängte JSL enthält den Suchbegriff Fußball . Das schien an diesem Wochenende zu ziemlich guten Ergebnissen zu führen. Hier ist eine Bild Zeigt den Spielstand eines Spiels zwischen zwei benachbarten Universitäten an.
Update: JSL-Probleme
