A vorherigen Post beschrieb eine komplizierte Reihe von Schritten zum Herunterladen eines Streams von Twitter-Daten. Diese beigefügte JSL beschreibt eine einfachere Möglichkeit, eine kleinere Datenmenge durch Screen-Scraping von Twitter zu erhalten Erweiterte Suche (keine Anmeldung erforderlich).
Beim Screen-Scraping werden die Daten auf dem Bildschirm nicht wirklich verwendet. Stattdessen wird das HTML, das normalerweise verwendet wird, um eine Webseite auf dem Bildschirm anzuzeigen, erfasst und analysiert. In diesem Beispiel ist die Analyse ziemlich simpel: Suchen Sie nach URLs, die auf .jpg enden. Eine URL ist die Webadresse einer Ressource, und eine URL, die auf .jpg endet, ist ein Bild, das heruntergeladen (normalerweise von Ihrem Browser) und (in diesem Beispiel) gespeichert werden kann.
Da diese Twitter-Oberfläche langsam neue Bilder liefert und immer wieder die gleichen Bilder, hat die JSL eine Logik, um redundante Downloads zu verhindern und bestimmte Arten von Bildern zu ignorieren. Wenn Sie Ihren eigenen Screen-Scraping-Code schreiben, werden Sie mit ähnlichen Regeln enden. Sie werden wahrscheinlich komplizierteren Code schreiben, um den HTML-Code zu analysieren und verwandte Metadaten zu extrahieren, wie z. B. den getwitterten Text, der zum Bild gehört.
Um die Anzeige interessant zu halten, zeigt das JSL alte Bilder erneut an, während es mindestens eine Minute wartet, bevor es Twitter auffordert, die Abfrage erneut zu senden. Es gibt viele Möglichkeiten, von einem Bild zum nächsten zu wechseln. Anstatt eine einfache Überblendung zu verwenden, verwendet diese JSL eine FFT, um die Bilder aus dem räumlichen 2D-Bereich in die Frequenzdomäne umzuwandeln, und wendet die Überblendung im Frequenzbereich an. Es ist langsam und nur ein Experiment. Hier ist ein Video mit Bildern, zu deren Verwendung ich die Erlaubnis habe (im Gegensatz zu den meisten Bildern auf Twitter). Es verwendet auch eine größere FFT und mehr Übergangsbilder als die JSL, da es nicht in Echtzeit laufen muss.
Die angehängte JSL enthält den Suchbegriff Fußball . Das schien an diesem Wochenende ziemlich gute Ergebnisse zu produzieren. Hier ist eine Bild zeigt die Punktzahl für ein Spiel zwischen zwei nahe gelegenen Universitäten.
Update: JSL-Probleme
