Auf der Suche nach einigen guten Beispielen zur Textbereinigung/-extraktionIch halte nächsten Monat einen Workshop zu JMP-Textwerkzeugen auf der US Discovery und suche nach guten, realistischen Beispielen für die Informationsextraktion aus Text. Ich werde mich wahrscheinlich mehr mit strukturiertem Text beschäftigen, plane aber auch, reguläre Ausdrücke und unstrukturierten Text zu besprechen. Wenn Sie Beispiele haben, die Sie teilen möchten, freue ich mich über Ihre Rückmeldung. Es müssen keine anspruchsvollen, einfachen, aber auch interessanten Arbeiten sein. Ich plane, den Teilnehmern den Text vor dem Workshop per E-Mail zuzusenden und Informationen zu den zu erreichenden Aufgaben zu geben. Im Workshop besprechen wir dann die Lösungen.
Betreff: Suche nach einigen guten Beispielen zur Textbereinigung/-extraktionDie Daten der Wirtschaftsberichte des Beige Book (im Anhang) könnten hilfreich sein. Ab 1981 enthalten die Berichte einzelne Abschnitte, die durch Überschriften in doppelten geschweiften Klammern gekennzeichnet sind (z. B. {{Banking}} oder {{Employment}}). Sie könnten Regex verwenden, um nur Text aus bestimmten Abschnitten für weitere Analysen auszuwählen.
Eine Herausforderung besteht darin, dass es Variationen im Überschriftentext für ein bestimmtes Konzept/Thema gibt, zum Beispiel {{ Finanzen }} vs. {{ Bankwesen }}. Aber das könnte nur eine weitere Ebene der Herausforderung sein.
