Text data presents special challenges to the data analyst. A new training course helps to guide text exploration and analysis.Text data presents special challenges to the data analyst. A new training course helps to guide text exploration and analysis.Text data presents special challenges to the data analyst. A new training course helps to guide text exploration and analysis.Text data presents special challenges to the data analyst. A new training course helps to guide text exploration and analysis.Textdaten stellen den Datenanalysten vor besondere Herausforderungen. Ein neuer Schulungskurs hilft bei der Textexploration und -analyse.
Text ist eine gängige Form von Daten, stellt den Datenanalysten jedoch vor ungewöhnliche Herausforderungen.
Erstens ist Text in vielen Dateiformaten verfügbar und Zeichen in einer Textdatei können eine von vielen verschiedenen Kodierungen verwenden. Die einzelnen Dateien müssen zur Verarbeitung und Analyse in eine einzige JMP-Datentabelle importiert werden.
Zweitens ist Text unstrukturierte Daten . Es erscheint nicht auf die gleiche Weise wie Messungen (kontinuierliche Variablen), Anzahl oder Kategorien. Ein einzelner Wert von Textdaten wird als a bezeichnet dokumentieren . Dieser Wert kann ein einzelner Satz, ein paar Absätze oder ein ganzes Buch sein. Der Wert kann eine Text- oder E-Mail-Nachricht, ein Blogbeitrag, eine Restaurantbewertung oder ein Garantiebericht sein, um nur einige der Möglichkeiten zu nennen. Ein Muster von Dokumenten wird als a bezeichnet Korpus . JMP speichert den gesamten Korpus in einer einzigen Datenspalte mit dem Zeichendatentyp und dem Modellierungstyp für unstrukturierten Text. Jedes Dokument belegt eine Zeile in der Datenspalte.
Drittens ist Text heterogen! Ein Dokument kann viele Arten von Informationen enthalten, wie z. B. die Namen von Personen, Orten, Produkten, Fehlern oder Funktionen; Telefonnummern; Datum und Uhrzeit; Alter; Geschlecht; Währung; Sozialversicherungsnummern, Produktnummern oder irgendetwas anderes. Der Informationsgehalt ist möglicherweise von einem Dokument zum nächsten nicht konsistent. Ein Großteil des Inhalts ist möglicherweise überhaupt nicht informativ oder nützlich. Wie werden die Informationen gefunden? Wie wird entschieden, ob es sich um Informationen handelt?
Viertens ist Text chaotisch! Im Vergleich dazu können strukturierte Daten leicht umcodiert, transformiert oder eingeteilt werden. Wie wird ein Dokument umcodiert? Wie ist mit Akronymen, Abkürzungen, Synonymen, uneinheitlicher Zeichensetzung und Großschreibung sowie Rechtschreibfehlern umzugehen?
Wir haben entwickelt neue Schulung zum Untersuchen und Analysieren von Textdaten mit dem Text-Explorer in JMP Pro 14 . (Beachten Sie, dass für die erste Hälfte des Kurses nur JMP 14 erforderlich ist.)
Ein Großteil der Arbeit liegt in der Analyse von Textdaten kuratieren die Liste der Bedingungen . Ein Großteil der Schulungszeit konzentriert sich auf einen Arbeitsablauf, der mit dem Rohkorpus beginnt und mit der kuratierten Begriffsliste endet. Diese Liste wird zum Herzstück nachfolgender Analysen, daher ist die Qualität der Liste wichtig. Wenn die Liste fertig ist, kann sie in die ursprüngliche Tabelle oder als neue Datentabelle in Form von neuen, strukturierten Variablen exportiert werden. Diese neuen Variablen können einzeln oder in Kombination mit anderen strukturierten Variablen mit einer der anderen JMP-Plattformen untersucht werden.
Der Text-Explorer in JMP Pro bietet drei leistungsstarke, multivariate Methoden zum Extrahieren weiterer Informationen aus der Begriffsliste. Latente Klassenanalyse entdeckt Cluster von Dokumenten, die ein gemeinsames Begriffsmuster aufweisen. Latente semantische Analyse entdeckt implizite Themen im Korpus. Diskriminanzanalyse bewertet Dokumente nach Kategorien, die von einer anderen Variablen bereitgestellt werden.
Haben Sie Textdaten, die darauf warten, analysiert zu werden? Benötigen Sie Hilfe bei der Verwendung des Text-Explorers mit Best Practices? Die neuer Kurs wird als Preconference-Training auf der nächsten Premiere haben JMP Discovery Summit am 22. und 23. Oktober 2018 in Cary, NC, in der SAS-Zentrale. Wir sehen uns dort!
