Elaborazione con distinzione tra maiuscole e minuscole in Esplora testoUn utente nell'area accademica mi chiede se esiste un'opzione per raccogliere le parole con la modalità case sensitive nel file Esplora testo piattaforma.
Si prega di eseguire lo script seguente come esempio. Vuole mostrare le parole come "JMP" nel report, ma viene visualizzato Esplora testo di JMP "jmp" .
dt = New Table("Test", New Column("Y", Character, Values({"JMP JMP JMP JMP JMP JMP"})));
dt << Text Explorer(
Text Columns( :Y ),
Set Regex( Custom( Title( "Test" ), Regex( "\[(.+?(\s|\Z))]\" ), Result( "\[\1]\" )))
);
[Sfondo]
Quasi tutti i caratteri nei suoi dati sono in giapponese. Solo una piccola parte di caratteri sono alfabeti. Raccoglie parole da altri software e crea elenchi di parole. Nei suoi dati tokenizzati, ogni parola è separata da uno spazio. (Voglio dire che tokenizza i suoi dati con un software diverso da JMP.) Vuole che JMP tratti queste parole tokenizzate come sono.
Re: Elaborazione con distinzione tra maiuscole e minuscole in Esplora testoIl primo passaggio nell'analisi del testo consiste nel convertirlo in minuscolo, prima che inizi uno dei metodi di analisi. Ho provato ad applicare una funzione (ad esempio, Title Case( string ) ) al risultato restituito da Regex, ma poi ottieni un'espressione invece di una stringa. (eh?)
Se l'elenco di tali token è piccolo, le regole di ricodifica in Esplora testo potrebbero essere la strada da percorrere. Possono essere sottoposti a script, quindi potrebbe essere possibile creare il codice da un elenco di eccezioni.
Re: Elaborazione con distinzione tra maiuscole e minuscole in Esplora testoGrazie mille per il consiglio.
Ho anche provato
Title Case(\1)
e
Upper Case(\1)
per il risultato in regex. Restituisce "titolo maiuscolo(jmp)" e "maiuscolo(jmp)" come vedi.
L'opzione Ricodifica sembra trattare anche i caratteri in modo senza distinzione tra maiuscole e minuscole. Anche se cambio "jmp" in "JMP" nella finestra Ricodifica, Esplora testo torna ai caratteri minuscoli (cioè "jmp").
Comunque ti ringrazio molto per i tuoi consigli. Arrivo a pensare fermamente che non ci sia alcuna opzione per trattare i caratteri come sono in Esplora testo.
In generale, la tokenizzazione dei testi giapponesi è un compito molto difficile. Quindi, l'utente utilizza altro software per la tokenizzazione. L'utente deve concordare sul fatto che il trattamento case-sensitive è un utilizzo molto raro (soprattutto per le lingue occidentali).
