Procesamiento con distinción entre mayúsculas y minúsculas en Text ExplorerUn usuario en el área académica me pregunta si hay una opción para recoger palabras con modo de distinción de mayúsculas y minúsculas en el Explorador de texto plataforma.
Ejecute el siguiente script como ejemplo. Quiere mostrar palabras como "JMP" en el informe, pero el Explorador de texto de JMP devuelve "jmp" .
dt = New Table("Test", New Column("Y", Character, Values({"JMP JMP JMP JMP JMP JMP"})));
dt << Text Explorer(
Text Columns( :Y ),
Set Regex( Custom( Title( "Test" ), Regex( "\[(.+?(\s|\Z))]\" ), Result( "\[\1]\" )))
);
[Fondo]
Casi todos los caracteres de sus datos están en japonés. Solo una pequeña porción de los caracteres son alfabetos. Recoge palabras de otro software y crea listas de palabras. En sus datos tokenizados, cada palabra está separada por un espacio. (Quiero decir que tokeniza sus datos con otro software que no sea JMP). Quiere que JMP trate estas palabras tokenizadas como son.
Re: Procesamiento con distinción entre mayúsculas y minúsculas en Text ExplorerEl primer paso para analizar el texto es convertirlo a minúsculas, antes de que comience cualquier método de análisis. Traté de aplicar una función (p. ej., Title Case(string)) al resultado de retorno de Regex, pero luego obtienes una expresión en lugar de una cadena. (¿Eh?)
Si la lista de dichos tokens es pequeña, entonces las reglas de recodificación en Text Explorer podrían ser el camino a seguir. Se pueden programar, por lo que podría ser posible construir el código a partir de una lista de excepciones.
Re: Procesamiento con distinción entre mayúsculas y minúsculas en Text ExplorerMuchas gracias por tu consejo.
yo también he probado
Title Case(\1)
y
Upper Case(\1)
para el resultado en expresiones regulares. Devuelve "título de mayúsculas (jmp)" y "mayúsculas (jmp)" como puede ver.
La opción Recodificar también parece tratar los caracteres sin distinguir entre mayúsculas y minúsculas. Incluso si cambio "jmp" a "JMP" en la ventana Recode, el Explorador de texto vuelve a cambiar a caracteres en minúsculas (es decir, "jmp").
De todos modos, te agradezco mucho tu consejo. Llego a pensar firmemente que no hay opción para tratar los caracteres como están en el Explorador de texto.
En general, la tokenización de textos japoneses es una tarea muy difícil. Entonces, el usuario usa otro software para la tokenización. El usuario debe estar de acuerdo en que el tratamiento de mayúsculas y minúsculas es un uso muy raro (especialmente para los idiomas occidentales).
