텍스트 탐색기에서 찾을 수 있는 일부 문구를 확장합니다.안녕하세요,
저는 Text Explorer를 사용하여 매직 더 개더링 카드 오라클 텍스트로 구성된, 제가 잘 알고 있는 깨끗한 코퍼스에서 구문을 찾고 있습니다. Text Explorer는 훌륭하게 작동하지만, 개선하고 싶은 부분이 있습니다. "destroy up to one target"이라는 일반적인 구문은 찾지만, "destroy up to one target creature"이나 "destroy up to one target enchantment"라는 구문은 찾지 못합니다. 이 구문들도 찾을 수 있으면 좋겠습니다. 충분히 흔하게 사용되는 구문이므로 당연히 찾아야 할 것입니다. 구문당 최대 단어 수를 10개에서 100개, 그리고 1000개로 늘려 보았지만 알고리즘 동작에 변화가 없었습니다. 불용어는 모두 비활성화했고, 어간 추출도 사용하지 않습니다. 찾을 구문의 최대 개수 매개변수를 50,000개로 설정해 보았지만 약 30,000개만 찾았으므로, 이 부분이 문제는 아닌 것 같습니다.
이러한 기본 설정 외에, 구문 찾기 알고리즘이 이러한 확장된 구문을 찾도록 "학습"시킬 수 있는 방법이 있을까요? 정규 표현식(Regex)은 잘 모르지만, 혹시 그쪽에서 뭔가 할 수 있는 일이 있을까요? (적어도 제 연구 목적상) 이런 종류의 불필요한 단어 잘림 현상이 제 코퍼스 전체에 걸쳐 발생하기 때문에, 특정 구문을 추가하는 것과 같은 일회성 해결책보다는 시스템적으로 이 문제를 해결할 수 있는 방법을 찾고 있습니다. 기존 구문에 단어를 하나씩 더 추가하도록 학습시키면 제가 찾고 있는 구문을 많이 찾을 수 있을 것 같습니다. 알고리즘이 단어를 하나씩 추가하면서 각 구문에 대한 최적의 종료 지점을 찾았다고 판단하는 규칙이 있을 거라고 생각하지만, 이 코퍼스에서는 종종 너무 짧게 끝나버립니다. 물론, 제가 찾고 있는 것과는 전혀 상관없는 10단어짜리 구문까지 찾아냅니다.
찾은 구문 각각에 단어를 하나씩만 추가하는 방법을 아시는 분 계신가요?
설정을 바꿔봐도 아무런 차이가 없네요. 혹시 좋은 아이디어 있으신 분 계신가요?
기초 데이터 분석 및 모델링소비자 및 시장 조사데이터 탐색 및 시각화제목: 텍스트 탐색기에서 찾은 일부 구문 확장 관련안녕하세요 @caseylott 님 ,
멋진 아이디어네요! 마켓플레이스의 LLM 프롬프트 러너를 활용해 보는 건 어떨까요? LLM이 핵심 구문을 식별하거나 원본 항목을 정리하여 데이터 검색을 간소화하는 등의 작업을 대신해 줄 수 있을 것 같습니다. MTG 오라클 텍스트는 동사 + "대상" + 선택적 수량사 + 객체 유형과 같은 매우 규칙적인 도메인 문법을 가지고 있어서, 각 대상 지정 절의 전체 객체를 추출하도록 LLM에 프롬프트를 보내면 "대상 생물", "대상 마법 부여", "대상 생물 또는 플레인즈워커" 등과 같은 구조화된 출력을 안정적으로 생성할 수 있을 것 같습니다.
다른 방법은 "destroy up to one target"이라는 문구를 "destroy_up_to_one_target"이라는 단일 문구로 바꾸는 것입니다. 현재 텍스트 탐색기는 각 단어를 분리해서 표시하고 있는데, 끝 단어(예: 'target creature')가 많이 사용되지 않기 때문에 각각 단일 항목으로 표시됩니다. "destroy_up_to_one_target"으로 바꾸면 "destroy_up_to_one_target creature//enchantment" 또는 이와 유사한 형식으로 표시될 것입니다. [열] > [코드 변경] > [문자열 바꾸기]를 사용하여 아래 스크린샷과 같이 변경할 수 있습니다.
제목: 텍스트 탐색기에서 찾은 일부 구문 확장 관련고마워, 벤. 수동으로 다시 코딩하는 방법을 시도해 볼게. 마켓플레이스에서 LLM 옵션이 뭔지는 잘 모르겠지만, 유료 추가 기능이라면 사양할게.
케이시
“잘못된 모델도 위험할 수 있습니다.”제목: 텍스트 탐색기에서 찾은 일부 구문 확장 관련안녕 벤,
칭찬드리고 싶어서 글을 남깁니다. 수동 재코딩 기능이 정말 효과적이었습니다. 끝부분에 단어가 빠진 것처럼 보이는 구문을 발견할 때마다, 해당 구문을 밑줄을 쳐서 한 단어로 재코딩하고 동일한 설정으로 분석을 다시 실행했습니다. 그 결과, 매번 제가 찾던 구문이 나타났습니다. 예를 들어, "At the beginning of each opponents"를 "At_the_beginning_of_each_opponents"로 재코딩하고 용어 목록에 추가한 후, 다음에 텍스트 탐색기를 실행했을 때 "At the beginning of each opponents upkeep"가 나타났는데, 이것이 바로 제가 처음부터 찾던 것이었습니다. 제 코퍼스와 찾고자 하는 구문의 규모가 작아서, 이런 식으로 20~30곳 정도만 수동 재코딩하면 원하는 용어를 모두 찾을 수 있을 것 같습니다. 이처럼 작은 규모의 분석에서는 이 기능을 정말 유용하게 사용할 수 있을 것 같습니다. 정말 감사합니다.
케이시
제목: 텍스트 탐색기에서 찾을 수 있는 일부 구문 확장 관련안녕하세요 @caseylott 님 ,
LLM Prompt Runner(및 마켓플레이스의 모든 확장 프로그램)는 무료입니다. 이를 사용하면 여러 행 항목을 LLM에 전송하고 응답을 받을 수 있습니다. 예를 들어, 카드에 대한 모든 행 설명이 있는 경우, LLM에 수동으로 분석 요청(예: "이 카드는 너무 강력한가요? 예/아니오로 답해주세요")을 하는 대신, 각 항목에 대해 LLM에 자동으로 전송하고 응답을 수집할 수 있습니다. 특히 서로 다른 설명자가 본질적으로 동일한 것을 가리킬 수 있는(또는 그 반대의 경우) 의미론적 텍스트와 같은 데이터 처리에 매우 유용합니다.
이 내용을 공개적인 곳에 게시할 계획이라면, 꼭 보고 싶네요!
감사해요,
벤
