擴展文字瀏覽器找到的一些短語你好呀,
我正在使用文字瀏覽器在一個我比較熟悉的乾淨語料庫(萬智牌卡牌的官方文字)中尋找短語。它的表現很棒,但我想改進一些地方。它能找到常見的短語“消滅至多一個目標”,但卻找不到“消滅至多一個目標生物”或“消滅至多一個目標結界”。我希望能夠找到這些短語。它們足夠常見,理應被找到。我嘗試將每個短語的最大單字數從 10 個增加到 100 個,再增加到 1000 個,看看這是否會影響演算法的行為,但並沒有。我已經關閉了所有停用詞,也沒有使用詞幹提取。我將要查找的短語數量上限設置為 50,000,但它只找到了大約 30,000 個,所以我認為這不是問題所在。
除了這些基本設定之外,我還能做些什麼來「訓練」短語尋找演算法,使其能夠找到這些擴展短語呢?我不懂正規表達式,但或許可以在這方面做些改進?這種不幸的截斷(至少就我的研究而言)在我的語料庫中普遍存在,所以我正在尋找一種能夠系統性地解決這個問題的方法,而不是像添加我正在研究的特定短語那樣的一次性修復。我認為,如果能夠教導它將所有現有短語都延長一個詞,我就能找到很多我想要的短語。我猜想,應該存在某種規則,讓它在每次添加一個單字時都認為已經找到了每個短語的最佳停止點,但對於這個語料庫來說,它經常會停得稍微短一點。當然,它也會找到各種我並不需要的、毫無意義的十個字的短語。
有沒有人知道如何讓它將找到的每個短語增加一個單字?
我發現更改任何設定都沒什麼效果。有人有建議嗎?
基礎資料分析與建模消費者與市場研究數據探索與視覺化回覆:擴展文字瀏覽器找到的一些短語嗨@caseylott ,
這個想法很棒——我在想,市場上的 LLM Prompt Runner 或許是個不錯的起點——讓 LLM 來完成一些繁重的工作,例如識別關鍵字詞或清理原始條目,從而簡化資料查找。 MTG 官方文本的語法結構非常規範(動詞 + “目標” + 可選量詞 + 賓語類型),因此,如果 LLM 提示它提取每個目標從句的完整賓語,就能可靠地輸出“目標生物”、“目標結界”、“目標生物或鵬洛客”等結構化結果。
另一種方法是將短語「destroy up to one target」改為單一短語「destroy_up_to_one_target」。目前,文字瀏覽器會將各個單字拆分,由於結尾的單字並不突出(例如,沒有很多“target creature”),所以它們被當作單獨的條目。如果將其轉換為“destroy_up_to_one_target”,它將以“destroy_up_to_one_target creature//enchantment”或類似形式出現。您可以使用“列”>“重新編碼”>“替換字串”並按照以下螢幕截圖進行操作:

回覆:擴展文字瀏覽器找到的一些短語謝謝你,Ben。我會試試手動重新編碼的方法。我不確定 Marketplace 上的 LLM 選項是什麼,但如果需要付費,我就不買了。
凱西
“錯誤的模型也可能很危險”回覆:擴展文字瀏覽器找到的一些短語嗨,本,
我只想稱讚你,並告訴你手動重編碼的方法非常有效。每次我發現某個短語似乎結尾少了一個字時,我只需將其重編碼為一個單字並用下劃線括起來,然後用相同的設定重新運行分析。每次都能找到我想要的短語。例如,在將“At the beginning of each opponents”重編碼為“At_the_beginning_of_each_opponents”並移至詞項列表後,下次運行文本瀏覽器時,它找到了“At the beginning of each opponents upkeep”,這正是我最初要找的。我的語料庫和我要找的短語都比較小,所以我大概可以在20-30個地方進行這種手動重編碼,有效地找到所有我要查找的詞項。對於這種小型分析,我覺得你給了我一個可以重複使用的「秘訣」。非常感謝。
凱西
回覆:擴展文字瀏覽器找到的一些短語嗨@caseylott ,
LLM Prompt Runner(以及應用程式商店中的所有擴充功能)是免費的——它可以用來向 LLM 發送多行條目並獲取其回應——例如,我擁有卡片的所有行描述,無需手動請求 LLM 進行分析(例如「這張卡牌是否過於強大?請回答『是』或『否』」),它會自動針對每個條目向 LLM 發送請求並針對每個條目。這對於資料處理非常有用,尤其是在處理語義文字時,不同的描述符可能指向同一件事(反之亦然)。
如果你打算把這篇文章公開發表,那真是太好了!
謝謝,
本