Text Explorerで見つかったフレーズの一部を拡張するやあ、
私は、マジック：ザ・ギャザリングのカードのオラクルテキストという、よく知っているクリーンなコーパスからフレーズを検索するために Text Explorer を使用しています。非常にうまく機能していますが、改善したい点があります。「destroy up to one target」という一般的なフレーズは見つかりますが、「destroy up to one target creature」や「destroy up to one target enchantment」というフレーズは見つかりません。これらも見つけられるようにしたいです。これらは十分に一般的であるため、見つかるはずです。アルゴリズムの動作に影響があるかどうかを確認するために、フレーズあたりの最大単語数を 10 から 100、1000 に増やしましたが、影響はありませんでした。すべてのストップワードをオフにし、ステミングは使用していません。検索するフレーズの最大数パラメータを 50,000 に設定しましたが、約 30,000 しか見つからなかったので、これが問題ではないと思います。
これらの基本的な設定以外に、フレーズ検索アルゴリズムを「学習」させて、これらの拡張フレーズを見つける方法はありますか？正規表現はよくわかりませんが、何かできることがあるかもしれません。このような残念な切り捨て（少なくとも私の研究目的においては）は、私のコーパス全体で発生しているので、特定のフレーズを追加するなどの一時的な修正ではなく、この問題を体系的に解決できるソリューションを探しています。既存のすべてのフレーズを1単語ずつ拡張するように学習させることができれば、探しているフレーズの多くを見つけることができると思います。1単語ずつ追加していくことで、各フレーズの最適な停止点を見つけたと判断するルールがあると思いますが、このコーパスでは、停止が少し短すぎることがよくあります。もちろん、私が探していない意味不明な10単語のフレーズもすべて見つけてしまいます。
検出されたフレーズをそれぞれ1単語ずつ追加していくようにするにはどうすれば良いか、何かアイデアをお持ちの方はいらっしゃいますか？
設定を変更しても何も変化が見られませんでした。何か良いアドバイスがあれば教えてください。
基本的なデータ分析とモデリング消費者および市場調査データ探索と可視化Re: Text Explorerで見つかったフレーズの一部を拡張するこんにちは、 @caseylott さん。
素晴らしいアイデアですね。マーケットプレイスにある LLM Prompt Runner が、良い出発点になるのではないかと考えています。LLM にキーワードの特定や元のエントリの整理といった面倒な作業の一部を任せて、データ検索を簡素化するのです。MTG オラクル テキストは非常に規則的なドメイン文法 (動詞 + "ターゲット" + オプションの量詞 + オブジェクト タイプ) を持っているので、各ターゲット句の完全なオブジェクトを抽出するように LLM プロンプトを指定すれば、「ターゲット クリーチャー」、「ターゲット エンチャント」、「ターゲット クリーチャーまたはプレインズウォーカー」などの構造化された出力が確実に生成されます。
別の方法としては、「destroy up to one target」というフレーズを「destroy_up_to_one_target」という単一のフレーズに変更する方法があります。現状では、テキストエクスプローラーが個々の単語を分割して表示しており、末尾の語句が支配的ではない（つまり、「target creature」が多数存在しない）ため、それぞれが単一のエントリとして表示されています。「destroy_up_to_one_target」に変換すると、「destroy_up_to_one_target creature//enchantment」などが表示されます。「列」>「コード変更」>「文字列置換」を使用して、以下のスクリーンショットと同様の操作を行うことができます。
Re: Text Explorerで見つかったフレーズの一部を拡張するベンさん、ありがとうございます。手動でコードを書き直す方法を試してみます。マーケットプレイスのLLMオプションが何なのかよく分かりませんが、もし有料のアドオンなら見送ります。
ケイシー
「間違ったモデルも危険な場合がある」Re: Text Explorerで見つかったフレーズの一部を拡張するこんにちは、ベンさん。
手作業による再コーディングが非常にうまくいったことをお伝えしたくて、ご連絡しました。語尾に単語が抜けていると思われるフレーズを見つけるたびに、そのフレーズをアンダースコア付きの1つの単語に再コーディングし、同じ設定で分析を再実行しました。すると毎回、探していたフレーズが表示されました。例えば、「At the beginning of each opponents」を「At_ the_beginning_of_each_opponents」に再コーディングして用語リストに移動した後、次にテキストエクスプローラーを実行したところ、「At the beginning of each opponents upkeep」が見つかりました。これがまさに私が最初に探していたフレーズです。私のコーパスと探しているフレーズは小さいので、このような手作業による再コーディングを20～30箇所程度行えば、探している用語をすべて効果的に見つけることができるでしょう。このような小規模な分析では、何度も使える「裏技」を教えていただいたような気分です。本当に感謝しています。
ケイシー
Re: Text Explorerで見つかったフレーズの一部を拡張するこんにちは、 @caseylott さん。
LLM Prompt Runner（およびマーケットプレイスにあるすべての拡張機能）は無料です。これを使用すると、複数の行エントリを LLM に送信して応答を取得できます。たとえば、カードのすべての行の説明を持っている場合、LLM に手動で分析を依頼する（たとえば、「このカードは強すぎますか？はい/いいえを教えてください」）代わりに、各エントリに対して自動的に LLM に送信して応答を収集します。特に、異なる記述子を使用して実質的に同じものを指すことができる（またはその逆）意味テキストなどのデータを処理する場合に非常に便利です。
もしこれをどこかで公開する予定があるなら、ぜひ見せてほしいです！
ありがとう、
ベン
