JMP を使用して、ジャーナル記事の全文を解析し、方法、結果、考察の列を分けることはできますか?皆さんこんにちは、
科学雑誌の記事のテーマ別セクション間でキーワード/フレーズがどのように異なるかについて、テキスト分析を行うことに興味があります。 PDF から始めて、記事の構造の識別可能な各セクションに含まれるテキスト チャンク用に個別の列を生成することが可能かどうか疑問に思っています。 たとえば、タイトル、アブストラクト、キーワード、イントロダクション、メソッド、結果、ディスカッション、文献引用セクションのテキスト チャンクを含む 8 つの異なる列を作成できますか?
このための私の出発点は、a) pdfs のフォルダー、または b) 各行が記事であり、JMP で既に作成した各記事のすべてのテキストを含む列がある jmp テーブルのいずれかです。 助言がありますか？ 注: 私は JMP Pro ではなく JMP しか持っていないので、この制約でこれを行う方法を理解する必要があります。
洞察を提供できる人に感謝します。
Re: JMP を使用して、ジャーナル記事の全文を解析し、方法、結果、考察ごとに個別の列にすることはできますか? JMPテーブルが添付されましたこれほど多くの文書を手作業で処理するのは現実的ではないと思います!
すぐにあきらめないでください。 コミュニティは挑戦が大好きです！
Re: JMP を使用して、ジャーナル記事の全文を解析し、方法、結果、考察ごとに個別の列にすることはできますか? JMPテーブルが添付されましたありがとう、 @マークベイリー. 私はあなたが正しいと思います。 私が持っていない多くのドメイン経験があっても、おそらく難しいプロジェクトになるでしょう。 私の場合、約 5,700 の PDF があります。 力ずくで、ほとんど手動の方法でこれらをモンキー化することは、おそらく現在の私にとって最も実現可能な代替手段です。 お時間を割いてご回答いただきありがとうございます。
Re: JMP を使用して、ジャーナル記事の全文を解析し、方法、結果、考察ごとに個別の列にすることはできますか? JMPテーブルが添付されましたこのプロジェクトは簡単ではないと思います。 問題の長さと複雑さのため、ここでの議論には適切ではないかもしれません。 しかし、何ができるか見てみましょう。
テキスト分析に関する私の経験は、常に単一母集団からのコーパスに関するものでした。 たとえば、私は 2 年前に 100 の病院の救急部門への患者の入院についての物語を使用して、FDE に基づくコースを作成しました。そのテキスト分析の目標。 この時点では、テキスト分析 (つまり、ドキュメント用語マトリックス) は必要ありません。 ドキュメントをセクションに解析したいとします。
ソリューションには、多くのドメインの専門知識が必要になると思います。 ランダムにいくつかのドキュメントを選択しましたが、必要なセクションを解析するための基礎として使用できるドキュメントは、ほんの一握りのドキュメントには見つかりませんでした。 仕事には多くの慣習があり、どの慣習にもまったく従っていないように見える多くのケースがあるようです。
この場合、正規表現は適切なレベルの処理ではない可能性があります。 JMP パターンは非常に強力です。 基本的なレベルでは理解していますが、専門家ではありません。おそらく、コミュニティの他の人は、それを分解するのに必要な経験を持っています。
Re: JMP を使用して、ジャーナル記事の全文を解析し、方法、結果、考察ごとに個別の列にすることはできますか? JMPテーブルが添付されましたこんにちは、みんな、
この投稿に JMP の表を添付しました。これは、現時点で行き詰まっている場所を示しています。 「小文字と折りたたまれた空白のテキスト」列のテキストを使用して、空の列にテキストチャンクを作成したいと思います。
このプロセスはおそらく困難であり、多くの特殊なケースに対処しなければならないことを理解しています (たとえば、「導入」と「背景」など、セクションの見出しが異なる論文など)。私は文字と文字パターンの式を調べ始めましたが、これはかなり有望なようで、すぐに圧倒されてしまいました。 私のバックグラウンドはテキストではなく数字の分析だけなので、まだ追いついています。 ここで特に役立つと思われるいくつかの文字式を誰かが教えてくれたら、感謝します。
Re: JMP を使用して、ジャーナル記事の全文を解析し、方法、結果、考察ごとに個別の列にすることはできますか?やあ@マークベイリーそして返信ありがとう。 あなたの回答の一部は理解できましたが、すべてではないかもしれません。 これが私がすでに行う方法を知っていることです：1）一連のpdfをjmpテーブルにインポートして、各記事が1行になり、記事のすべてのテキストが1列になるようにします。 2) 標準の Text Explorer 機能を使用してこのコーパスを探索します (用語リストへの語句の追加、単語クラウドの作成、文書用語マトリックスの作成など)。
どうすればよいかわかりませんが、各文書のテキストをこの 1 つの列から複数の列に分割することです。たとえば、Introduction (記事の紹介のテキストのみ)、Abstract (記事の要約のテキストのみ) と呼ばれます。 ）、 等々。 Text to Columns を使用してこれを行う潜在的な方法を試していたところです。ここでは、「紹介」という単語を見つけて置き換え、「紹介 (コーパスのどこにも出現しない風変わりな文字が続きます)」に置き換えます。 次に、奇抜な文字を使用してテキストを列に分割します。 これは、「導入」または「結果」という単語が各ドキュメントで 1 回だけ使用される場合に効果的です。 複数回発生すると、記事全体で列の位置がずれます。 これを修正する唯一の方法は、検索と置換操作中に「はじめに」という単語の各ケースを評価し、「はじめに」という単語が真のセクション区切りとして使用されている場合にのみ区切り文字を挿入することです。 私は生態学者であり、テキスト分析にはかなり慣れていないため、これは、このような問題に対して私が陪審員を使って作ってきた非効率的なアプローチの典型です。
他のテーブルコマンドまたは正規表現を使用して、すべてのテキストを含む単一の列を、異なるコンテンツセクションのテキストを含む複数の列に解析する方法の例を挙げていただけませんか? 注：私は正規表現の真の初心者なので、このトピックに関する知識がほとんどないと仮定して、読み始めます。
再度、感謝します。 ケーシー
Re: JMP を使用して、ジャーナル記事の全文を解析し、方法、結果、考察ごとに個別の列にすることはできますか?はい。[複数ファイルのインポート] コマンドとテキスト エクスプローラーを使用します。
用語リストの形成は、基本的な単語 (簡単だが単純) または正規表現 (より難しいがより具体的) に基づいています。 ドキュメントから特定の情報を見つけるには、正規表現の方法が適しています。 ドキュメントに適用される正規表現をカスタマイズできます。 フレーズを選択して用語リストに追加できます。 その後、指標列または度数列を元のデータ テーブルに保存し直すことができます。
このデータ テーブルは、正規表現、JMP テキスト パターン、およびその他の文字列関数を使用するテーブル コマンドと列式で作成することもできます。
