JMP外の特異値分解こんにちは。私は長年の JMP ユーザー (3.2!) であり、R のまったくの初心者です。 テキスト分析は、生態学者である私にとっては初めてのことですが、Text Explorer プラットフォームで遊ぶのは本当に楽しいものです。 100 個以下のベクトルの特異値の密な行列に対して JMP で追加の分析を行うために、特異値分解を行いたい疎文書用語行列を作成しました。 私は JMP Pro を持っていないので (買う余裕がありません)、ちょっとした壁にぶち当たりました。 これは、スパース ドキュメント ターム マトリックスを R に読み込み、ある種の svd 関数を実行してから、新しい密なマトリックスを JMP に読み込む必要があることを意味すると思います。 これは、テキスト分析に精通し、R に習熟している人にとっては簡単な作業のように思えます。 これを行うためにどのRパッケージを使用するかを理解するのに苦労しました(たくさんあるようです)。 さまざまなパッケージのドキュメントを見たときに、このタスクを達成するためにどの関数と引数を使用する必要があるかを理解するのに苦労しました。 R の学習に専念する時が来ました。 JMP のおかげで、私は何年にもわたってこの必然性から守られてきました。 疎行列を .csv として読み取り、R で密な特異値行列を作成し、この行列を新しい .csv として書き込む R のアドバイス、またはさらに良いコードを共有できる人がいる場合、 私は非常に感謝されます。 ありがとう！Re: JMP外の特異値分解ありがとう、 @G_M . 唯一の解決策はJMPの外でテキスト分析を行うことだと確信しているので、私はあなたの返信を私の問題の「解決策」と呼ぶつもりです。 あなたの投稿は、JMP から R を呼び出すのがいかに簡単かを示すのに役立ちました。 これはおそらく、2 つのツールを統合する方法を学ぶことに専念するために必要だったプッシュにすぎません。
Re: JMP外の特異値分解@caseylott R と JMP を使い始める良い方法は、JMP でよく知っている結果を R で複製することです。
あなたと同じように、私は非常に多くの理由で R よりも JMP を好みます。実際、私は 2009 年にエグゼクティブ チームに結果を提示していたときに R を使用していました。
いつものように、エグゼクティブは追加の質問をしました (私は予想できませんでした。私はこれが上手になりました)。
Rで新しい分析をライブで生成します。私は分析を行って結果を出すために 25 分かかるように頼みました...私は彼らの注意を失いました。その夜
私は家に帰って、将来これを回避する方法を考えました..1) さらなる分析をよりよく予測し、2) より機敏なソフトウェアを特定します。
JMP は私の人生に再び加わり (同僚が数年前に JMP を紹介してくれました)、それ以来、私が選んだソフトウェアになっています。
そうは言っても、ここにいくつかの JMP から R への構文があります。
これは基本的すぎるかもしれませんが、参考になれば幸いです。私は R を使用して非線形混合効果モデル、多項式 IRT モデルを推定し、最近推定を開始しました。
R と JAGS の両方をすべて JMP で使用するベイジアン モデル。
Names Default To Here( 1 );
//Open Big Class in JMP
df = Open( "$SAMPLE_DATA/Big Class.jmp" );
//execute bivariate regression of weight on height in JMP
df << Bivariate( Y( :weight ), X( :height ), Fit Line( {Line Color( {213, 72, 87} )} ) );
//make sure that you have embedded log open in your JSL Scripting window.
//Initiate R
R Init();
//send data frame to R
R Send( df );
//submit R Code for bivariate regression of weight on height
R Submit(
"\[
fit1 <- lm(weight~height, data = df)
summary(fit1)
]\"
);//close R Submit
//Look into the log and see the R Results
Re: JMP外の特異値分解OK、 わかったら@マークベイリー正しく、SVD は「ゲームチェンジャー」です。ただし、JMP でこのゲームをプレイするには、JMP Pro が必要です。 これは正しいです？
これについてもう少し考えてみると、JMP (非プロ バージョン) では、私がビデオで見たり、ブログで読んだテキスト分析機能 (潜在クラス分析、潜在意味分析、トピック分析、判別分析、ドキュメント クラスタリング、または用語クラスタリング。 JMP を購入する余裕はあるが JMP Pro を購入できない長年の JMP ユーザーとして、私はまだ、より効率的な次のステップを見つけようとしています。
たとえば、特異値行列を生成し (たとえば、R の JMP の外部で)、この行列を JMP に戻すことができたとしても、これらの分析は、少なくとも直接ではなく、まだ利用できないように思われます。これらの分析プラットフォームのいずれにも (テキスト エクスプローラーのホットスポット経由で) メニュー項目さえありません。 標準的な主成分またはクラスストリング プラットフォームを使用して JMP でこれらのタイプのテキスト分析を再現しようとするのが良い考えであるかどうかを理解するために、統計の詳細について十分に知りません。 たとえば、私はちょうど投稿を見ました@LauraCS彼女が言ったところ」潜在意味解析 (LSA) は、テキスト用語の相関行列で行われる単純な PCA です (ただし、ローテーションは含まれません)。 私は、この声明がどれほど文字通りであるか疑問に思っています。 これは、特異値行列を JMP に取り込むことができれば、JMP の PCA ツールを使用して潜在意味分析と潜在クラス分析の両方と本質的に同一の分析を行うことができるということですか? 統計の詳細をよく理解せずにこれを行うのは、ちょっと危険に思えます。
それで...このトピックに数日間夢中になった後、私の最善の選択肢は、JMP（ドキュメント用語マトリックスのキュレーションと視覚化用）とR（分析用）の間を行き来する方法を見つけることだと思われます私が見たように@ヘルシュと@アンドリュートカール「JMP と R でのテキスト マイニング」というビデオ。 R の友人の 1 人と昼食をとり、コラボレーションについて売り込むのに良い時期だと思われます。
自分の場所に何人の JMP ユーザーがいるかわかりません (たとえば、JMP Pro に移行する可能性は低いです)。 たぶん、典型的な JMP ユーザーが理解できないことを推し進めているだけなのかもしれません。 ただし、私のような人が他にもいる場合は、JMP と R の相乗効果と方法を説明する追加の「ヘルプ」または「トレーニング」リソース (ブログ、チュートリアル、サードパーティのビデオなど) を見つけることができれば素晴らしいと思います。私が現在いるような状況に対処するために、仕事を成し遂げるために2つのツール（JMPとR）が必要になるでしょう。
私が前に言ったように。 私は JMP が大好きで、これまでのキャリアでずっと使ってきました。 これは変わりませんが、R を学ぶときが来ているようです。 時間を割く価値があるとは言われましたが、私は JMP のインタラクティブでメニュー駆動型のワークフローが本当に好きです。
Re: JMP外の特異値分解Text Explorer の新しい SVD ルーチンは、真のゲームチェンジャーであり、さらなるテキスト分析に必要なものです。
それが私が提供しなければならないすべてです。 DMT のサイズを小さくする以外に、他の人が役に立つ提案をしてくれることを願っています。
Re: JMP外の特異値分解ありがとう、マーク。 JMP (JMP Pro ではない) プラットフォームで潜在意味クラス分析を使用できるようにするには、ドキュメント ターム マトリックスをどこまで縮小する必要があるかをテストしていません。 おそらくこれを機能させることができるので、試してみますが、さらに大きなドキュメント セットがある場合はどうでしょうか。 私は、この問題に再び遭遇するだろうと予測しています。
私の最初の評価はまだ正しいかもしれないと思います。 追加の多変量解析のために密行列を JMP に読み戻せるように、(JMP で作成された) 疎文書用語行列を (R の特異値分解を介して) 密行列に変換する方法がまだ必要なようです。
言い換えれば、JMP Pro を使用せずに JMP で特異値の密な行列を作成できないことが、JMP でのテキスト分析を非常に遠くまで進める私の能力を本当に制限していると思います。
JMPでこれを処理する方法、またはRベースのソリューションについて他に提案がある場合は、ぜひ聞いてください。
Re: JMP外の特異値分解まず、言い間違えました。 JMP の各バージョンにどの機能が含まれているか、また JMP と JMP Pro のすべての違いを思い出すのは困難です。 おっしゃる通りです。JMP では PCA と潜在クラス分析のみを使用できます。
第 2 に、大規模でまばらな DTM は、テキスト エクスプローラー プラットフォーム以外の JMP には多すぎるのではないかと心配していました。 用語リストをトリミングしてみてください。 一般に、用語と語句のリストを整理すると、デフォルトのパラメーターに依存するよりもはるかに意味のある分析につながる可能性があります。 これは、DTM のサイズを縮小する 1 つの方法です。 DTM を保存するときに、用語の最大数を減らしたり、用語の最小頻度を増やしたりすることもできます。
最後に、64 ビットの JMP を使用していますか?
Re: JMP外の特異値分解わかりました、提案をありがとう。 これまでにいくつかのことを試しましたが、うまくいきませんでした。 おそらく私は何か間違ったことをしています。 重み付けされたドキュメント ターム マトリックスを保存し、1) 主要コンポーネント プラットフォームと 2) 潜在クラス分析プラットフォームの y 変数として入力しました。 JMP の Pro 以外のバージョンでは、潜在意味解析のオプションが表示されません。 これらはどこにありますか？
プリンシパル コンポーネント プラットフォームで加重ドキュメント ターム マトリックスを実行しようとすると、JMP がスピンするだけで、必然的にクラッシュします。
ドキュメント ターム マトリックスを潜在クラス分析プラットフォームの Y ロールに入れようとすると、サポートされていないデータ型を使用しているというメッセージが表示されます。
助言がありますか？
Re: JMP外の特異値分解JMP で R を使用することは歓迎されますが、その方法は必要ないと思います。 重み付けされたドキュメント用語マトリックスをテキスト エクスプローラーから保存し、多変量グループのプラットフォームを含む JMP の任意のプラットフォームで新しいデータ列を分析できます。 これには、主成分分析、潜在クラス分析、および JMP Pro を使用しない潜在意味分析が含まれます。
TE のバージョンは DTM のようなスパース マトリックス用に最適化されていますが、少なくともスタンドアロン プラットフォームを使用するようにしてください。
