大規模なデータセットでの相関関係の調査<meta http-equiv="Content-Type" content="text/html; charset=UTF-8" />私は JMP pro を使用しており、プラント プロセス変数の大規模なデータ セットを操作しており、それらがプラントの生産やその他のパフォーマンス パラメータにどのように影響するかを調査したいと考えています。 これをどのように開始できるかについてのガイドやリソースはありますか? YouTube で JMP のビデオを見てきましたが、分析について深く掘り下げていません。 Sああ、遠く、私が見ている要因の数を減らすために「予測子をスクリーニング」する必要があることを理解しただけです。 次が回帰モデルに適合するか、PCA、ペアワイズ相関などを使用してデータをさらに調査するか、または必要かどうかはわかりません気をつけろ適切な分析を選択する前に、私のデータが通常のデータではないか、ゼロがたくさんある場合。
また、正準コレスポンデンス分析 (CCA) を使用して、R で私のようなデータとの相関関係を調べる素晴らしいプロットもいくつか見ました。 JMPに似た/より良いものはありますか?
私はこの種の分析に慣れていないので、どんなアイデアでもあなたが持っている開始方法について説明します。 ありがとう。
Re: 大規模なデータセットで相関関係を調べるhttps://community.jmp.com/docs/DOC-9923
上記のアドインは、x と y の相関関係を調べるための別のオプションです。 最近、プロセスデータプロジェクトで使用しました。
Re: 大規模なデータセットで相関関係を調べるScagnostics という素晴らしい JMP アドインが利用可能です。私は、大規模なデータ セット内の相関関係の構造を確認するためによく使用します。
Re: 大規模なデータセットで相関関係を調べるある種のデータ ウェアハウス/ヒストリアン システムからこのデータを継承し、多数の列または多数の行を持っていると思います。 次の観点からデータ品質を検討するのにどのくらいの時間を費やしましたか:
1.外れ値？ この問題を確認するのに適した場所は、列 -> モデリング ユーティリティ -> 外れ値の探索パスです。
2. 欠損値? この問題を確認するには、[列] -> [モデリング ユーティリティ] -> [欠損値の調査] パス内を参照してください。
3. 「9999」コードのような無意味な値がある場合は、JMP の [Cols] -> [Utilities] -> [Recode path] を使用してこれらを修正/修復することを検討してください。
4. 最後のデータ品質行為として、予測モデルの構築に進む場合は、JMP Pro の [Cols] -> [Modeling Utilities] -> [Make Validation Column] プラットフォームを使用して、必要に応じて以下を含む検証列を作成してください。トレーニング、検証、およびテストの構成要素。
データの品質/クリーンアップが完了すると、役立つ JMP Pro プラットフォームがいくつかあります。 それぞれが太陽の下でそれぞれの場所を持っています。クラスタリングを使用した主成分分析、モデルの適合 -> 部分最小二乗法、モデルの適合 -> 一般化回帰 (次に、各状況の詳細に基づいてサブパーソナリティを選択します)。必要かつ適切な）、作成した検証列を活用します。 他の JMP モデリング プラットフォームも価値がある可能性があります。この投稿では、JMP Pro のアイデアに焦点を当てています。
Re: 大規模なデータセットで相関関係を調べる1. データの変換は、列ごとに処理する必要があります。変換されたデータに対して分析が実行されると、統計がパラメトリックを正しく計算できるようになります。変換された値を使用してデータを報告することはありません。
2. 正しい変換を決定する最善の方法は、JMP でディストリビューション プラットフォームを使用し、赤い三角形の下で要求することです。
連続フィット==>すべて
データの分布の結果が得られ、そこからデータを変換された状態で保存できます。データの最適な説明であると検出された分布に利用可能な変換がない場合は、GLog (Generalized Log) 変換が役立つかどうかを確認することをお勧めします。
3. ターゲットを絞った応答変数がある場合は、Bootstrap Forrest と Boosted Tree を使用して、データをペアにするために使用する列を見つけました。 通常の分散データは必要ありません。
Re: 大規模なデータセットで相関関係を調べる皆様、貴重な情報ありがとうございます。 データの変換に関して、追加の質問がいくつかあります。
1.私が理解していることから、いくつかの列を変換し、他の列を変換しないのですか? 下流の分析では、すべてのデータを同じ方法で変換するべきではありませんか?
2. 多くのゼロを含む列があります。 対数変換は一部を正規化するように見えますが、ゼロを欠損データに変換します。 これを行う簡単な方法や、JMPでこれを処理する方法に関するガイドがあるかどうかはわかりません。
3. データの正規化が不可能または必須ではない場合、そのようなデータをさらに分析するために推奨される方法または避けるべき方法 (PCA?) はありますか?
変換とスクリーニングに続くステップは、「適合モデル」プラットフォームで最も強力な貢献者を使用し、モデルを比較することになると思いますか?
Re: 大規模なデータセットで相関関係を調べるやあkaren@boulderstats .
ドメイン（プロセスの専門家）＋メソッド（分析の専門家）は素晴らしいパートナーシップです。
私はあなたから多くのことを学び、楽しみました分析的に話すエピソード先週 ！
また、優れたガイダンスを提供してくれる JMP コミュニティの専門家からも多くのことを学んでいます。
とても有難い。
- ランディ、JMP初心者
Re: 大規模なデータセットで相関関係を調べるジムは、あなたが考慮すべきいくつかの適切な手順を提供しています. また、管理図ビルダーを使用することもできます (そのようなデータでは、列スイッチャーを使用して、変数をステップ実行できるようにします)。 管理図を見る理由は、プロセス データには時間要素があるからです。プロセス データは非常に楽しいものですが、必ずしも簡単ではありません (タイム ラグやデータの欠落などを考えると、データ自体は複雑です)。 このようなデータは、少なくとも分析の専門家 (つまり、統計のバックグラウンドを持つ人) とプロセスの専門家 (プロセスを本当に知っている人) を含むチームとして作業するときに価値が生み出されることがわかっています。
Re: 大規模なデータセットで相関関係を調べる私は通常、大きなデータをスクリーニングするために次のアプローチをとります。
1. すべてのデータに対してディストリビューション プラットフォームを実行し、どの程度のデータが大きく歪んでいるかを調べます。行数が多い場合、データを正規化するために外れ値を削除する傾向があります。それ以外の場合や追加で、面倒な列を変形させます。この手間を軽減するためにスクリプトを使用します。
2. 次のステップは、冗長な列を除外することです。通常、これには 3 つの異なるプラットフォームを使用します。
を。 PCA は、データが非常に大まかな正規形に変換されている場合、または変換されている場合に最適です。
b. Response Screening は優れた出力データ テーブルを提供し、データの感触をつかむことができます
c. Bootstrap Forrest パーティショニングは、これから行う詳細な分析に最も貢献する可能性のある列を示します。
