前処理機能こんにちは、
分析を開始する前に、データベース内の機能の前処理を開始します。従うべき手順に関するヘルプを探しています。
データクリーニング後に最初に来るのは何ですか?外れ値の除去、スケーリング(データの正規化)または欠落データの補完?
どの順序を提案しますか?
よろしく
ルー
再:前処理機能私はこれを突き刺しますが、より良いアドバイスを得るにはおそらくもっと具体的にする必要があると思います。 「クリーニング」データと「前処理」をどのように区別しているのかわかりませんが、リストされている手順に反対することをお勧めします。 外れ値を削除することはお勧めしません-少なくとも、外れ値が実際には外れ値である理由をある程度理解できれば、分析にかなり入るまでは。また、一般的な慣行としてデータの正規化または再スケーリングを推奨しません(特定のコンテキストでは有用になる場合があります)-多くのJMP分析プラットフォームは、データが役立つ場合に自動的に正規化します。 同様に、ほとんどのJMPプラットフォームでは、欠損データの代入は自動的に行われるため(通常、欠損を含めるためにボックスをオンにするだけで)、不要です。 おそらく独自の方法論を使用して欠損値をより慎重に帰属させたい場合があります(たとえば、回帰モデルを構築して欠損データを帰属させる)が、これもコンテキストに依存します。 そのため、自動化されたものとしてリストしたものを実行することはお勧めしません。 代わりに、データをグラフィカルに調べて、測定対象、存在する可能性があり、潜在的に重要な関係の種類を理解し、「前処理」が適切かどうかを確認することから始めます。
再:前処理機能デールに感謝します。
実際、データを前処理する前に、最初にデータをグラフィカルに調べることが重要です。
データのいくつかの機械学習モデル(KNNなどの線形モデルとランダムフォレストなどの非線形モデルなど)の予測パフォーマンスを比較したいと思います。線形モデルは、フィーチャを同じスケールにあるかのように扱います。しかし、生理学的変数には、pHや心拍数など、さまざまなスケールの値があります。したがって、Z正規化によってスケーリングします。さらに、クラスタリングアルゴリズム(K平均クラスタリング)は、JMPproで欠損値を自動的に補完しません。それが最初に私のデータを前処理したかった理由です
再:前処理機能クラスタリングの標準化が行われたと思います。 JMPのドキュメントには、KNNの場合、各変数はその標準偏差でスケーリングされると書かれています-まさにあなたが示唆しているタイプの問題を避けるためです。 だから、私はあなたが望むことをするために追加の前処理は必要ないと思う-いくつかの異なる予測モデルを比較する。