欠損値を補完したいのですが、欠損値を補完するにはデータが不十分であるというメッセージが表示されます。添付の画像に詳細が記載されています。
こんにちは@Dessan300 、
問題を理解して再現するための詳細なコンテキストやデータセットがなければ、サポートすることは困難です。
エラー メッセージは、自動データ補完を実現するのに十分な値がないことを示しています。自動データ補完: 欠損値探索プラットフォームの概要。ADI は堅牢で柔軟性がありますが、欠損値を埋めるためにモデルをトレーニングするのに十分なデータが必要になる可能性があるため、データの補完には複雑な方法となります。この手法は低ランク マトリックス近似法 (次元削減法) に基づいているため、次元は非常に重要です。このトピックに関するディスカッションを読むことができます: ADI (自動データ補完) では欠損値の一部が補完されない
まず、これらの欠損値のソース/原因を調査し、欠損値のパターンに時間を費やすことをお勧めします。データは完全にランダムに欠損している(MCAR)、ランダムに欠損している(MAR)、またはランダムに欠損していない(MNAR) のでしょうか? 詳細はこちら: https://muratkoptur.com/MyDsProjects/MissingData/Analysis.html
このプラットフォームで利用できる欠損値スナップショットは、これらのパターンを視覚化して理解するのに非常に役立ちます。
欠損値のパターンを発見する
欠損パターンによっては、ランダムでない場合は欠損値を保持するのが最善である可能性があります。これは、実験領域の一部が実験的に実行可能ではないか、機器がこの実験領域で測定できない (またはこれらの領域で信号が低すぎるか高すぎる) ことを意味している可能性があるためです。この状況で値を代入すると、この実験領域の「実行不可能」情報が失われるため、有害となる可能性があります。
多変量補完オプションなどの「より簡単な」オプションを試して比較したり、 K 最近傍法などのこのプラットフォームにない他の手法を使用したりすることもできます (データセットの次元と取得したい精度/堅牢性に応じて K を適切に定義します)。
また、ツリーベースの方法、部分最小二乗法など、一部のモデリング オプションでは欠損値を処理でき、値の代入を必要としないことも考慮してください。
方法とその複雑さ (平均/中央値/モード補完手法から ADI または多変量 SVD/RPCA 補完まで) に関係なく、欠損値を補完するとデータセットにバイアスがかかる可能性があります。ユースケースによっては、欠損値と補完値を使用してモデルを作成し、ドメインの専門知識を使用して 2 つのモデルの結果を比較すると興味深い場合があります。
欠損値の探索も視聴できます。
この最初の回答がお役に立てば幸いです。
