本物の効果を見逃すのは良くないが、偽の効果を特定するのはもっと悪い場合があるロバート・アンダーソン JMP シニアシステムエンジニア
科学者やエンジニアは、プロセスや製品に最適なモデルを見つけ出し、どの要因が真に重要でどの要因がそうでないかを正しく識別する必要があります。多くの場合、最も懸念されるのは、重要または不可欠な要因が見逃されることです。しかし、より陰険で、潜在的に深刻な問題は、統計モデリング手法が、統計的には有意であっても実際には有効ではない要因を頻繁に特定してしまうことです。こうした偽の効果の特定は、貴重な科学技術リソースが、これらの偽の効果のさらなる調査に浪費されることを意味します。欠陥のあるモデルと偽の効果を認識するには、かなりの時間とリソースが必要になる場合があります。JMP Proのホールドバック検証法は、比較的小規模なデータセットであっても、このモデルの過剰適合の問題を抑制する強力な方法を提供します。本稿では、シミュレーションデータセットを用いて、偽の効果の検出がどれほど頻繁かつ容易に発生するか、そしてホールドバック検証がどのようにこの問題を効果的に抑制できるかを示します。ただし、ホールドバック検証は万能薬ではなく、うまく機能しない例もいくつか示します。
