最近ではより良いモデルの構築セミナーで、誰かが私に尋ねました。「応答と曲線の関係にある要因がある場合は、その関係をモデル化するために決定木モデルを使用できますか？」これが可能であることを示すために、モデルに基づいて200行
どこである 、 b 、 c 定数です。 e 正規分布確率変数です。近似二次回帰モデルとともにデータのプロットを図1に示します。
それで、デシジョンツリーモデルは、このデータに適合したときにどのように見えるのでしょうか。調べるために、私はパーティション単純な決定木に合うようにプラットフォーム（分析>モデリング>パーティション）を選択します。決定木モデルのコンパクトな図は、図2にあります。
近似モデルのプロットを調べると（図3）、一般的な2次モデルの形状が決定木モデルによって捉えられていることがわかります。Xデータの範囲内（-100 <100）では、このモデルは2次モデルと非常によく似た予測を行います。実際、両方のモデルは同じ平均予測誤差を持ち、 2 両モデルとも0.98です。決定木はYとXの間の関係の形について仮定をしないので、これは素晴らしいです。
ここで当てはまる決定木モデルは、可能な最大/最も複雑なモデルであることを知っておくことが重要です。ただし、ツリー内の各終端ノードには、最低5つのデータポイントが必要です。このデータのノイズは、このデータの全体的な変動性と比較して比較的小さいため、2次モデルと分割モデルの両方がこのように優れた適合性を示すことができます。
しかし、もっとうるさいデータがあるとしたらどうでしょうか。同じ2次モデルからの2番目のシミュレーションデータセットを考えます。ただし、ランダムエラーの標準偏差は10倍大きくなります。フィットした2次モデルと完全な決定木モデルが図4のデータと重なって見えます。
この場合、デシジョンツリーはデータの2次特性をうまくとらえているようには見えません。これは、パーティションモデルがオーバーフィット。 データ内に存在する多すぎるランダム誤差がモデルに割り当てられているため、モデルが複雑すぎます。
過剰適合せずにデータの本質的な性質を捉える、より優れた決定木モデルを構築するために、決定木モデルのサイズを自動的に選択するのに役立つ検証セットとしてデータの20％のランダムホールドアウトを使用します。これは内蔵の機能です。 JMP Pro 、JMPの高度な分析バージョン。 結果として得られるモデルは検証セットに基づいて選択されたもので、5つのターミナルノードしかありません。 このより単純な決定木モデルのオーバーレイ（図5）は、決定木がデータの全体的な2次特性を捉えていることを示しています。したがって、元の質問に対する答えはまだ「はい」であり、JMP Proを使用すると、すばやく自動的にそれを実行できます。
エリック・ケイ書きました：
こんにちは、サムさん、
この非常に明確で有益な投稿をありがとう。相互検証ではなくホールドアウト検証を使用した理由を説明してください。ホールドアウト検証は、バリデーションセットとして保持されたデータとは異なる傾向がありますか？クロスバリデーションはこのバリエーションを克服することができます、そしてこれは私が通常使用するバリデーション方法です。ホールドアウト検証の利点について学ぶことができてうれしいです。
御時間ありがとうございます。
エリック
