入力列の順序がNeuralプラットフォームの結果に影響する私はクラスのためのグループプロジェクトに取り組んでいます、そして、ひとりのメンバーが私たちのファイルの中のコラムを別の順序で入れたならば、彼らのニューラルネットモデルは16%から18%のはるかに悪いテスト誤分類結果を出しています。 なぜこれが起こるのでしょうか。
Re:Re-Ordered columnsとモデルは異なる結果を出していますこんにちはケイト、
因子がモデルダイアログに表示される順序は、ニューラルネットワークの初期値に影響し、異なる結果をもたらします。結果の違いは、ニューラルネットの最初の試行中に割り当てられた重みと要因の違いに関連しています。確実に同じ結果が得られるようにする唯一の方法は、同じシードを使用して同じ順序で同じ要素を使用することです。
あなたがクラスを楽しんでいることを願っています!
ミア
Re:Re-Ordered columnsとモデルは異なる結果を出していますこんにちは、はい、確認列があります。Re:Re-Ordered columnsとモデルは異なる結果を出しています1つの最後の、おそらく明白なチェックは、ニューラルネットワークルーチンが検証セットを必要とするということです。検証セットが指定されていない場合、JMPは自動的にあなたの検証セットを選択します。これを回避するには、検証セットを指定する列を作成し、ニューラルネットワークプラットフォームを実行するときにそれを指定します。これとMiaのアドインを組み合わせると、再現性のある結果が得られるはずです。
Re:Re-Ordered columnsとモデルは異なる結果を出していますこんにちはケイト、
この質問を投げてくれてありがとう。 ニューラルネットワークにはランダムな要素があります。ウェイトにはランダムな開始値を使用してから、ウェイトを繰り返し更新してモデルのパフォーマンスを向上させます。アドインは、Neuralプラットフォーム内から新しいモデルを実行する直前に実行される場合、単にウェイトの同じ開始値から開始するようにJMPに指示します(同じモデルが再度実行される場合)。 アドインは、単純なJMPコード(JSL)にすぎません。 列を異なる順序でシャッフルすると、結果が異なる可能性があります(これを確認します)。 私はあなたがトレーニング、検証(そしてテスト)に同じ区分を持っていると思いますか?
あなたが授業を楽しんでいることを願っています!
ミア
Re:Re-Ordered columnsとモデルは異なる結果を出していますあなたは素敵だ!!どうもありがとうございます!
私は素晴らしいカスタマーサービスと即応性にとても感心しています。
よい一週間を。
Re:Re-Ordered columnsとモデルは異なる結果を出しています理解した!
あなたが知っていることは良いことです @mia_stephens ' 加える。彼女はそれがすることとしないことについて話すことができるでしょう(私はいくつかの修正があったことを理解しています)。私は彼女をこのスレッドに向かわせます。
Re:Re-Ordered columnsとモデルは異なる結果を出していますご回答ありがとうございます。 私たちはあなたが参照した文書を実際に再検討します。 そして最終的にあなたが言ったように、私達はちょうどこの「アルゴリズムの多様性」を受け入れる必要があるかもしれません。
説明として、再現可能な結果を強制するという願望は、プロの場面では適切ではありませんが、非常に学術的な設定で望ましいです。 これは大学院クラスのためのグループプロジェクトです。 残念ながら、チームメンバー全員が異なる州に居住しており、予測モデルを開発するために互いに協力して作業しようとしています。 ニューラルネットについては、私たち全員がランダムシードアドインで同じランダムシードを使用しています。これは、私たちの教授によると、学術分野での使用を目的としてMia Stephens Academic AmbassadorがJMPを使用して設計したものです。 同じ人が同じランダムシードで同じモデルを実行していると、ある日から次の日にかけてそのような異なる応答が得られる(そして常に悪い結果になる)のは奇妙に思えます。 同じ日に実行すると、モデルは確実に同じテスト誤分類率を生成します。 コンピュータをシャットダウンする以外の唯一の変更は、データの追加ダンプ用にファイルを準備するために列を並べ替えることでした。さらに、他のチームメンバーは同じモデルを実行した結果を再現することはできません。
これは、モデルに問題があるかどうか、またはそれがランダム性に起因するものであるかどうかを調査することを余儀なくさせました。
繰り返しますが、早めのご回答ありがとうございます。
Re:Re-Ordered columnsとモデルは異なる結果を出しています予測モデリングで使用されるアルゴリズムの多くは必然的にランダムな側面を持ちます。JMPは結果を「再現可能」にする方法をいくつか提供します。詳細はあなたが行ったことに正確に依存します(ユーザーインターフェースの「ランダムシード」への参照を探し、ドキュメントをチェックしてください)。確かにあなたが見たバリエーションはこの理由によるものであり、シャフリングコラムとは無関係です。
そうは言っても、結果を強制的に再現可能にするのが望ましいのかどうか、またはこの「アルゴリズムの可変性」を受け入れるべきかどうかを尋ねるのは良い補足的な質問です。