輸入列的順序會影響 Neural 平台中的結果我正在為課堂做一個小組項目,一旦一名成員以不同的順序將列放入我們的文件中,他們的神經網絡模型就會給出更糟糕的測試錯誤分類結果,從 16% 到 18%。為什麼會這樣?
回复:重新排序的列,現在模型給出了不同的結果嗨,凱特,
模型對話框中列出因素的順序確實會影響神經網絡的起始值,並會產生不同的結果。 結果的差異與神經網絡第一次試驗時分配給因素的權重不同有關。 確保獲得相同結果的唯一方法是使用相同種子以相同順序使用相同因子。
希望你喜歡這堂課!
米婭
回复:重新排序的列,現在模型給出了不同的結果您好,是的,我們確實有一個驗證列。回复:重新排序的列,現在模型給出了不同的結果最後一個可能很明顯的檢查是神經網絡例程需要一個驗證集。 如果您沒有指定驗證集,JMP 將自動隨機選擇您的驗證集。 為避免這種情況,請創建一個列來指定您的驗證集,並在運行神經網絡平台時指定它。 這與 Mia 的加載項一起應允許您獲得可重現的結果。
回复:重新排序的列,現在模型給出了不同的結果嗨,凱特,
感謝您提出這個問題。神經網絡有一個隨機組件——它使用隨機起始值作為權重,然後迭代更新權重以提高模型的性能。 如果在從 Neural 平台運行新模型之前運行該插件,它只會告訴 JMP 從相同的權重起始值開始(如果再次運行相同的模型)。該插件只不過是一行簡單的 JMP 代碼 (JSL)。我猜想如果列以不同的順序洗牌,您可能會看到不同的結果(我會確認這一點)。我假設您對訓練、驗證(和測試)進行了相同的劃分?
我希望你喜歡這堂課!
米婭
回复:重新排序的列,現在模型給出了不同的結果你太棒了!!太感謝了!
出色的客戶服務和響應能力給我留下了深刻的印象。
祝你度過愉快的一周。
回复:重新排序的列,現在模型給出了不同的結果明白了!
你知道這很好@mia_stephens ' 加入。 她將能夠說出它做什麼和不做什麼(我知道有一些修改)。 我會引導她到這個線程。
回复:重新排序的列,現在模型給出了不同的結果感謝您的答复。我們確實會重新訪問您引用的文檔。最終就像你說的,我們可能只需要接受這種“算法可變性”。
通過解釋,強制獲得可重現結果的願望雖然在專業環境中不合適,但卻是高度在學術環境中是可取的。這是一個研究生班的小組項目。不幸的是,團隊成員都居住在不同的州,並試圖相互協作以開發預測模型。對於神經網絡,我們都使用相同的隨機種子和隨機種子插件,根據我們的教授,該插件是由 Mia Stephens 學術大使與 JMP 設計的,用於學術領域。同一個人使用相同的隨機種子運行相同的模型,一天又一天會得到如此不同的反應(而且總是更糟糕的結果),這似乎很奇怪。在同一天運行時,該模型可靠地產生相同的測試誤分類率。除了關閉計算機之外,唯一的變化是重新排列列以準備文件以進行額外的數據轉儲。 此外,其他團隊成員無法重現運行同一模型的結果。
這迫使我們調查模型是否存在問題,或者它是否歸因於隨機性,我們認為隨機性已被消除。
再次感謝您之前的回复。
回复:重新排序的列,現在模型給出了不同的結果預測建模中使用的許多算法必然具有隨機性。 JMP 提供了多種使結果“可重現”的方法,具體取決於您所做的具體操作(在用戶界面中查找對“隨機種子”的引用並查看文檔)。 幾乎可以肯定,您所看到的變化就是出於這個原因,與洗牌列無關。
話雖如此,這是一個很好的補充問題,可以詢問強制結果可重現是否值得,或者是否應該接受這種“算法可變性”。