演算法比較的統計測試 - JMP Pro你好,
我想測試兩種不同演算法的效率。
我有兩個來自同一人群的隨機樣本。 在一個樣本上,我運行演算法 X;在另一個範例中,我運行演算法 Y。 每項有 30 筆記錄。 變數類型是連續的。
我可以進行哪些統計測試來找出最佳演算法以及應該比較哪些參數?
如果需要更多詳細信息,請告訴我。
謝謝
缺口
進階統計建模資料混合與清理回覆:演算法比較的統計檢定 - JMP Pro非常感謝馬克。
回覆:演算法比較的統計檢定 - JMP Pro當不可能觀察整個群體時,統計推論會很有幫助。 您的貼文中沒有定義人口。 統計推論評估由於總體抽樣而導致的參數估計的不確定性。 根據效率測量(例如使用相同資料樣本的處理時間或處理步驟)來比較兩種演算法。 這種情況是配對比較,可以對每個演算法的連續結果使用配對 t 檢定。
您的資料可能如下表所示:

我模擬了一些數據。 有 100 個來自同一總體的資料樣本。 樣本可能來自重採樣或引導。 結果是完成演算法的秒數。
您可以使用以下方法分析這些結果分析 > 專業建模 > 配對對。

此範例顯示兩種演算法之間存在約 10 秒的統計顯著差異。
我為你附上了我的模型。
回覆:演算法比較的統計檢定 - JMP Pro我有很多問題,但沒有更多信息,答案卻很少。
1. 您想用什麼特徵來評估「效率」?
2. 您想用什麼特徵來評價「最佳」? 如果您認為「最佳」的特徵是什麼,那麼在您宣布其中一個特徵為「最佳」之前,結果必須相差多少?
3. 有許多群體“參數”,可以從所述群體的“隨機樣本”中進行評估。 您是否嘗試估計這些參數? 如果可以,透過什麼方法? 信賴區間、公差區間還是其他? 手邊的資料或決策是否存在時間序列成分?
4. 這是一項學術活動還是背後有實際決定的活動? 如果是後者,請詳細說明實際問題、抽樣方法(真正隨機…或其他)以及手邊的實際決策。
5. 您對與運行過程相關的測量噪音/變化了解多少?
6. 我希望您在進行任何數值分析之前已經以圖形方式檢查了資料。 樣本資料集中可能存在異常值、可疑觀察結果或其他特徵,這些特徵使得任何特定的數值分析方法比其他方法更容易出現問題。
我可能還沒觸及所有內容,但以上只是個開始?