你好，我的姓名是布萊恩弗里克。
我是一種新鑄造產品經理在JMP,聚焦在這JMP用戶經驗。
之前，一世曾是一種軟件開發商在職的在出口報告
到站立獨自的HTML文件文件， JMP居住，和JMP民眾。
在這介紹，
我是去到講話關於使用信心曲線
作為一個選擇到空 H假設意義測試
在這語境的預測性的模型篩選。
額外的材料在這主題能夠是成立在這JMP社區網站
和這紙聯繫和這介紹。
博士。拉斯沃爾芬格，誰是一種傑出的研究伙計在JMP,是一種合作-作者，
和一世將喜歡到謝謝他為了他的貢獻。
這模型篩選平台介紹了在跳臨16,
允許你到評價這表現
的多預測性的楷模使用叉-驗證。
到顯示你如何這模型篩選平台作品，
我是去到採用這糖尿病數據桌子，
哪一個是可用的在這JMP樣本數據圖書館。
生病選擇模型篩選從這分析預測性造型菜單。
JMP回應經過顯示這模型篩選對話。
這第一的三列在這數據桌子
代表疾病進展在連續，二進制，和序數形式。
生病採用這連續柱子命名為是作為這回复多變的。
生病採用全部這列從年齡到葡萄糖在這X因素角色。
生病類型1-2-3-4在這放隨機的種子輸入盒子為了再現性。
生病選擇這查看盒子下一個到K折叉驗證
和離開ķ放到五。
生病類型三進入這輸入盒子下一個到重複ķ折疊。
在這方法列表，生病取消選擇神經，
和現在生病選擇好的。
JMP回應經過訓練和證實楷模為了每個的這選擇方法
使用他們的默認範圍設置和叉驗證。
後完成這訓練和證實過程，
JMP顯示這結果在一種新的窗戶。
為了每個造型方法，這模型篩選平台提供
表現措施在這形式的觀點估計
為了這係數的決心，
哪一個是還已知作為R平方，這根平均的平方錯誤，
和這標準偏差為了這根平均的平方錯誤。
現在生病點擊選擇主導的。
JMP回應經過突出顯示這方法那施行最好的
穿過這表現措施。
什麼是失踪這裡是一種形象的
到顯示你的尺寸的這區別之間這主導的方法
和這其他方法，沿著和這可視化
的這不確定聯繫和這差異。
但為什麼不是只是顯示磷價值觀表示無論這差異是重大？
不應該一種決定關於無論一模型是優越的到其他
是基於在意義？
第一的，
自從一種P值提供一種可能性基於在一種標準化區別，
一種磷價值經過本身輸信息關於這生的區別，
所以一種重大區別沒有意味著一種有意義的區別。
但是那真的一種問題？
一世意思是，不是它無意義到是擔心的
和這尺寸的一種區別之間二楷模前意義測試是用過的
到決定無論這區別是真實的？
這問題和那線的思維是那它是力量，要么一減貝塔，
那決定我們的能力到正確地拒絕一種空值假設。
作者這樣的作為雅各布科恩和坦率施密特
有建議那典型的學習有一種力量到探測差異
在這範圍的0.4到0.6 .
讓我們認為我們有一種區別在哪裡這力量到探測一種真的區別
是0.5在一個Α價值的0.05 .
那建議我們將探測這真的區別
在平均的50%的這時間。
在那案子，意義測試將確認真實的差異
不更好的比翻轉一個不偏不倚硬幣。
如果全部其他事物是平等的，類型一和類型二錯誤是相等的。
但意義測試那採用一個Α價值的.05
經常含蓄地認為T型我錯誤是可取的到類型一錯誤，
特別如果這力量是作為低的作為0.5 .
一種常見的建議到地址這些和其他問題和意義測試
是到顯示這觀點估計沿著和信心間隔。
一異議到正在做所以是那一種觀點估計
沿著和95%信心間隔
是有效這相同的事物作為意義測試。
甚至如果我們認為那是真的，一種觀點估計和信心間隔
仍然看跌期權這震級的這區別在這範圍的這不確定
正面和中央，
然而一種孤獨磷價值隱藏他們兩個都。
各種各樣的作者，包含科恩和施密特，
有推薦的更換意義測試
和觀點估計和信心間隔。
甚至所以，這推薦到採用信心間隔
乞求這題， “哪一個那些做我們顯示？”
顯示只要這95%信心間隔
將可能鼓勵你到解釋它作為其他形式的意義測試。
這解決方案假如經過信心曲線
是到字面上地顯示全部信心間隔
向上到一個任意高的信心等級。
所以如何做你顯示信心曲線在JMP?
到方便創建信心曲線在JMP,
安裝這信心曲線添加-在經過參觀這JMP社區主頁。
類型“信心曲線"進入這搜索輸入場地。
點擊在這第一的入口那出現。
現在點擊這下載圖標下一個到置信曲線.jmp添加在，
和現在你能夠點擊在這已下載文件。
JMP回應經過問如果一世想到安裝這添加-在。
你將點擊“安裝。”
然而，生病點擊“取消，”作為一世已經有這添加-在安裝。
如何做你採用這添加-在？
第一的，到產生信心曲線為了這報告，
選擇“保存結果桌子”
從這最佳紅色的三角形菜單位於在這模型屏幕報告窗戶。
JMP回應經過創造一種新的桌子包含，之中其他，
這下列的列：
審判，哪一個包含這身份標識為了三套的叉驗證結果;
折疊，哪一個包含這身份標識為了這五清楚的套的子樣本
用過的為了驗證在每個審判;
方法，哪一個包含這方法用過的到創建楷模從這測試數據，
和N,哪一個包含這數字的數據積分用過的在這驗證折疊。
筆記那這審判柱子將要是失踪如果這數字的重複是確切地一，
在哪一個案子這審判柱子是兩者都不創建也不需要。
保存為了那例外，
這些列是基本的為了這信心曲線添加-在
到功能適當地。
在添加到這些列，
你需要一柱子那提供這公制到比較方法。
生病是使用R平方作為這公制的興趣在這介紹。
一次你有這模型屏幕和結果桌子，
點擊“添加-英斯"從這JMP的主要的菜單酒吧和然後選“信心曲線。”
這邏輯那跟隨將是更好的放置在一種巫師，
和一世希望到添加那功能性在一種未來發布的這添加-在。
作為它是，這第一的對話那出現
要求你到選擇這姓名的這桌子那曾是生成
什麼時候你選擇了“保存結果桌子”
從這模型篩選報告紅色的三角形菜單。
這姓名的這桌子在這案子是模型篩選統計數據驗證放。
下一個，一種對話是顯示那要求這姓名的這方法
那將要服務作為這基線
從哪一個全部這其他表現指標是測量。
一世建議開始和這方法
那曾是選擇什麼時候你點擊這選擇主導的，要么在這案子，
一世選擇要么點擊選擇主導的選項
在這模型屏幕和報告窗戶，
哪一個在這案子是合身步明智的。
最後，一種對話是顯示
那要求你到選擇這公制到是比較的之間這各種各樣的方法。
作為提及早些時候，生病採用R平方作為這公制為了比較。
跳回應經過創造一種信心曲線桌子那包含磷價值觀
和相應的信心水平
為了這意思是公制區別之間這選擇基線方法
和每個的這其他方法。
更多的具體來說，這生成桌子已列為了這下列的：
模型，在哪一個每個排包含這姓名的這造型方法
誰的表現是評估相對的到這基線方法;
P值，
在哪一個每個排包含這可能性聯繫和這表現區別
在至少作為極端作為這價值觀顯示在這區別在R正方形柱子;
信心間隔，在哪一個每個排包含這信心等級我們有
那這真的意思是是包含在這聯繫間隔。
和最後，區別在R正方形，在哪一個每個排是這最大要么最低限度
的這預期的區別在R平方聯繫和這信心等級
顯示在這信心間隔柱子。
從這桌子，信心曲線是創建
和顯示在這圖形建造者圖形。
什麼是信心曲線？
到闡明這鑰匙屬性的一種信心曲線，
生病隱藏全部但這支持向量機器信心曲線
使用這當地的數據篩選經過點擊在支持向量機器。
經過默認，一種信心曲線只要節目這線條
那連接這極端的每個信心間隔。
到看這點，選擇顯示控制控制板從這紅色的三角形菜單
位於下一個到這文本那讀圖形構建r在這標題酒吧。
現在生病轉移點擊這積分圖標。
JMP回應經過顯示這結尾積分的這信心間隔
那製作向上這信心曲線。
現在一世將要飛漲在和檢查一種觀點。
如果你徘徊這老鼠指針超過任何的這些點，
一種徘徊標籤節目這磷價值，信心間隔，
區別在這尺寸的這公制，
和這方法用過的到產生這模型存在比較的到這參考。
現在一世將要轉動離開這積分經過轉移點擊這積分圖標
和點擊這完畢按鈕。
甚至儘管這個人積分是不更長顯示，
你能夠仍然看法這聯繫徘徊標籤
經過放置這老鼠指針超過這信心曲線。
這觀點估計為了這意思是區別在表現
之間支持矢量 M機器和合身步明智的
是顯示在這0%信心等級，
哪一個是這意思是價值的這差異計算的使用叉驗證。
信心曲線地塊這程度的每個信心間隔
從這生成桌子之間這零和99. 99%信心等級，
哪一個是一個任意高的價值。
沿著這剩下是軸，
P值聯繫和信心間隔是顯示。
沿著這正確的是軸，
這信心等級聯繫和每個信心間隔顯示。
這是軸用途一種日誌規模，
所以那更多的解決是顯示在更高信心水平。
經過默認，二參考線條是繪製旁邊一種信心曲線。
這垂直的線代表這傳統的空值假設
的不區別在影響。
注意你能夠改變這垂直的線位置
和從而這隱含的空值假設
在這X軸設置。
這水平的線
通行證通過這傳統的95%信心間隔。
作為和這垂直的參考線，
你能夠改變這水平的線位置
和從而這隱含的等級的意義，
經過改變這是軸設置。
如果一種信心曲線十字架這垂直的線更多這水平的線，
你不能拒絕這空值假設使用意義測試。
為了例子，我們不能拒絕這空值假設為了支持向量機器。
在這其他手，
如果一種信心曲線十字架這垂直的線以下這水平的線，
你能夠拒絕這空值假設。
例如，我們可以拒絕原假設提升樹。
如何是信心曲線計算？
這當前的執行的信心曲線
假設這差異是計算的使用R次重複
K折叉驗證。
這程度的每個信心間隔是計算的
使用什麼是已知作為一種方差已更正重採樣T 檢驗。
筆記那作者克勞德·納多和約書亞本吉奧
著名的那一種更正重採樣T-測試
是通常用過的在案例在哪裡訓練套
是五要么十次較大比驗證套。
為了更多的細節，請看這紙聯繫和這介紹。
所以如何是信心曲線解釋？
第一的，一種信心曲線以圖形方式描繪
這主要的區別在這公制的興趣之間一種給定方法
和一種參考方法在這0%信心等級。
我們能夠評價無論這意思是區別之間方法是有意義的。
如果這意思是區別不是有意義的，有小的觀點在進一步分析
的這給定方法相對這參考方法和尊重到這選擇公制。
什麼構成一種有意義的區別要看在這公制的興趣
作為好吧作為這故意的科學的要么工程應用。
為了例子，你能夠看這模型發達和一種決定樹方法
是在平均的關於14%更差比合身步明智的，
哪一個可以說是一種有意義的區別。
如果這區別是有意義的，
我們能夠評價如何恰恰這區別已是測量的
經過評估這寬度的這聯繫信心間隔。
為了任何信心間隔不是穿越這默認垂直的軸，
我們有在至少那等級的信心那這意思是區別是非零。
為了例子，這決定樹信心曲線沒有叉這是軸
直到關於這99. 98%信心等級，
所以我們是幾乎99. 98%自信的這意思是區別不是平等的到零。
在事實，和這數據放，
它轉彎出去那我們能夠是關於81%自信的
那合身步明智的是在至少作為好的，如果不是更好的，
比每一個方法其他比廣義的回歸套索。
現在讓我們考慮這關係之間信心曲線。
如果二要么更多的信心曲線顯著地重疊
和這意思是區別的每個是不是有意義地不同的從這其他，
這數據建議每個方法施行
關於這相同的作為這其他和尊重到這參考模型。
為了例子，我們能夠看那在平均的，
小號支持向量機器模型施行
較少的比好 0.5%比引導程序森林，
哪一個是爭論不休不是一種有意義的區別。
和信心間隔
做不是重疊直到關於百分之四信心等級，
哪一個建議這些價值觀將是預期的
如果兩個都方法真的做有關於這相同的區別在表現
和尊重到這參考。
如果這平均的區別在表現
是關於這相同的為了二信心曲線
但這信心間隔別重疊也很多，
這數據建議這楷模履行關於這相同的作為每個其他
和尊重到這參考模型。
然而，我們是自信的的一種非有意義的區別。
這特定案子是稀有比這其他，和
一世別有一個例子到顯示和這數據放。
在這其他手，
如果這平均的區別在表現之間一種一對的信心曲線
是有意義地不同的和這信心曲線有小的重疊，
這數據建議這楷模履行不同的從一其他
和尊重到這參考。
為了例子，這廣義的回歸套索模型
預測關於13. 8%更多的的這變化在這回复
比做這決定樹模型。
而且，這信心曲線別重疊
直到關於這99. 9%信心等級，
哪一個建議這些結果是相當異常
如果這方法實際上履行關於這相同的和尊重到這參考。
最後，如果這平均的區別在表現
之間一種一對的信心曲線
是有意義地不同的從一其他和這曲線有大量重疊，
這數據建議那儘管這方法履行不同的從一其他
和尊重到這參考，
它不會是奇怪如果這差異是這差異虛假的。
為了例子，我們能夠看那在平均的，
支持向量機器預料到的約 1.4%更多的的這方差
在這回复比做過ķ最近的鄰居。
然而，這信心間隔開始到重疊
在關於這17%信心等級，
哪一個建議它不會是奇怪如果這區別在表現
之間每個方法在這參考
是實際上更小比建議經過這觀點估計。
同時地，
它不會是奇怪如果這實際的區別是較大比測量，
要么如果這方向的這區別是實際上逆轉。
在其他字，這區別在表現是不確定。
筆記那它不是可能的到評估這變化性在表現
之間二楷模相對的到一其他
什麼時候這差異是相對的到一種第三模型。
到比較這變化性在表現之間二方法
相對的到一其他，
一的這二方法必須是這參考方法
從哪一個這差異是測量。
但什麼關於多比較？
別我們需要到調整這P值
到控制這家庭明智的類型一錯誤速度？
在他的紙關於信心曲線，丹尼爾巴爾建議
那調整是需要在確認的學習
在哪裡一種目標是預先指定，但不是在探索性的學習。
這建議使用未經調整P值為了多信心曲線
在一個探索性的時尚
和只要一種單身的信心曲線生成從不同的數據
到確認您的發現的一種重大區別之間二方法
什麼時候使用意義測試。
那說，請保持在頭腦這危險的櫻桃採摘
和磷黑客攻擊什麼時候進行探索性的學習。
在概括，這模型篩選平台介紹了在JMP臨16
提供一種方法到同時地比較這表現
的預測性的楷模創建使用不同的方法論。
JMP已一種長-常設目標到提供一種圖形和每一個統計，
和信心曲線幫助到充滿那差距
為了這模型篩選平台。
你可能自然預計到採用意義測試到區分
之間這表現的這各種各樣的方法存在比較的。
然而， P值有來在下面增加審查在最近的年
為了遮蔽這尺寸的表現差異。
在添加，
P值是經常誤解作為這可能性這空值假設是錯誤的。
反而，一種P值是這可能性的觀察一種區別作為要么更多的極端，
假設這空值假設是真的。
這可能性的正確地拒絕這空值假設
什麼時候它是錯誤的是決定經過力量，要么一減貝塔。
我有爭論那它是不是罕見到只要有一種50%機會
的正確地拒絕這空值假設和一個Α價值的0.05 .
作為一個選擇，一種信心間隔可以是顯示反而的一種孤獨P值。
然而，這題將是剩下打開作為到哪一個信心等級到顯示。
信心曲線地址這些擔憂
經過顯示全部信心間隔向上到一個任意高的等級的信心。
這意思是區別在表現
是清楚地可見的在百分之零信心等級，
和那行為作為一種觀點估計。
全部其他事物存在平等的，
類型一和類型二錯誤是相等的，
所以信心曲線別嵌入一種偏見向交易T是的一錯誤
為了類型二。
甚至所以，經過默認，一種垂直的線是顯示在這信心曲線圖形
為了這標準空值假設的不區別。
在添加，一種水平的線是顯示那劃定
這95%信心間隔，
哪一個容易提供一種典型的意義測試分析如果想要的。
這默認值為了這些線條是容易地修改的
如果一種不同的空值假設和信心等級是想要的。
甚至所以，給定這相當廣闊和有時強調建議
到代替意義測試和觀點估計和信心間隔，
它可能是最好的到看法一種信心曲線作為一種觀點估計
沿著和一種幾乎綜合的看法的它的聯繫不確定。
如果你有回饋關於這信心曲線添加-在，
請離開一種評論在這JMP C社區地點
和別忘記到投票為了這介紹
如果你成立它有趣的和要么有用。
謝謝你為了觀看這介紹，和我希望你有一種偉大的日。
