你好，我的姓名是布萊恩弗里克.
我是A新鑄造的產品經理在傑普,聚焦在這聯合管理計劃用戶經驗。
之前，我曾是A軟件開發商在職的在出口報告
到站立獨自的超文本標記語言文件文件，聯合管理計劃居住，和聯合管理計劃民眾。
在這推介會，
我是去到講話關於使用信心曲線
作為一個選擇到空H假設意義測試
在這語境的預測性的模型篩選。
額外的材料在這主題能是成立在這聯合管理計劃社區網站
和這紙聯繫和這推介會。
博士。拉斯沃爾芬格, WHO是A傑出的研究同胞在傑普,是A共-作者，
和我會喜歡到感謝他為了他的貢獻。
這模型篩選平台介紹在跳專業版16、
允許你到評價這表現
的多種的預測性的楷模使用叉-驗證。
到展示你如何這模型篩選平台作品，
我是去到使用這糖尿病數據桌子，
哪個是可用的在這聯合管理計劃樣本數據圖書館。
患病的選擇模型篩選從這分析預測性造型菜單。
聯合管理計劃回應經過顯示這模型篩選對話。
這第一的三列在這數據桌子
代表疾病進展在連續的，二進制，和序數形式。
患病的使用這連續的柱子命名的是作為這回复多變的。
患病的使用全部這列從年齡到葡萄糖在這X因素角色。
患病的類型1-2-3-4在這放隨機的種子輸入盒子為了再現性。
患病的選擇這查看盒子下一個到K折叉驗證
和離開K放到五。
患病的類型三進入這輸入盒子下一個到重複K折疊。
在這方法列表，患病的取消選擇神經，
和現在患病的選擇好的。
聯合管理計劃回應經過訓練和證實楷模為了每個的這已選擇方法
使用他們的默認範圍設置和叉驗證。
後完成這訓練和證實過程，
聯合管理計劃顯示這結果在A新的窗戶。
為了每個造型方法，這模型篩選平台提供
表現措施在這形式的觀點估計
為了這係數的決心，
哪個是還已知的作為右平方，這根平均的平方錯誤，
和這標準偏差為了這根平均的平方錯誤。
現在患病的點擊選擇主導的。
聯合管理計劃回應經過突出顯示這方法那施行最好的
穿過這表現措施。
什麼是丟失的這裡是A形象的
到展示你這個尺寸的這不同之處之間這主導的方法
和這其他方法，沿著和這可視化
的這不確定聯繫和這差異。
但為什麼不是只是展示磷價值觀表明無論這差異是重要的？
不應該A決定關於無論一模型是優越的到其他
是基於在意義？
第一的，
自從A P值提供A可能性基於在A標準化不同之處，
A磷價值經過本身失去信息關於這生的不同之處，
所以A重要的不同之處不意味著A有意義的不同之處。
但是那真的A問題？
我意思是，不是它無意義到是擔心的
和這尺寸的A不同之處之間二楷模前意義測試是用過的
到決定無論這不同之處是真實的？
這問題和那線的思維是那它是力量，或者一減貝塔,
那決定我們的能力到正確地拒絕A無效的假設。
作者這樣的作為雅各布科恩和坦率施密特
有建議那典型的學習有A力量到探測差異
在這範圍的0.4到0.6 。
讓我們認為我們有A不同之處在哪裡這力量到探測A真的不同之處
是0.5在一個Α價值的0.05 。
那建議我們會探測這真的不同之處
在平均的50%的這時間。
在那案件，意義測試會確認真實的差異
不更好的比翻轉一個不帶偏見的硬幣。
如果全部其他事物是平等的，類型一和類型二錯誤是相等的。
但意義測試那使用一個Α價值的.05
經常隱含地認為T型窩錯誤是優選到類型一錯誤，
特別如果這力量是作為低的作為0.5 。
A常見的建議到地址這些和其他問題和意義測試
是到展示這觀點估計沿著和信心間隔。
一異議到正在做所以是那A觀點估計
沿著和95%信心間隔
是有效地這相同的事物作為意義測試。
甚至如果我們認為那是真的， A觀點估計和信心間隔
仍然看跌期權這震級的這不同之處在這範圍的這不確定
正面和中心，
然而A孤獨的磷價值隱藏他們兩個都。
各種各樣的作者，包括科恩和施密特,
有受到推崇的替換意義測試
和觀點估計和信心間隔。
甚至所以，這推薦到使用信心間隔
乞求這問題， “哪個那些做我們展示？”
顯示中僅有的這95%信心間隔
會可能鼓勵你到解釋它作為其他形式的意義測試。
這解決方案假如經過信心曲線
是到字面上地展示全部信心間隔
向上到一個任意地高的信心等級。
所以如何做你展示信心曲線在JMP？
到方便地創造信心曲線在傑普,
安裝這信心曲線添加-在經過來訪這聯合管理計劃社區主頁。
類型“信心曲線”進入這搜索輸入場地。
點擊在這第一的入口那出現。
現在點擊這下載圖標下一個到置信曲線.jmp添加在，
和現在你能點擊在這下載的文件。
聯合管理計劃回應經過詢問如果我想到安裝這添加-在。
你會點擊“安裝。”
然而，患病的點擊“取消，”作為我已經有這添加-在安裝。
如何做你使用這添加-在？
第一的，到產生信心曲線為了這報告，
選擇“節省結果桌子”
從這頂部紅色的三角形菜單位於在這模型屏幕報告窗戶。
聯合管理計劃回應經過創造A新的桌子含有，之中其他的，
這下列的列：
審判，哪個包含這身份標識為了三套的叉驗證結果;
折疊，哪個包含這身份標識為了這五清楚的套的子樣本
用過的為了驗證在每個審判;
方法，哪個包含這方法用過的到創造楷模從這測試數據，
和尼，哪個包含這數字的數據點用過的在這驗證褶皺。
筆記那這審判柱子將要是丟失的如果這數字的重複是確切地一，
在哪個案件這審判柱子是兩者都不已創建也不需要。
節省為了那例外，
這些列是基本的為了這信心曲線添加-在
到功能適當地。
在添加到這些列，
你需要一柱子那提供這公制到比較方法。
患病的是使用右平方作為這公制的興趣在這推介會。
一次你有這模型屏幕和結果桌子，
點擊“添加- ins》從這JMP的主要的菜單酒吧和然後選“信心曲線。”
這邏輯那如下會是更好的放置在A巫師,
和我希望到添加那功能性在A未來發布的這添加-在。
作為它是，這第一的對話那出現
要求你到選擇這姓名的這桌子那曾是生成的
什麼時候你選擇了“節省結果桌子”
從這模型篩選報告紅色的三角形菜單。
這姓名的這桌子在這案件是模型篩選統計數據驗證放。
下一個， A對話是顯示的那要求這姓名的這方法
那將要服務作為這基線
從哪個全部這其他表現指標是測量。
我建議開始和這方法
那曾是已選擇什麼時候你點擊了這選擇主導的，或者在這案件，
我已選擇或者點擊了選擇主導的選項
在這模型屏幕和報告窗戶，
哪個在這案件是合身步明智的。
最後， A對話是顯示的
那要求你到選擇這公制到是比較的之間這各種各樣的方法。
作為提及早些時候，患病的使用右平方作為這公制為了比較。
跳回應經過創造A信心曲線桌子那包含磷價值觀
和相應的信心級別
為了這意思是公制不同之處之間這選擇的基線方法
和每個的這其他方法。
更多的具體來說，這生成的桌子有列為了這下列的：
模型，在哪個每個排包含這姓名的這造型方法
誰的表現是評價的相對的到這基線方法;
P值，
在哪個每個排包含這可能性聯繫和這表現不同之處
在至少作為極端作為這價值觀顯示在這不同之處在右正方形柱子;
信心間隔，在哪個每個排包含這信心等級我們有
那這真的意思是是包含在這聯繫間隔。
和最後，不同之處在右正方形，在哪個每個排是這最大限度或者最低限度
的這預期的不同之處在右平方聯繫和這信心等級
顯示在這信心間隔柱子。
從這桌子，信心曲線是已創建
和顯示在這圖形建設者圖形。
什麼是信心曲線？
到闡明這鑰匙屬性的A信心曲線，
患病的隱藏全部但這支持向量機器信心曲線
使用這當地的數據篩選經過點擊在支持向量機器。
經過默認， A信心曲線僅有的節目這線
那連接這極端的每個信心間隔。
到看這點,選擇展示控制控制板從這紅色的三角形菜單
位於下一個到這文本那讀圖形構建r在這標題酒吧。
現在患病的轉移點擊這積分圖標。
聯合管理計劃回應經過顯示這結尾點的這信心間隔
那製作向上這信心曲線。
現在我將要飛漲在和檢查A觀點。
如果你徘徊這老鼠指針超過任何的這些點,
A徘徊標籤節目這磷價值，信心間隔，
不同之處在這尺寸的這公制，
和這方法用過的到產生這模型存在比較的到這參考。
現在我將要轉動離開這點經過轉移點擊這積分圖標
和點擊這完畢按鈕。
甚至儘管這個人點是不更長顯示，
你能仍然看法這聯繫徘徊標籤
經過放置這老鼠指針超過這信心曲線。
這觀點估計為了這意思是不同之處在表現
之間支持矢量M機器和合身步明智的
是顯示在這0%信心等級，
哪個是這意思是價值的這差異計算的使用叉驗證。
信心曲線地塊這程度的每個信心間隔
從這生成的桌子之間這零和99. 99%信心等級，
哪個是一個任意地高的價值。
沿著這左邊是軸，
P值聯繫和信心間隔是顯示。
沿著這正確的是軸，
這信心等級聯繫和每個信心間隔顯示。
這是軸用途A日誌規模，
所以那更多的解決是顯示在更高信心水平。
經過默認，二參考線是繪製的旁邊A信心曲線。
這垂直的線代表這傳統的無效的假設
的不不同之處在影響。
注意你能改變這垂直的線位置
和從而這隱含的無效的假設
在這X軸設置。
這水平的線
通過通過這傳統的95%信心間隔。
作為和這垂直的參考線，
你能改變這水平的線位置
和從而這隱含的等級的意義，
經過改變這是軸設置。
如果A信心曲線十字架這垂直的線多於這水平的線，
你不能拒絕這無效的假設使用意義測試。
為了例子，我們不能拒絕這無效的假設為了支持向量機器。
在這其他手，
如果A信心曲線十字架這垂直的線以下這水平的線，
你能拒絕這無效的假設。
例如，我們可以拒絕原假設提升樹。
如何是信心曲線計算過？
這當前的執行的信心曲線
假設這差異是計算的使用右次重複
K折叉驗證。
這程度的每個信心間隔是計算的
使用什麼是已知的作為A方差已更正重新採樣T 測試。
筆記那作者克勞德·納多和約書亞本吉奧
著名的那A已糾正重新採樣T-測試
是通常用過的在案例在哪裡訓練套
是五或者十次更大比驗證套。
為了更多的細節，請看這紙聯繫和這推介會。
所以如何是信心曲線解釋？
第一的， A信心曲線以圖形方式描繪
這主要的不同之處在這公制的興趣之間A給定方法
和A參考方法在這0%信心等級。
我們能評價無論這意思是不同之處之間方法是有意義的。
如果這意思是不同之處不是有意義的，有小的觀點在更遠分析
的這給定方法相對這參考方法和尊重到這選擇的公制。
什麼構成A有意義的不同之處依靠在這公制的興趣
作為出色地作為這故意的科學的或者工程應用。
為了例子，你能看這模型發達和A決定樹方法
是在平均的關於14%更差比合身步明智的，
哪個可以說是A有意義的不同之處。
如果這不同之處是有意義的，
我們能評價如何恰恰這不同之處有到過測量的
經過評估這寬度的這聯繫信心間隔。
為了任何信心間隔不是穿越這默認垂直的軸，
我們有在至少那等級的信心那這意思是不同之處是非零。
為了例子，這決定樹信心曲線不叉這是軸
直到關於這99. 98%信心等級，
所以我們是幾乎99. 98%自信的這意思是不同之處不是平等的到零。
在事實，和這數據放，
它輪流出去那我們能是關於81%自信的
那合身步明智的是在至少作為好的，如果不是更好的，
比每一個方法其他比廣義的回歸套索。
現在讓我們考慮這關係之間信心曲線。
如果二或者更多的信心曲線顯著地重疊
和這意思是不同之處的每個是不是有意義地不同的從這其他，
這數據建議每個方法施行
關於這相同的作為這其他和尊重到這參考模型。
為了例子，我們能看那在平均的，
的S支持向量機器模型施行
較少的比改善 0.5%比引導程序森林，
哪個是爭論不是A有意義的不同之處。
還有信心間隔
做不是重疊直到關於百分之四信心等級，
哪個建議這些價值觀會是預期的
如果兩個都方法真的做有關於這相同的不同之處在表現
和尊重到這參考。
如果這平均的不同之處在表現
是關於這相同的為了二信心曲線
但這信心間隔不重疊也很多，
這數據建議這楷模履行關於這相同的作為每個其他
和尊重到這參考模型。
然而，我們是自信的的A非有意義的不同之處。
這特別的案件是比較稀有的比這其他的，和
我不有一個例子到展示和這數據放。
在這其他手，
如果這平均的不同之處在表現之間A一對的信心曲線
是有意義地不同的和這信心曲線有小的重疊，
這數據建議這楷模履行不同地從一其他
和尊重到這參考。
為了例子，這廣義的回歸套索模型
預測關於13. 8%更多的的這變化在這回复
比做這決定樹模型。
而且，這信心曲線不重疊
直到關於這99. 9%信心等級，
哪個建議這些結果是相當異常
如果這方法實際上履行關於這相同的和尊重到這參考。
最後，如果這平均的不同之處在表現
之間A一對的信心曲線
是有意義地不同的從一其他和這曲線有大量重疊，
這數據建議那儘管這方法履行不同地從一其他
和尊重到這參考，
它不會是奇怪如果這差異是這差異虛假的。
為了例子，我們能看那在平均的，
支持向量機器預料到的約1.4%更多的的這方差
在這回复比做過K最近的鄰居。
然而，這信心間隔開始到重疊
在關於這17%信心等級，
哪個建議它不會是奇怪如果這不同之處在表現
之間每個方法在這參考
是實際上較小比建議經過這觀點估計。
同時地，
它不會是奇怪如果這實際的不同之處是更大比測量，
或者如果這方向的這不同之處是實際上顛倒了。
在其他字，這不同之處在表現是不確定。
筆記那它不是可能的到評估這變化性在表現
之間二楷模相對的到一其他
什麼時候這差異是相對的到A第三模型。
到比較這變化性在表現之間二方法
相對的到一其他，
一的這二方法必須是這參考方法
從哪個這差異是測量。
但什麼關於多種的比較？
不我們需要到調整這P值
到控制這家庭明智的類型一錯誤速度？
在他的紙關於信心曲線，丹尼爾巴爾建議
那調整是需要的在確認性的學習
在哪裡A目標是預先指定的，但不是在探索性的學習。
這建議使用未調整的P值為了多種的信心曲線
在一個探索性的時尚
和僅有的A單身的信心曲線生成的從不同的數據
到確認你的發現的A重要的不同之處之間二方法
什麼時候使用意義測試。
那說，請保持在頭腦這危險的櫻桃採摘
和磷黑客攻擊什麼時候進行探索性的學習。
在概括，這模型篩選平台介紹在聯合管理計劃專業版16
提供A方法到同時地比較這表現
的預測性的楷模已創建使用不同的方法論。
聯合管理計劃有A長的-常設目標到提供A圖形和每一個統計，
和信心曲線幫助到充滿那差距
為了這模型篩選平台。
你可能自然預計到使用意義測試到區分
之間這表現的這各種各樣的方法存在比較的。
然而， P值有來在下面增加審查在最近的年
為了遮蔽這尺寸的表現差異。
在添加，
P值是經常被誤解作為這可能性這無效的假設是錯誤的。
反而， A P值是這可能性的觀察A不同之處作為或者更多的極端，
假設這無效的假設是真的。
這可能性的正確地拒絕這無效的假設
什麼時候它是錯誤的是決定經過力量，或者一減測試版。
我有爭論那它是不是罕見到僅有的有A 50%機會
的正確地拒絕這無效的假設和一個Α價值的0.05 。
作為一個選擇， A信心間隔可以是顯示反而的A孤獨的P值。
然而，這問題會是左邊打開作為到哪個信心等級到展示。
信心曲線地址這些擔憂
經過顯示全部信心間隔向上到一個任意地高的等級的信心。
這意思是不同之處在表現
是清楚地可見的在百分之零信心等級，
和那行為作為A觀點估計。
全部其他事物存在平等的，
類型一和類型二錯誤是相等的，
所以信心曲線不嵌入A偏見向交易T類型一錯誤
為了類型二。
甚至所以，經過默認， A垂直的線是顯示在這信心曲線圖形
為了這標準無效的假設的不不同之處。
在添加， A水平的線是顯示那描繪出
這95%信心間隔，
哪個容易提供A典型的意義測試分析如果想要的。
這默認值為了這些線是容易地修改的
如果A不同的無效的假設和信心等級是想要的。
甚至所以，給定這相當廣闊和有時強調的建議
到代替意義測試和觀點估計和信心間隔，
它可能是最好的到看法A信心曲線作為A觀點估計
沿著和A幾乎綜合的看法的它是聯繫不確定。
如果你有反饋關於這信心曲線添加-在，
請離開A評論在這JMP C社區地點
和不忘記到投票為了這推介會
如果你成立它有趣的和或者有用。
感謝你為了觀看這推介會，和我希望你有A偉大的天。
