你好。 我的姓名是布萊恩弗里克.
我是A產品主管在聯合管理計劃專注的在這聯合管理計劃使用者經驗。
之前，我曾是A軟體開發商在職的在出口報告
到獨立的超文本標記語言火文件。
聯合管理計劃居住和聯合管理計劃民眾。
在這推介會，
我是去到演講關於使用置信曲線
作為一個選擇到無效的假設意義測試
在這情境的預測性的模型篩選。
額外的材料在這主題能是成立在這聯合管理計劃社群網站
在這紙聯繫和這推介會。
博士。拉斯沃爾芬格是A傑出的研究院士在聯合管理計劃
和A共同作者，和我會喜歡到感謝他為了他的貢獻。
這模型篩選平台，介紹在聯合管理計劃專業版16
允許你到評價這表現
的多種的預測性的楷模使用叉驗證。
到展示你如何這模型篩選平台作品，
我是去到使用這糖尿病數據桌子，
哪個是可用的在這聯合管理計劃樣本數據圖書館.
患病的選擇模型篩選從這分析過的預測性的造型菜單。
聯合管理計劃回應經過顯示這模型篩選對話。
這第一的三列在這數據桌子
代表疾病進展在連續的二進位和序數形式。
患病的使用這連續的柱子命名的是作為這回覆多變的。
患病的使用這列從年齡到葡萄糖在這X因素角色。
患病的類型1234在這放隨機的種子輸入盒子為了再現性，
患病的選擇這查看盒子下一個到K型折疊叉驗證和離開K放到五。
患病的類型3進入這輸入盒子下一個到重複肯佛法老的。
在這方法列表，患病的取消選擇神經的。
現在患病的點選好的。
聯合管理計劃回應經過訓練和證實楷模為了每個的這已選擇方法
使用他們的預設範圍設定和叉驗證。
後完成這訓練和證實過程，
聯合管理計劃顯示這結果在A新的窗戶。
為了每個造型方法。
這模型篩選平台提供表現措施
在這形式的觀點估計為了這係數的決心，
也已知的作為右平方，這根平均的平方錯誤，
和這標準偏差為了這根平均的平方錯誤。
現在患病的點選選擇主導的。
聯合管理計劃回應經過突出顯示這方法
那施行最好的穿過這表現措施。
什麼是遺失的這裡是A形象的到展示這尺寸的這差異
之間這主導的方法和這其他方法，
沿著和這視覺化的這不確定
聯繫和這差異。
但為什麼不是只是展示P-價值觀表明無論這差異是重要的？
不應該A決定關於無論一模型是優越的到其他
是基於在意義？
第一的，自從這P-價值提供A可能性
基於在A標準化不同之處，
A P值經過本身失去資訊關於這生的不同之處。
一個重要的不同之處不意味著A有意義的不同之處。
是那真的A問題？
我意思是，不是它無意義
到是擔心的和這尺寸的這不同之處之間二楷模
前使用意義測試
到決定無論這不同之處是真實的？
這問題和那線的思維是那它是力量或者一減貝塔
那決定我們的能力到正確地拒絕A無效的假設。
作者這樣的作為雅各柯恩和坦白史密斯
有建議那典型的學習有這力量到探測差異
在這範圍的.4至.6 。
所以讓我們認為我們有A不同之處。
在哪裡這力量到探測A真的不同之處？
零五在一個α等級零五。
那建議我們會探測這真的不同之處，在平均的50%的這時間。
所以在那案件，意義測試會確認真實的差異
不更好的比翻轉一個不帶偏見的硬幣。
如果全部其他事物是平等的，類型1和2型錯誤是相等的。
但意義測試那使用一個α價值的.05.
常隱含地認為2型錯誤是優選到類型1錯誤，
特別如果這力量是作為低的作為.5 。
A常見的建議到地址這些和其他問題和意義測試
是到展示這觀點估計沿著和這信心間隔。
一異議到正在做所以是那
A觀點估計沿著和A 95%信心間隔
是有效地這相同的事物作為意義測試。
甚至如果我們認為那是真的， A觀點估計和信心間隔
仍然賣權這規模的這不同之處
和這範圍的這不確定正面和中心，
然而A貸款P值隱藏他們兩個都。
所以各種各樣的作者，包括柯恩和史密斯，
有受到推崇的替換意義測試
和觀點估計和信心間隔。
甚至所以，這推薦到使用信心間隔乞求這問題，
哪個那些做我們展示？
顯示中僅有的這95%信心間隔
會可能鼓勵你到解釋它作為其他形式的意義測試。
這解決方案假如經過置信曲線
是到字面上地展示全部信心間隔
向上到一個任意地高的信心等級。
如何做我展示置信曲線和JMP？
到方便地創造置信曲線和傑普,
安裝這置信曲線加入經過來訪這聯合管理計劃社群主頁。
類型置信曲線進入這搜尋輸入場地。
點選這置信曲線結果。
現在點選這下載圖示下一個到置信度曲線。 百萬帕DD-在。
現在點選這下載的文件。
聯合管理計劃回應經過詢問如果我想到安裝這添加-在。
你會點選安裝。
然而，患病的點選取消作為我有已經已安裝這加入。
所以如何做你使用這加入？
第一的。
到產生置信曲線為了這報告，選擇節省結果桌子
從這頂部紅色的三角形選單位於在這模型篩選報告窗戶。
聯合管理計劃回應經過創造A新的桌子含有之中其他的。
這下列的列審判。
哪個包含這身份識別為了這三套
的叉驗證結果。
折疊。
哪個包含這身份識別
為了這五清楚的套的子樣本用過的為了驗證在每個審判。
方法。
哪個包含這方法用過的到創造楷模從這測試數據。
和在。
哪個包含這數位的數據點用過的在這驗證褶皺。
筆記那這審判柱子將要是遺失的如果這數位的重複是確切地一，
在哪個案件這審判柱子是兩者都不已創建也不需要。
節省為了那例外，這些列是基本的
為了這置信曲線加入到功能適當地。
在添加到這些列，你需要一柱子
那提供這公制到比較之間方法。
患病的是使用右平方作為這公制的興趣在這推介會。
一次你有這模型篩選結果桌子，
點選外掛從JMP主要的選單酒吧和然後選擇置信曲線。
這邏輯那如下會是更好的放置在A巫師,
和我希望到添加那功能性在A未來發布的這加入。
作為它是，這第一的對話那出現
要求你到選擇這姓名的這桌子
那曾是產生的什麼時候你選擇了'節省結果桌子'，
從這模型螢幕報告紅色的三角形菜單。
這姓名的這桌子在這案件是模型螢幕統計數據驗證放。
下一個， A對話是顯示的
那要求這姓名的這方法那將要服務作為這基線
從哪個全部這其他表現指標是測量。
我建議開始和這方法那曾是已選擇什麼時候你點選
這選擇主導的選項
在這模型篩選報告窗戶，哪個在這案件是合身逐步進行。
最後， A對話是顯示的
那要求你到選擇這公制到是比較的之間這各種各樣的方法。
作為提及早些時候，患病的使用右平方作為這公制為了比較。
聯合管理計劃回應經過創造A信心曲線桌子那包含P 值
和相應的信心等級為了這意思是不同之處
之間這選擇的基線方法和每個的這其他方法。
更多的具體來說，這產生的桌子有列為了這下列的。
模型。
在哪個每個排包含這姓名的這造型方法
誰的表現是評價的相對的到這基線方法。
P-價值在哪個每個排包含這可能性
聯繫和這表現不同之處
在至少作為極端作為這價值顯示在這不同之處在我們的方塊柱子。
信心間隔在哪個每個排包含這信心等級。
我們有那這真的意思是是包含在這聯繫間隔
和最後，不同之處在我們的正方形，
在哪個每個排是這最大限度或者最低限度
的這預期的不同之處在右平方
聯繫和這信心等級顯示在這信心間隔柱子。
從這桌子，置信曲線是已創建
和顯示在這圖形建設者圖形。
所以什麼是置信曲線？
到闡明這鑰匙屬性的A置信曲線，
患病的隱藏全部但這支援向量機器的置信曲線
使用這當地的數據篩選經過點選在支援向量機器。
經過預設, A置信曲線僅有的節目
這線那連接這極端的每個信心間隔。
到看這點,選擇展示控制控制板從這紅色的三角形選單
位於下一個到這文字那讀圖形建設者在這標題酒吧。
現在患病的轉移點選這點圖示.
聯合管理計劃回應經過顯示這端點的這信心間隔
那製作向上這置信曲線。
現在我將要飛漲在和檢查A觀點。
如果你徘徊這老鼠指針超過任何的這些點。
A徘徊標籤節目的P -價值信心間隔，
不同之處在這尺寸的這公制
和這方法用過的到產生這模型
存在比較的到這參考模型。
現在出色地轉動離開這點經過轉移點選這點圖示
和點選這完畢按鈕。
甚至儘管這個人點是不更長顯示，
你能仍然看法這聯繫徘徊標籤
經過放置這老鼠指針超過這置信曲線。
觀點估計為了這主要的不同之處
在表現之間這運動向量機器和逐步適配楷模
是顯示在這0%信心等級，
哪個是這意思是價值的這差異計算的使用叉驗證。
A置信曲線地塊這程度
的每個信心間隔從這產生的桌子之間零
和這99.99%信心等級沿著和這左邊是軸。
磷價值觀聯繫和這信心間隔是顯示
沿著這正確的y軸。
這信心等級聯繫和每個信心間隔顯示。
這是軸用途A紀錄規模
所以那更多的解決是顯示在更高信心水平。
經過預設,二參考線是繪製的旁邊A置信曲線。
這垂直的線代表
這傳統的無效的假設的不不同之處在影響。
筆記你能改變這垂直的線位置
和從而這隱含的無效的假設。
在這X軸設定.
這水平的線透過透過這傳統的95%信心間隔。
作為和這垂直的參考線，
你能改變這水平的線位置
和從而這隱含的等級的意義
經過改變這是軸設定.
如果A置信曲線十字架這垂直的線多於這水平的線，
你不能拒絕這無效的假設使用意義測試。
為了例子，我們不能拒絕這無效的假設為了支援向量機器。
在這其他手，如果A置信曲線
十字架這垂直的線以下這水平的線，
你能拒絕這無效的假設使用意義測試。
為了例子，我們能拒絕這無效的假設為了增強的樹。
如何是置信曲線計算過？
這目前的執行的信心曲線假設
這差異是計算的
使用R次重複K型折疊叉驗證。
這程度的每個信心間隔是計算的
使用什麼是已知的作為A變異數已糾正重新採樣T 檢驗。
筆記那作者克洛德納多和約書亞·本吉奧,
筆記那A已糾正重新採樣T檢驗
是通常用過的在案例在哪裡訓練套
是五或者十次更大比驗證套。
為了更多的細節，請看這紙聯繫和這推介會。
所以如何是置信曲線解釋？
第一的，這置信曲線以圖形方式描繪
這主要的不同之處在這公制的興趣之間A給定方法
和A參考方法在這0%信心等級。
所以我們能評價無論這意思是不同之處之間這方法
是有意義的。
如果這主要的不同之處不是有意義的,有小的觀點在更遠分析
的A給定方法相對這參考方法和尊重到這選擇的公制。
什麼構成A有意義的不同之處依靠在這公制的興趣
作為出色地作為這故意的科學的或者工程應用。
為了例子，
你能看這模型發達和A決定樹方法
是在平均的關於14%更差比適合逐步明智，
哪個可以說是A有意義的不同之處。
如果這不同之處是有意義的,
我們能評價如何恰恰這不同之處有到過測量的
經過評估如何很多這置信度C烏爾韋寬度變化
穿過這信心水平。
為了任何信心間隔不是穿越這預設垂直的軸，
我們有在至少那等級的信心那這主要的不同之處是非零。
為了例子，
這決定樹信心曲線不叉這是軸
直到關於這99.98%信心等級。
我們是幾乎99.98%自信的這意思是不同之處不是平等的到零。
在事實，和這數據，
它輪流出去那我們能是關於81%自信的
那逐步適配是在至少作為好的，
如果不是更好的，比每一個方法其他比廣義的回歸套索。
現在讓我們考慮這關係之間置信曲線。
如果二或者更多的置信曲線顯著地重疊
和這意思是不同之處的每個是不是有意義地不同的從這其他。
這數據建議每個方法施行關於這相同的作為這其他
和尊重到這參考模型。
所以為了例子，
我們看那在平均的，這支援向量機器模型
施行較少的比。 5%比引導程式森林，
哪個是可以說不是A有意義的不同之處。
這信心間隔做不是重疊直到關於這4%信心等級，
哪個建議這些價值觀會是預期的
如果兩個都方法真的做有關於這相同的不同之處在表現
和尊重到這參考。
如果這平均的不同之處在表現
是關於這相同的為了二信心曲線，
但這信心間隔不重疊也很多，
這數據建議
這楷模執行關於這相同的作為每個其他和尊重到這參考模型。
然而，我們是自信的的A非有意義的不同之處。
這特別的案件是稀有的比這其他的
和我不有一個例子到展示和這數據放。
在這其他手，如果這平均的不同之處在表現
之間A一對的置信曲線是有意義地不同的
和這信心曲線有小的重疊，
這數據建議這楷模執行
不同地從一其他和尊重到這參考。
為了例子，這廣義的回歸套索模型預測關於13.8%
更多的的這變化在這回覆比做這決定樹模型。
而且，這置信曲線不重疊
直到關於這99.9%信心等級，
哪個建議這些結果是相當例外
如果這方法實際上執行關於這相同的和尊重到這參考。
最後，如果這平均的不同之處在表現之間A一對
的置信曲線是有意義地不同的從一其他
和這曲線有大量重疊，
這數據建議那
儘管這方法執行不同地從一其他和尊重到這參考，
它不會是奇怪如果這不同之處是狂怒。
為了例子，我們能看那在平均的
支援向量機器預料到的關於1.4%更多的的這變異數在這回覆
比做過[聽不清楚 00:19:18]最近的鄰居。
然而，這信心間隔開始到重疊在關於這17%信心等級，
哪個建議它不會是奇怪
如果這不同之處在表現之間每個方法
和這參考是實際上較小比建議經過這觀點估計。
同時地，
它不會是奇怪如果這實際的不同之處是更大比測量，
或者如果這方向的這不同之處是實際上顛倒了。
在其他字，這不同之處在表現是不確定。
筆記那它不是可能的到評估這變化性和表現
之間二楷模相對的到一其他
什麼時候這差異是相對的到A第三模型。
到比較這變化性和表現
之間二方法相對的到一其他，
一的這二方法必須是這參考方法
從哪個這差異是測量。
但什麼關於多種的比較？
不我們需要到調整這P 值
到控制這家庭明智的類型1錯誤速度？
在這紙關於置信曲線，
丹尼爾巴勒建議那調整是需要的在確認性的學習
在哪裡A目標是預先指定的，但不是在探索性的學習。
這主意建議使用未調整的P 值為了多種的置信曲線
在一個探索性的時尚
和僅有的A單身的置信曲線產生的從不同的數據
到確認你的發現的A重要的不同之處
之間二方法什麼時候使用意義測試。
那說，請保持在頭腦這危險的櫻桃採摘、 p-駭客攻擊
什麼時候進行探索性的學習。
在概括，這模型篩選平台介紹在聯合管理計劃專業版16
提供A方法到同時地比較這表現
的預測性的楷模已創建使用不同的方法論。
聯合管理計劃有A長的常設目標到提供A圖形和每一個統計，
和置信曲線幫助到充滿那差距。
為了這模型篩選平台。
你可能自然預計到使用意義測試到區分
之間這表現的各種各樣的方法存在比較的。
然而， P 值有來在下面增加審查在最近的年
為了遮蔽這尺寸的表現差異。
在添加，
P 值是常被誤解作為這可能性這無效的假設是真的。
反而的P值是這可能性的觀察A不同之處
作為或者更多的極端，假設這無效的假設是真的。
這可能性的正確地拒絕這無效的假設什麼時候它是錯誤的
是決定經過A力量或者一減測試版。
我有爭論那它是不是罕見到僅有的有A 50%機會
的正確地拒絕這無效的假設和一個α價值的.05 。
作為一個選擇， A信心間隔可以是顯示反而的A貸款P-價值。
然而，這問題會是左邊打開作為到哪個信心等級到展示。
置信曲線地址這些擔憂經過顯示全部信心間隔
向上到一個任意地高的-等級的信心。
這意思是不同之處在這表現
是清楚地可見的在這0%信心等級，和那行為作為A觀點估計。
全部的這事物存在平等的，類型1和類型2錯誤是相等的。
置信曲線不嵌入A偏見向貿易類型1錯誤為了類型 2。
甚至所以，經過預設,
A垂直的線是顯示在這信心曲線圖形
為了這標準無效的假設的不不同之處。
在添加，
A水平的線是顯示那描繪出這95%信心間隔，
哪個容易提供A典型的意義測試分析如果想要的。
這預設值為了這些線是容易地修改的，
但不同的無效的假設和信心等級想要的。
甚至所以，給定這相當廣闊和有時強調的建議
到代替意義測試和觀點估計和信心間隔，
它可能是最好的到看法A置信曲線作為A觀點估計
沿著和A幾乎綜合的看法的它是聯繫不確定。
如果你有回饋關於這信心曲線的加入，
請離開A評論在這聯合管理計劃社群地點。
和不忘記到投票為了這推介會
如果你成立它有趣的或者有用。
感謝你為了觀看這推介會和我希望你有A偉大的天。
