利用信息質量（InfoQ）和JMP®（2021-EU-45MP-750）最大限度地提高數據科學的成功率級別：中級
KPA集團主席Ron Kenett和Technion的Samuel Neaman Instiute
SAS統計研發JMP總監Christopher Gotwalt
數據分析-從設計的實驗，廣義回歸到機器學習-的部署速度正在加快。 同時，對結果可重複性和錯誤的p值解釋的關注表明，良好的統計分析可能會導致錯誤的結論和錯誤的決定。 為了使數據分析項目正確地實現其目標，必須評估從可用數據和工具得出的結論的範圍和強度。 這種對統計策略的關注需要一個框架來隔離項目的各個組成部分：目標，數據收集過程，數據屬性，提供的分析等。 InfoQ框架提供了進行此評估的結構化程序。 而且，在JMP中易於操作InfoQ。 在此演示文稿中，我們提供了InfoQ的概述以及來自消費者研究和製藥生產的用例研究，以說明如何使用JMP進行InfoQ評估，並突出顯示了高和低InfoQ的情況。 我們還提供了一些技巧，展示瞭如何通過增強的研究設計來使用JMP來提高信息質量，而不必獲取更多數據。 這次演講的對像是統計學家，機器學習專家和數據科學家，他們的工作是將數字轉化為信息。
自動產生的筆錄...
揚聲器
|
成績單
|
| |
你好。 |
| |
我叫羅恩·肯尼特（Ron Kenett）。 這 |
| |
是和克里斯的聯合談話 |
| |
Gotwalt，我們基本上 |
| |
有兩條消息 |
| |
那應該從 |
| |
講話。一是我們應該 |
| |
真的很在意 |
| |
信息和信息 |
| |
質量。人們傾向於說話 |
| |
關於數據和數據質量，但是 |
| |
數據確實不是問題。 |
| |
我們是統計學家。 我們是 |
| |
數據科學家。 我們把數字 |
| |
將數據轉化為信息，以便 |
| |
我們的目標應該是確保 |
| |
我們產生高質量 |
| |
信息。 另一則訊息 |
| |
是JMP可以幫助您 |
| |
實現這一目標，這就是 |
| |
實際結果是 |
| |
令人驚訝的方式。 所以結合 |
| |
克里斯的專業知識和 |
| |
信息介紹 |
| |
質量，我們希望這兩個 |
| |
消息會出現 |
| |
清楚地。所以如果我必須 |
| |
總結一下我們是什麼 |
| |
畢竟想談論 |
| |
一切都與信息有關 |
| |
質量。我在 |
| |
在四年的布拉格峰會上 |
| |
以前，那個話題很籠統。 |
| |
它談到了移動 |
| |
從設計到質量的旅程。 |
| |
我的旅行過程中的信息 |
| |
質量。在本次演講中，我們重點介紹 |
| |
關於如何做到這一點 |
| |
JMP。 這是更詳細的 |
| |
和技術談話比 |
| |
我在布拉格進行的一般性演講。 |
| |
你可以看那個談話。 |
| |
這裡有一個鏈接。 你可以 |
| |
在JMP社區中找到它。 |
| |
所以我們要談論 |
| |
信息質量 |
| |
數據集的潛力 |
| |
具體的數據集，以實現 |
| |
特定目標，特定目標， |
| |
用給定的經驗方法。 |
| |
所以在這個定義中 |
| |
三個組成部分是 |
| |
列出。一是一定的數據 |
| |
放。這是數據。 這 |
| |
第二個是目標， |
| |
分析的目的是什麼 |
| |
這是我們想要實現的。 |
| |
第三個是我們將如何 |
| |
用什麼來做到這一點 |
| |
我們將要生成的方法 |
| |
信息，那潛力 |
| |
將與評估 |
| |
實用功能。 我會的 |
| |
首先介紹 |
| |
信息質量，然後 |
| |
克里斯將接任， |
| |
討論案例研究，並 |
| |
告訴你如何進行 |
| |
信息質量評估。 |
| |
最終這應該 |
| |
回答JMP的問題 |
| |
支持InfoQ |
| |
是要點 |
| |
你可以...帶走點 |
| |
從談話中。 的設置 |
| |
這是我們我們鼓勵的 |
| |
我所說的生命週期視圖 |
| |
統計。 換一種說法， |
| |
不只是數據分析。 |
| |
我們應該知道...我們應該參與其中 |
| |
問題引發 |
| |
階段。另外，目標 |
| |
制定階段，值得 |
| |
討論。 我們應該 |
| |
顯然參與了 |
| |
數據收集方案（如果有） |
| |
通過實驗或通過 |
| |
調查或通過觀察 |
| |
數據。那我們也應該 |
| |
制定時間 |
| |
發現，而不僅僅是退出 |
| |
的印刷報告 |
| |
回歸係數 |
| |
估計值及其 |
| |
意義，但我們應該 |
| |
還討論什麼是 |
| |
發現？ 的運營 |
| |
發現的意思，好的，我們能做什麼 |
| |
這些發現如何？ 什麼是 |
| |
的含義 |
| |
發現？ 這應該... |
| |
需要傳達給 |
| |
正確的人，正確的方式， |
| |
最終我們應該做一個 |
| |
影響評估以找出， |
| |
好，我們做了所有這些；有什麼 |
| |
是我們的附加值 |
| |
工作？ 我談到生活 |
| |
您的統計週期數年 |
| |
前。這是前提條件， |
| |
對什麼的看法 |
| |
我要說說。 所以像我 |
| |
提到的信息 |
| |
質量是一個潛在的 |
| |
特定數據集以實現 |
| |
使用給定的特定目標 |
| |
實證分析方法。 這 |
| |
通過四個來識別 |
| 成分 |
目標，數據， |
| |
分析方法，以及 |
| |
效用度量。 所以在一個 |
| |
數學表達式 |
| |
將f應用於x的效用 |
| |
目標的條件是我們如何 |
| |
識別InfoQ，信息 |
| |
質量。這是發表在 |
| |
皇家統計學會 |
| |
2013年的A系列有8個 |
| |
討論者，所以很好 |
| |
討論過。有人認為 |
| |
這太棒了，有些 |
| |
人們對 |
| |
這個想法，所以這是一個更廣泛的 |
| |
範圍考慮什麼 |
| |
統計資料即將到來。 我們也 |
| |
寫於2006年，我們見面了 |
| |
還有加利特·施穆里（Galit Shmueli）， |
| |
信息質量。 而在 |
| |
信息環境 |
| |
質量我們做了所謂的 |
| |
解構。大衛·漢德（David Hand） |
| |
一篇名為《解構》的論文 |
| |
統計。 這是 |
| |
解構信息 |
| |
質量分為八個維度。 一世 |
| |
將涵蓋這八個方面。 |
| |
那是我在談話中的角色， |
| |
然後克里斯將展示如何 |
| |
在特定的情況下實施 |
| |
案例分析。 |
| |
與另一方面有關 |
| |
這是我有一本書。 |
| |
這是最近的一年前 |
| |
標題為“真正的數據工作” |
| |
科學，我們談論什麼 |
| |
是數據的作用 |
| |
組織和 |
| |
在這種情況下，我們強調 |
| |
對數據科學家的需求 |
| |
參與這一代 |
| |
信息作為...信息 |
| |
達到目標的質量 |
| |
組織。 所以讓我 |
| |
涵蓋八個維度。 那是 |
| |
那就是我的介紹。 這 |
| |
第一個是數據解析。 我們 |
| |
有一個目標。 好，我們會 |
| |
想知道流感的程度 |
| |
因為在國家或地區 |
| |
我們居住的地區，因為 |
| |
將影響我們的決定 |
| |
是否去公園哪裡 |
| |
我們可以見面或去 |
| |
參加爵士音樂會。 然後 |
| |
音樂會是明天。 |
| |
如果我們在CDC上查找數據 |
| |
流感的水平，該數據是 |
| |
每週更新一次，因此我們可以獲得 |
| |
圖中的紅線 |
| |
在你面前，所以我們 |
| |
可以得到幾天的數據 |
| |
以前，也許很好，也許不好 |
| |
足夠我們的黃金。 Google流感， |
| |
基於搜索 |
| |
與流感有關，已更新 |
| |
暫時，因此已更新 |
| |
在線，它可能會給 |
| |
給我們更好的信息。 因此對於 |
| |
我們的目標，藍線， |
| |
谷歌趨勢...谷歌流感 |
| |
趨勢指標，可能是 |
| |
更合適。 第二 |
| |
維是數據結構。 |
| |
為了實現我們的目標，我們將 |
| |
看數據。 我們應該...我們 |
| |
應該確定數據源 |
| |
以及這些數據中的結構 |
| |
資料來源。所以一些數據可能是 |
| |
文字，有些可能是視頻，有些 |
| |
例如，可能是 |
| |
推薦網絡。 這 |
| |
是亞馬遜關於如何 |
| |
你看書，你就是 |
| |
會得到一些 |
| |
其他書籍推薦。 而如果 |
| |
你去看看這些其他的書， |
| |
您將擁有更多數據 |
| |
推薦的。所以數據 |
| |
結構可以有各種各樣的形式 |
| |
形狀和形式，這可以 |
| |
是文字。 這可以起作用 |
| |
數據。這可以是圖像。 我們是 |
| |
現在不限於我們使用的 |
| |
調用數據，這就是你 |
| |
在Excel電子表格中查找。 |
| |
數據可能被破壞， |
| |
可能缺少值，可能 |
| |
有不尋常的模式 |
| |
那將是 |
| |
要研究的東西。 一些 |
| |
模式，事物在哪裡 |
| |
重複。也許一些數據 |
| |
只是複制和粘貼而我們 |
| |
想被警告 |
| |
這樣的選擇。 第三 |
| |
維度是數據集成。 |
| |
當我們考慮來自 |
| |
這些不同的來源，我們 |
| |
要整合它們，所以我們 |
| |
可以做一些分析聯動 |
| |
通過ID。 例如，我們 |
| |
會做到的，但是這樣做 |
| |
我們可能會創建一些問題，因為 |
| |
例如，在披露數據中 |
| |
通常應該是 |
| |
匿名。數據 |
| |
是的，那將會 |
| |
讓我們做奇妙的事情， |
| |
但是如果數據被認為 |
| |
有一些隱私暴露 |
| |
問題，然後也許是質量 |
| |
來自的信息 |
| |
我們要做的分析 |
| |
將會是 |
| |
做作的。所以數據整合 |
| |
應該被非常非常地研究 |
| |
小心。這就是人 |
| |
可能用來打電話給ETL |
| |
提取，轉換和加載。 我們 |
| |
現在有更好的方法 |
| |
那樣做。 連接選項，用於 |
| |
例如，在JMP中將提供 |
| |
這樣做的選項。 |
| |
時間相關性。 好那是 |
| |
很清楚。 我們有數據。 它是 |
| |
以某種方式蓋章。 如果我們要去 |
| |
以後再做分析 |
| |
在數據收集之後，以及 |
| |
如果我們 |
| |
考慮是甚至更晚，然後 |
| |
數據可能不是暫時的 |
| |
相關的。在一個共同點 |
| |
情況，如果我們想比較 |
| |
現在發生了什麼，我們會 |
| |
喜歡能夠做到這一點 |
| |
與最新數據比較或 |
| |
大流行之前的數據 |
| |
開始，但沒有十年 |
| |
較早。官方統計 |
| |
在健康記錄上曾經是兩個 |
| |
或落後三年 |
| |
的時間，這使得它非常 |
| |
官方使用困難 |
| |
評估中的統計 |
| |
這是怎麼回事 |
| |
大流行病。數據和時間順序 |
| |
目標與決定有關 |
| |
由於我們而做出的 |
| |
目標。因此，例如，如果我們 |
| |
目的是預測空氣質量， |
| |
我們將使用一些 |
| |
空中預測模型 |
| |
質量指標報告在 |
| |
每天 這給了我們一個 |
| |
從危險到六級 |
| |
好的。有一些價值 |
| |
代表了 |
| |
健康問題。 零至50很好； |
| |
300-500很危險， |
| |
數據和目標的時間順序 |
| |
意味著我們應該能夠 |
| |
每天做一個預測 |
| |
基礎。所以我們使用的方法 |
| |
應該每天更新 |
| |
基礎。另一方面，如果 |
| |
我們的目標是弄清楚 |
| |
計算出這個AQI指數，然後我們 |
| |
並不受束縛 |
| |
分析的及時性。 |
| |
你知道，我們可以拿走我們的 |
| |
時間。沒有緊迫感 |
| |
進行分析 |
| |
每天 推廣性 |
| |
第六維，大約 |
| |
根據我們的發現 |
| |
考慮在哪裡可以 |
| |
更籠統地說， |
| |
所有其他人群 |
| |
情況。可以做到的 |
| |
憑直覺。 營銷經理們 |
| |
看過關於 |
| |
市場，我們稱它為A，可能 |
| |
已經了解了什麼 |
| |
對市場B的影響 |
| |
沒有數據。 誰是 |
| |
物理學家將能夠 |
| |
根據 |
| |
第一原理的技工 |
| |
沒有數據。 |
| |
因此，一些概論 |
| |
用數據完成。 這是 |
| |
統計基礎 |
| |
概括，我們從哪裡來 |
| |
樣本給人口。 |
| |
統計推斷是關於 |
| |
概括。我們概括 |
| |
從樣本到 |
| |
人口。有些可以 |
| |
換句話說， |
| |
利用專業知識，領域 |
| |
專業知識，不一定具備 |
| |
數據。我們必須認識到 |
| |
概括性不只是 |
| |
完成統計。 |
| |
第七維是 |
| |
構建可操作性 |
| |
真的是關於它是什麼 |
| |
我們測量的。 我們想 |
| |
評估行為，情緒，什麼 |
| |
是我們可以衡量的 |
| |
會給我們反映出的數據 |
| |
行為或情感。 |
| |
我在這裡給出的例子 |
| |
通常是痛苦。 |
| |
我們知道什麼是痛苦。 怎麼做 |
| |
我們可以衡量嗎？ 如果你去 |
| |
醫院，你問護士， |
| |
他們如何評估疼痛，他們 |
| |
會告訴你，我們有一個秤， |
| |
1至10 這是很 |
| |
定性的，不是很 |
| |
我會說科學的。 要是我們 |
| |
要測量的水平 |
| |
在...上的驅動程序中的酒精 |
| |
在路上，將很難 |
| |
措施。所以我們可以衡量 |
| |
速度作為替代指標。 |
| |
的另一部分 |
| |
運營化是另一個 |
| |
故事的結局。 其他 |
| |
話，第一部分， |
| |
結構就是我們要衡量的， |
| |
這反映了我們的目標。 的 |
| |
結束...最終結果是 |
| |
我們有發現，我們想 |
| |
跟他們做點事。 我們想要 |
| |
操作我們的發現。 |
| |
這是什麼動作 |
| |
可操作化即將到來。 |
| |
這是關於您對 |
| |
發現然後被 |
| |
在講台上呈現。 我們 |
| |
曾經問過三個問題。 |
| |
這些很重要 |
| |
要問的問題。 一旦有了 |
| |
做一些分析，你已經 |
| |
在你面前的人 |
| |
說，哦，非常感謝你， |
| |
完成...您，統計學家 |
| |
或數據科學家。 所以這 |
| |
這將使您跨出一步， |
| |
讓你問你的顧客 |
| 這些簡單的問題 |
做什麼 |
| |
你想完成？ 怎麼會 |
| |
你這樣做，你將如何 |
| |
知道你是否完成了 |
| |
那？ 我們可以幫助您回答，或者 |
| |
至少支持，其中一些 |
| |
我們已經回答的問題。 |
| |
第八維是 |
| |
溝通。我給你 |
| |
一個非常有名的老人的例子 |
| |
19世紀的地圖 |
| |
展示了 |
| |
拿破崙軍隊從法國到 |
| |
莫斯科飛往俄羅斯。 你看 |
| |
數字是寬度 |
| |
路徑指示大小 |
| |
軍隊，然後繼續 |
| |
黑色，你明白髮生了什麼事 |
| |
他們在回去的路上。 |
| |
所以基本上這是一個 |
| |
災難性的遊行。 我們我們我們我們 |
| |
可以將這張舊地圖與 |
| |
現有的地圖，並且有一個 |
| |
JMP加載項，您可以 |
| |
在JMP社區中找到 |
| |
向您展示泡泡圖， |
| |
動態氣泡圖說明了什麼 |
| |
看起來像。 所以我涵蓋了 |
| |
很快的八個信息 |
| |
質量尺寸。 我最後一次 |
| |
幻燈片就是我所說的 |
| |
關於歷史 |
| |
角度來看，真的放了一些 |
| |
與我所說的比例。 |
| |
我認為我們真的處在那個時代 |
| |
信息質量。 我們用了 |
| |
與產品有關 |
| |
在18世紀， |
| |
17世紀。 然後我們搬到 |
| |
流程質量和服務 |
| |
質量。這是一個簡短的備忘錄 |
| |
在提出控製圖時， |
| |
我認為是1924年。 |
| |
然後我們轉向管理 |
| |
質量。這是朱蘭 |
| |
設計，改進三部曲 |
| |
和控制。 六西格碼（定義為 |
| |
測量，分析，改進） |
| |
控製過程是 |
| |
Juran的改進過程， |
| |
朱蘭是曾祖父 |
| |
從這個意義上講是六個西格瑪。 |
| |
然後在80年代，田口進來了 |
| |
在。 他談到健壯 |
| |
設計。我們該如何處理 |
| |
適當地改變輸入 |
| |
設計決策？ 現在我們是 |
| |
信息時代 |
| |
質量。我們有傳感器。 我們 |
| |
擁有靈活的系統。 我們是 |
| |
取決於AI和機器 |
| |
學習和數據挖掘，我們 |
| |
大聚會大聚會 |
| |
數字，但我們稱之為大數字 |
| |
數據。對信息的興趣 |
| |
質量應該是首要的 |
| |
興趣。 我要嘗試 |
| |
在幫助下說服您 |
| |
克里斯的，那。 |
| |
我們在這裡，JMP可以 |
| |
幫助我們在 |
| |
真的很不尋常。 |
| |
您將在...末尾看到什麼 |
| |
克里斯將做的個案研究 |
| |
顯示也是如何做到的 |
| |
信息質量評估和 |
| |
在特定的研究中，基本上 |
| |
產生信息質量 |
| |
分數。所以，如果我們自上而下，我 |
| |
可以告訴你這項研究，這 |
| |
工作，這種分析可能是80％或 |
| |
可能是30％或95％。 |
| |
通過該示例，您將 |
| |
看看該怎麼做。 有一個 |
| |
JMP加載項提供了此功能 |
| |
評估。就是這樣 |
| |
相當容易。 有 |
| |
沒有什麼真正複雜的 |
| |
關於那個。 這樣我就完成了 |
| |
克里斯，在你之後。 謝謝，羅恩。 所以 |
| |
現在我要經歷 |
| |
以某種方式分析數據集 |
| |
明確指出 |
| |
信息的各個方面 |
| |
質量並展示JMP的性能 |
| |
用於評估改善 |
| |
用於InfoQ。 所以首先，我是 |
| |
要通過InfoQ |
| |
成分。第一個InfoQ |
| |
組件是目標，所以在 |
| |
這種情況下的問題陳述 |
| |
那是一家化學公司 |
| |
想要一種配方 |
| |
產品產量最大化，同時 |
| |
減少有害雜質 |
| |
是反應引起的 |
| |
因此，這是高級目標。 |
| |
用統計的話，我們想要 |
| |
找到一個準確的模型 |
| |
預測對數據的響應 |
| |
設置以便我們可以找到一個 |
| |
成分和 |
| |
可能導致的處理步驟 |
| |
更好的產品。 |
| |
數據設置在100 |
| |
實驗配方 |
| |
一種主要成分X1和 |
| |
10種添加劑。 還有一個 |
| |
13的加工係數 |
| |
回應。數據是 |
| |
完全捏造，但被 |
| |
模擬以說明相同 |
| |
的優點和缺點 |
| |
原始數據。 數據 |
| |
也制定了 |
| |
記錄下來。我們將看 |
| |
此數據緊密相關，所以我想 |
| |
詳細指出 |
| |
他們被收集在一個 |
| |
臨時更改一兩個 |
| |
一次添加而不是添加 |
| |
作為設計的或隨機的 |
| |
實驗。有很多 |
| |
分析這些數據的方法， |
| |
最典型的是最少 |
| |
正方形正向建模 |
| |
選擇選定的答案。 |
| |
那是我的初衷 |
| |
這個演講，但是當我展示 |
| |
數據交給羅恩，他立即 |
| |
識別響應列 |
| |
作為分析的時間序列 |
| |
化學。即使數據 |
| |
被模擬，他可以看到 |
| |
結構體。他看得到的東西 |
| |
在我沒有看到的數據中 |
| |
並沒有讀到它。 我發現 |
| |
這是驚人的 |
| |
感人的。 超越了 |
| |
討論的範圍，但是有 |
| |
一個更好的方法基於 |
| |
集成建模使用 |
| |
分數加權 |
| |
自舉。菲爾·拉姆西（Phil Ramsey） |
| |
韋恩·萊文和我還有另一個 |
| |
在下面談論這種方法 |
| |
歐洲發現 |
| |
今年的會議。 這 |
| |
這種方法很有希望，因為它 |
| |
可以使模型適合數據 |
| |
互動比 |
| |
有奔跑。 第四也是最後 |
| |
信息質量的組成部分 |
| |
是效用，這就是我們的水平 |
| |
能夠評估我們的目標。 或者 |
| |
我們如何衡量我們的表現 |
| |
評估了我們的目標？ 有一個 |
| |
在這方面的領域 |
| |
情況下，我們想要一個 |
| |
導致 |
| |
最大化產量並最小化 |
| |
廢物的後處理 |
| |
材料。統計 |
| |
分析實用程序是指 |
| |
我們適合的模型。 我們是什麼 |
| |
至少要去 |
| |
我們模型的平方精度 |
| |
我們能夠做到的條件 |
| |
預測...會發生什麼 |
| |
候選人的結果 |
| |
...的組合 |
| |
混合因素。 現在我要去 |
| |
經歷一系列問題 |
| |
構成詳細的InfoQ |
| |
評估組織成 |
| |
信息的八個維度 |
| |
質量。我想指出 |
| |
並非所有問題都會 |
| |
同等相關 |
| |
數據科學與統計 |
| |
項目，這不是 |
| |
原本是僵硬的教條，但 |
| |
而是一組東西 |
| |
問自己一個好主意。 |
| |
這些問題代表一種 |
| |
數據分析的智慧 |
| |
看起來比僅僅 |
| |
特定的應用 |
| |
統計技術。 複印件 |
| |
這些的電子表格 |
| |
問題以及指向的指針 |
| |
最重要的JMP功能 |
| |
對於回答一個有用的 |
| |
特定的一個將被上傳 |
| |
到JMP社區 |
| |
這個演講供您使用。 作為 |
| |
我繼續回答這些問題， |
| |
我將演示對 |
| |
JMP中的數據。 所以問題1 |
| 是 |
是使用的數據規模 |
| |
與既定目標保持一致？ 所以 |
| |
我們組成的X |
| |
單個類別變量 |
| |
處理和11連續 |
| |
輸入。 這些被測量 |
| |
作為百分比，也 |
| |
記錄到一半。 我們 |
| |
沒有...的總金額 |
| |
成分，只有 |
| |
百分比。總數是 |
| |
丟失的信息 |
| |
或從未記錄過。 有 |
| |
其他潛在的重要 |
| |
的一些信息是 |
| |
在這裡失踪。 兩次之間的時間 |
| |
制定批次和 |
| |
進行測量不見了 |
| |
可能還有其他 |
| |
協變量級信息 |
| |
在這裡會丟失 |
| |
描述了條件 |
| |
反應發生了。 |
| |
沒有比我更多的信息 |
| |
有，我不能說有多重要 |
| |
這種協變量信息 |
| |
本來可以。 我們確實有 |
| |
當天的信息 |
| |
批處理，因此可以用作 |
| |
可能是一個替代品。 總的來說，我們 |
| |
希望擁有最多的 |
| |
重要的投入，以及 |
| |
衡量我們的反應 |
| |
希望進行優化。 我們可以有 |
| |
有更多信息，但這 |
| |
看起來很有希望嘗試 |
| |
和分析。 第二 |
| |
與數據有關的問題 |
| |
分辨率是多麼可靠和 |
| |
精確的測量設備 |
| |
和數據源。 而事實 |
| |
是，我們沒有很多 |
| |
具體信息在這裡。 這 |
| |
統計學家內部 |
| |
公司本來會有更多 |
| |
信息。 在這種情況下，我們 |
| |
別無選擇，只能相信 |
| |
化學家製定並 |
| |
很好地記錄了混合物。 這 |
| |
有關數據的第三個問題 |
| 分辨率是 |
是數據 |
| |
適用於數據的分析 |
| |
聚合級別？ 和 |
| |
答案是肯定的，假設 |
| |
他們的測量系統是 |
| |
準確且數據準確 |
| |
足夠乾淨。 我們要去的 |
| |
最終做的實際上是 |
| |
我們將使用 |
| |
功能數據瀏覽器 |
| |
提取功能主體 |
| |
組件，這是一個數據 |
| |
派生類型的數據 |
| |
聚合。然後我們 |
| |
將要建模的那些 |
| |
功能主要成分 |
| |
使用輸入變量。 所以 |
| |
現在我們轉到數據 |
| |
結構尺寸和 |
| |
我們要問的第一個問題是 |
| |
所使用的數據與 |
| |
既定目標？ 我認為 |
| |
答案是肯定的。 是 |
| |
試圖最大化 |
| |
屈服。我們有測量 |
| |
那，輸入是 |
| |
記錄為Xs。 第二個數據 |
| |
結構問題在哪裡 |
| |
事情開始真正開始 |
| |
對我來說很有趣 所以這是 |
| |
是完整性的細節 |
| |
（異常值，缺失值，數據 |
| |
腐敗）問題，以及 |
| |
處理得當嗎？ 所以從 |
| |
在這裡我們可以使用JMP |
| |
了解異常值在哪裡 |
| |
是，找出策略 |
| |
缺失值怎麼辦， |
| |
觀察他們的模式等等 |
| |
在。所以這就是這裡 |
| |
事情會變得有點 |
| |
更有意思。 首先 |
| |
我們要做的是 |
| |
要確定是否有 |
| |
我們在數據中的任何異常值 |
| |
需要關注。 所以 |
| |
為此，我們要去 |
| |
進入探索異常值 |
| |
篩選平台 |
| |
菜單。我們將加載 |
| |
響應變量，並且因為 |
| |
這是一個多變量設置， |
| |
我們將使用一個新功能 |
| |
在JMP Pro 16中稱為Robust |
| |
PCA離群值。 所以我們看哪裡 |
| |
大的殘差在那些 |
| |
種帕累托類型的情節。 |
| |
有一個快照顯示 |
| |
有一些潛在的 |
| |
異常大的觀察結果。 一世 |
| |
真的不覺得這看起來 |
| |
對我來說太不尋常或令人擔憂。 |
| |
我們可以保存較大的離群值 |
| |
到數據表，然後查看 |
| |
他們在分發中 |
| |
平台以及我們所看到的 |
| |
看起來像正態分佈 |
| |
中間取出。 所以我 |
| |
認為這是 |
| |
來自相同的 |
| |
人口，什麼都沒有 |
| |
我真的很擔心這裡 |
| |
異常值。 所以一旦我們 |
| |
照顧異常值 |
| |
我們去探索的情況 |
| |
缺失值。 所以我們是 |
| |
首先要做的是我們要 |
| |
將Ys加載為... |
| |
平台，然後我們要去 |
| |
使用缺失值 |
| |
快照看什麼模式 |
| |
他們是我們的失踪者 |
| |
價值觀。 看起來像 |
| |
缺少值往往發生在 |
| |
水平簇，還有 |
| |
缺失值也一樣 |
| |
跨行。 所以你可以看到 |
| |
黑色斑點在這裡。 |
| |
然後我們去申請 |
| |
自動數據插補 |
| |
前進並節省 |
| |
估算的公式列 |
| |
在新值中缺少值 |
| |
使用回歸類型的列 |
| |
由...開發的算法 |
| |
我的博士生米洛（Milo） |
| |
位於NC State的頁面。 這樣我們就可以玩 |
| |
大約一點，並得到一個 |
| |
ADI的感覺如何 |
| |
算法正在運行。 所以是 |
| |
創建了這些公式列 |
| |
剝落的元素 |
| |
ADI估算列 |
| |
向量公式欄， |
| |
評分歸因函數 |
| |
正在計算預期 |
| |
給定的缺失單元格的值 |
| |
不丟失的單元格，無論何時 |
| |
它有一個缺失的值。 這是 |
| |
只是通過一個非 |
| |
缺失值。 這樣你就可以看到207 |
| |
在YO ... Y6那裡。 最初是 |
| |
207但後來我將其更改為 |
| |
失踪了，現在正在 |
| |
推測是234。 |
| |
所以我會做幾次 |
| |
你可以看一下它是怎麼回事 |
| |
在職的。所以在這裡我會放一個大 |
| |
Y7的值，就是現在。 |
| |
被替換了。 如果我們下去 |
| |
然後添加一行 |
| |
然後所有缺失值都在那裡 |
| |
最初，列的意思是 |
| |
被替換為 |
| |
歸因。 如果我要去 |
| |
並為其中一些增加價值 |
| |
那些丟失的細胞，它將 |
| |
開始做有條件的 |
| |
對仍然缺少的期望 |
| |
單元格使用信息 |
| |
那是在失踪的那個... |
| |
不容錯過的。 所以我們的下一個 |
| |
關於數據結構的問題是 |
| |
是分析方法 |
| |
是否適合數據結構？ |
| |
所以我們有11個混合輸入 |
| |
還有一個處理變量 |
| |
絕對的。那些要去 |
| |
至少要投入 |
| |
方型模型。 我們有 |
| |
13個持續響應和 |
| |
我們可以使用...進行建模 |
| |
單獨使用最少 |
| |
方塊。或者我們可以建模 |
| |
功能主體 |
| |
成分。 ...現在有 |
| |
問題。 X是... |
| |
輸入變量尚未 |
| |
完全隨機。 這是很 |
| |
清楚他們會爛掉 |
| |
與一個或多個 |
| |
化合物然後移動 |
| |
到另一個。 所以 |
| |
順序 |
| |
輸入變量是變化的 |
| |
有點偶然。 它是 |
| |
明顯缺乏隨機性，並且 |
| |
這將帶來負面影響 |
| |
影響我們的...概論 |
| |
和我們結論的力量。 |
| |
數據集成是第三 |
| |
InfoQ維度。 這些數據 |
| |
手動輸入的實驗記錄 |
| |
主要由混合物組成 |
| |
百分比和設備 |
| |
讀數。我們只能假設 |
| |
輸入數據 |
| |
正確的，X是 |
| |
正確地與回應保持一致。 |
| |
如果不是這種情況，那麼 |
| |
模式將有嚴重的偏見 |
| |
問題和有 |
| |
普遍性問題。 |
| |
集成更成問題 |
| |
帶有觀測數據 |
| |
機器中的科學問題 |
| |
學習練習，而不是實驗室 |
| |
這樣的實驗。 雖然 |
| |
它不適用於這裡，我會 |
| |
指出隱私和 |
| |
保密問題可以是 |
| |
通過建模確定 |
| |
數據的敏感部分使用 |
| |
要發布的組件 |
| |
在數據上。 如果產生 |
| |
模型是預測的，那麼一個 |
| |
應關注隱私 |
| |
擔心沒有得到滿足。 顳 |
| |
相關性是指 |
| |
的操作時間排序 |
| |
數據收集，分析和 |
| |
部署以及是否存在差距 |
| |
在這些階段之間導致 |
| |
降低了 |
| |
研究中的信息。 |
| |
在這種情況下，我們只能 |
| |
希望物資供應 |
| |
合理地一致並且 |
| |
測試設備是 |
| |
相當準確，這是 |
| |
不可驗證的假設 |
| |
觀點。時間分辨率我們 |
| |
有什麼時候收集數據的 |
| |
在一天的水平上，這意味著 |
| |
沒有太多的方法 |
| |
我們可以驗證是否有時間 |
| |
每天都有變化。 |
| |
按時間順序排列的數據和目標是 |
| |
關於...的可用性 |
| |
相關變量 |
| |
變量是否為 |
| |
存在於數據中或 |
| |
信息是否正確 |
| |
當模型 |
| |
已部署。 為了預測 |
| |
模型，這與模型有關 |
| |
適合於類似於 |
| |
當時會出現什麼 |
| |
該模型將在 |
| |
新數據。 這樣，我們的數據 |
| |
設置當然很好。 為了 |
| |
建立因果關係， |
| |
我們的表現差強人意 |
| |
形狀因為缺乏 |
| |
隨機化意味著時間 |
| |
影響和因素影響 |
| |
感到困惑，導致偏見 |
| |
在我們的估計中。 內生性 |
| |
或反向因果關係，可能 |
| |
顯然在這裡是一個問題，因為 |
| |
像溫度和溫度這樣的變量 |
| |
反應時間顯然可以是 |
| |
影響響應，但有 |
| |
未被記錄。 全面的， |
| |
有很多我們不知道的 |
| |
關於這個尺寸 |
| |
信息質量意識。 |
| |
其餘的InfoQ |
| |
評估將是 |
| |
取決於類型 |
| |
我們所做的分析。 所以在這個 |
| |
點，我要繼續前進， |
| |
對這些數據進行分析 |
| |
使用功能數據 |
| |
JMP Pro中的Explorer平台 |
| |
這使我可以跨模型 |
| |
所有列同時 |
| |
以某種方式 |
| |
功能主要成分， |
| |
其中包含最大數量 |
| |
所有這些中的信息 |
| |
如中所示的列 |
| |
最有效的格式。 |
| |
我要去做 |
| |
列的估算版本 |
| |
我之前在 |
| |
介紹。我要去 |
| |
指出我將成為 |
| |
努力尋找以下的組合 |
| |
達到的混合因素 |
| |
盡可能緊密地 |
| |
最小二乘感，理想 |
| |
由創建的曲線 |
| |
最大限度地提高 |
| |
潛在產品的數量 |
| |
可能會批量 |
| |
最小化 |
| |
他們的雜質 |
| |
現實地認為一批 |
| |
可能包含。 所以我開始 |
| |
通過分析來進行分析 |
| |
菜單，調出功能 |
| |
數據瀏覽器。 這具有作為的行 |
| |
功能。我要裝我的 |
| |
估算行，然後我要去 |
| |
把我的公式 |
| |
組件和我的處理 |
| |
專欄作為補充 |
| |
多變的。 我們有一個ID |
| |
功能，即批次ID。 我在這 |
| |
進來。 我可以看到這些功能， |
| |
完全覆蓋 |
| |
我可以看到各個功能。 |
| |
然後我可以加載目標 |
| |
功能，這是理想的。 |
| |
這將改變 |
| |
一旦我分析結果 |
| |
開始進入建模 |
| |
腳步。所以這些很漂亮 |
| |
簡單的功能，所以我只是 |
| |
要用它們來建模 |
| |
B樣條。 |
| |
然後我要進入我的 |
| |
功能DOE分析。 |
| |
這將適合模型 |
| |
將輸入連接到 |
| |
功能主體 |
| |
組件，然後連接所有 |
| |
通過的方式 |
| |
本徵函數使其如此 |
| |
我們能夠恢復 |
| |
整體功能 |
| |
改變了，因為我們正在改變 |
| |
混合因素。 這 |
| |
功能主要成分 |
| |
分析表明 |
| |
有四個維度 |
| |
這些反應的差異 |
| |
功能。要了解什麼 |
| |
他們的意思是，讓我們繼續前進， |
| |
使用FPC分析器進行探索。 |
| |
因此，請在此處觀看此窗格 |
| |
我調整了FPC 1，我們可以看到 |
| |
該FPC與之相關聯 |
| |
峰高。 FPC2，看起來 |
| |
就像是一個高峰 |
| |
狹窄。幾乎就像一個 |
| |
決議負責人 |
| |
成分。第三個是 |
| |
與膝關節有關 |
| |
主導峰的左側。 |
| |
峰4看起來像是 |
| |
主要與 |
| |
雜質，這就是 |
| |
潛在的意思是 |
| |
這四個功能 |
| |
主要成分。 |
| |
因此，我們已經確定了我們的目標 |
| |
作為最大化產品和 |
| |
盡量減少雜質，以及 |
| |
我們已經將其傳達給了 |
| |
通過這種理想進行分析或 |
| |
我們提供的黃金曲線 |
| |
FDE的開始 |
| |
我們正在做的運動。 為了得到 |
| |
盡可能接近理想 |
| |
曲線，我們打開期望 |
| |
功能。然後我們可以去 |
| |
並最大程度地提高需求。 |
| |
我們發現最優 |
| |
輸入的組合大約是 |
| |
4.5％的 |
| |
成分四，佔2％ |
| |
成分6.的2.2％ |
| |
成分8和1.24％ |
| |
成分9使用處理 |
| |
方法二。 讓我們回顧一下 |
| |
我們到了這裡。 我們先 |
| |
計算了丟失的響應 |
| |
列。然後我們發現了B樣條 |
| |
符合這些功能的模型 |
| |
在FDE平台上很好。 一種 |
| |
功能主要成分 |
| |
分析確定那裡 |
| |
有四個本徵函數 |
| |
表徵變化 |
| |
這個數據。 這四個 |
| |
確定本徵函數 |
| |
通過FPC分析器向每個 |
| |
有一個合理的主題 |
| |
物質意義。 功能性 |
| |
DOE分析包括 |
| |
申請修剪 |
| |
選擇每個 |
| |
使用 |
| |
DOE因子作為輸入變量。 |
| |
我們在這裡看到這些 |
| |
找到的組合 |
| |
相互作用和主要作用 |
| |
最能預測的 |
| |
每個功能主體 |
| |
組件分別得分。 |
| |
功能DOE Profiler |
| |
優雅地捕捉了所有 |
| |
方面合而為一 |
| |
這樣我們就可以找到 |
| |
配方加工步驟 |
| |
預計有理想的 |
| |
性能由高 |
| |
產量高，雜質少。 |
| |
所以現在我們可以做一個InfoQ |
| |
評估 |
| |
數據的通用性 |
| |
分析。 所以在這種情況下 |
| |
我們對 |
| |
科學概論 |
| |
實驗者是一個很深的 |
| |
知識淵博的化學家的工作 |
| |
與這個化合物。 所以我們 |
| |
將會更多地依靠 |
| |
他們的學科專長 |
| |
然後根據統計原理 |
| |
和假設檢驗之類的工具 |
| |
等等。 目標是 |
| |
主要是預測性的，但 |
| |
概括性是一種 |
| |
有問題的，因為 |
| |
實驗不是設計好的。 我們的 |
| |
估計互動的能力 |
| |
對於諸如 |
| |
前向選擇和不可能 |
| |
通過最小二乘分析 |
| |
完整的模型。 因為 |
| |
研究不是隨機的， |
| |
可能是未記錄的時間 |
| |
訂單效果。 我們沒有 |
| |
潛在重要的協變量 |
| |
諸如溫度和 |
| |
反應時間。 這創造了 |
| |
另一個大問號 |
| |
關於可概括性。 |
| |
重複性和 |
| |
研究的可重複性是 |
| |
這裡也是一個未知數 |
| |
沒有有關的信息 |
| |
由於 |
| |
測量系統。 幸運的是， |
| |
我們確實有像JMP這樣的工具 |
| |
評估設計以了解 |
| |
現有設計以及 |
| |
增強設計，可以大大 |
| |
增強泛化 |
| |
分析性能。 |
| |
增強可以改善信息 |
| |
關於主要效果和 |
| |
互動和第二輪 |
| |
實驗的可能是 |
| |
隨機化也增強 |
| |
概括性。所以現在我 |
| |
要經歷幾個 |
| |
簡單的步驟來展示如何 |
| |
提高泛化 |
| |
我們的研究表現 |
| |
JMP中的設計工具。 於我之前 |
| |
這樣做，我想指出 |
| |
我必須要拿數據 |
| |
轉換它，以便 |
| |
比例而不是 |
| |
個百分比。否則設計 |
| |
工具並沒有真正達成共識 |
| |
數據非常好。 所以我們 |
| |
進入評估設計師 |
| |
然後加載Ys和 |
| |
我們的Xs。 我要求有能力 |
| |
處理二階互動。 |
| |
然後...是的，我收到了此警報 |
| |
說，嘿，我做不到 |
| |
因為我們無法 |
| |
估計所有互動 |
| |
一次給出一個因素 |
| |
我們擁有的數據。 所以我支持 |
| |
向上。我們去增援 |
| |
設計師，加載所有內容， |
| |
設置增強。 我們會選擇，而我- |
| |
最佳設計，因為我們 |
| |
真的關心 |
| |
此處的預期效果。 |
| |
和我 |
| |
將運行次數設置為148。 |
| |
定制設計師要求 |
| |
最少141，但我去了 |
| |
148只是為了確保 |
| |
我們有能力 |
| |
估計我們所有的互動 |
| |
挺好的。 之後，它 |
| |
大約需要20秒 |
| |
構建設計。 所以現在 |
| |
我們有設計，我是 |
| |
要顯示兩個最 |
| |
重要的診斷工具 |
| |
的擴充設計師 |
| |
評估設計。 在 |
| |
左，我們有分數 |
| |
設計空間圖。 這是 |
| |
顯示出50％的音量 |
| |
設計有 |
| |
預測方差為 |
| |
小於1。 所以1將是 |
| |
等於剩餘 |
| |
錯誤。這樣我們就可以 |
| |
優於測量誤差 |
| |
的質量預測 |
| |
大部分的設計。 在 |
| |
好的，我們有顏色圖 |
| |
相關性。這表明 |
| |
我們能夠估計 |
| |
一切都很好。 有 |
| |
一些...因為混合 |
| |
約束，我們得到一些 |
| |
兩者之間的強相關性 |
| |
相互作用和主要影響。 |
| |
總體來說，效果還算不錯 |
| |
乾淨的。互動是 |
| |
很好地與一個人分開 |
| |
另一個，主要的影響 |
| |
與 |
| |
彼此之間也是如此。 後 |
| |
看設計 |
| |
診斷，我們可以使 |
| |
桌子。在這裡，我展示了 |
| |
增程的前13個 |
| |
我們看到我們有...我們 |
| |
有更多的隨機性。 我們不 |
| |
具有相同的主要作用 |
| |
一遍又一遍的條紋。 |
| |
那是更好的證據 |
| |
隨機和整體 |
| |
設計將能夠 |
| |
更好地估計主要 |
| |
具有的影響和相互作用 |
| |
收到更好，更高的質量 |
| |
第二階段的信息 |
| |
實驗。 所以輸入 |
| |
變量Xs是準確的 |
| |
混合物的表示 |
| |
比例，所以這很明顯 |
| |
客觀利益。 這 |
| |
回應接近 |
| |
產品的數量 |
| |
和其中的雜質含量 |
| |
批次。 我們在 |
| |
7.1。那裡。 理由 |
| |
很清楚 學習之後，我們 |
| |
當然可以去準備一個 |
| |
配方即批次 |
| |
FDOE的建議 |
| |
探查器。試試看，看是否 |
| |
我們得到了那種 |
| |
我們一直在尋找的表現 |
| |
為了。很明顯， |
| |
就是我們可以的方式 |
| |
評估我們取得的成績 |
| |
我們的學習目標。 所以現在在 |
| |
最後一個InfoQ維度 |
| |
溝通。 通過描述 |
| |
理想曲線為目標 |
| |
功能，功能DOE |
| |
Profiler制定了目標， |
| |
分析晶體的結果 |
| |
清除。但這可以表示 |
| |
輕鬆的水平 |
| |
由化學家解釋和 |
| |
研發機構的經理。 |
| |
正如我們已經完成的， |
| |
信息質量評估， |
| |
我們一直在預先 |
| |
的優點和缺點 |
| |
研究設計和數據 |
| |
收藏。如果結果呢 |
| |
不能一概而論，我們當然 |
| |
知道在哪裡尋找 |
| |
問題出在。 一旦你成為 |
| |
熟悉這些概念， |
| |
有一個不錯的插件 |
| |
您可以使用伊恩·考克斯（Ian Cox）的作品 |
| |
快速進行定量的InfoQ |
| |
評估。加載項有 |
| |
上下滑塊 |
| |
每個InfoQ維度的邊界。 |
| |
這些尺寸組合在一起 |
| |
使用合意函數 |
| |
整體間隔法 |
| |
左側的InfoQ。 |
| |
這是對 |
| |
我介紹的數據和分析 |
| |
此演示文稿。 加載項是 |
| |
也是一個有用的思維工具 |
| |
將使您考慮每個 |
| |
InfoQ維度。 這也是 |
| |
實用的交流方式 |
| |
InfoQ評估給您 |
| |
客戶或您的管理層， |
| |
它提供了一個高層次的觀點 |
| |
信息質量無 |
| |
使用很多技術 |
| |
概念和行話。 加載項 |
| |
也是有用的基礎 |
| |
InfoQ比較。 我的 |
| |
對此的最初希望 |
| |
演講要有點 |
| |
更有野心。 我曾希望 |
| |
涵蓋我的分析 |
| |
剛剛經歷了，以及 |
| |
另一個更簡單的，我跳過的地方 |
| |
輸入響應並做 |
| |
一個簡單的多元線性 |
| |
響應的回歸模型 |
| |
列。今天，我只能 |
| |
提供對此的最終評估 |
| |
方法。如你看到的， |
| |
幾個InfoQ |
| |
尺寸受到很大影響 |
| |
沒有更複雜的 |
| |
分析。很清楚 |
| |
簡單的分析導致 |
| |
InfoQ得分要低得多。 |
| |
簡單的上限 |
| |
分析沒有那麼高 |
| |
比下限的多 |
| |
精巧的一位。 和 |
| |
經驗，你會得到 |
| |
關於什麼是好的InfoQ的直覺 |
| |
分數適用於數據科學 |
| |
您所在行業的項目，以及 |
| |
當你養成更好的習慣 |
| |
將不再視而不見 |
| |
您的信息瓶頸 |
| |
數據收集，分析和 |
| |
模型部署。 信息 |
| |
易於使用的質量 |
| |
界面。 這是我的第一次 |
| |
正式信息質量 |
| |
評估。為我自己說話 |
| |
信息質量 |
| |
框架給出了文字和 |
| |
結構很多東西我 |
| |
已經本能地知道了。 它 |
| |
已經改變了我的方式 |
| |
進行新數據分析 |
| |
項目。我鼓勵你去 |
| |
通過這個過程，你自己 |
| |
您自己的數據，即使該數據 |
| |
分析已經非常 |
| |
對你很熟悉。 我保證 |
| |
你會變得更聰明， |
| |
更高效的數據科學家 |
| |
因為它。 謝謝你。 |
爆發美國能源部預測建模
