利用資訊品質 (InfoQ) 和 JMP® (2021-EU-45MP-750) 最大化資料科學成功 Ron Kenett，KPA集團和以色列理工學院塞繆爾·尼曼研究所主席
Christopher Gotwalt，SAS 統計研發部 JMP 總監
數據分析——從設計實驗、廣義回歸到機器學習——正在加速部署。同時，對研究結果可重複性和p值解釋缺陷的擔憂表明，即使是出於好意的統計分析也可能導致錯誤的結論和糟糕的決策。為了使數據分析項目能夠正確實現其目標，必須評估基於現有數據和工具得出結論的範圍和強度。這種對統計策略的關注需要一個框架來隔離專案的各個組成部分：目標、資料收集程序、資料屬性、提供的分析等等。 InfoQ框架提供了進行此類評估的結構化程序。此外，在JMP中操作InfoQ也非常簡單。在本演講中，我們將概述InfoQ，並提供來自消費者研究和製藥行業的用例，以說明如何使用JMP進行InfoQ評估，並重點介紹InfoQ水平高和低的情況。我們還將提供一些技巧，展示如何透過增強研究設計來使用JMP來提高資訊質量，而無需獲取更多數據。本次演講針對的是統計學家、機器學習專家和資料科學家，他們的工作是將數字轉化為資訊。
自動產生的成績單...
| 揚聲器 |
抄本 |
| |
你好。 |
| |
我叫 Ron Kenett。 |
| |
與克里斯的聯合談話 |
| |
Gotwalt 和我們基本上 |
| |
有兩條訊息 |
| |
應該從 |
| |
談話。一是我們應該 |
| |
真正關心 |
| |
資訊和資訊 |
| |
品質.人們傾向於談論 |
| |
關於數據和數據質量，但是 |
| |
數據其實不是問題。 |
| |
我們是統計學家。我們是 |
| |
數據科學家。我們把數字， |
| |
數據轉化為訊息， |
| |
我們的目標應該是確保 |
| |
我們生產高品質的 |
| |
資訊.另一則訊息 |
| |
JMP 可以幫助您 |
| |
實現這一點，這就是 |
| |
實際上是 |
| |
令人驚訝的方式。因此，透過結合 |
| |
Chris 的專業知識和 |
| |
資訊介紹 |
| |
質量，我們希望這兩個 |
| |
訊息將會傳達 |
| |
顯然。所以如果我必須 |
| |
總結一下我們 |
| |
畢竟， |
| |
一切都與資訊有關 |
| |
品質.我曾在 |
| |
在布拉格峰會上四年 |
| |
之前，那次談話很普通。 |
| |
它談到了移動 |
| |
從設計開始，品質之旅。 |
| |
我的信息之旅 |
| |
品質.在本次演講中，我們將重點放在 |
| |
關於如何做到這一點 |
| |
JMP。這是一個更詳細的 |
| |
和技術討論比 |
| |
我在布拉格發表的一般性演講。 |
| |
你可以觀看那次演講。 |
| |
這裡有一個連結。你可以 |
| |
在 JMP 社區上找到它。 |
| |
所以我們要討論 |
| |
資訊品質 |
| |
數據集的潛力， |
| |
特定的數據集，實現 |
| |
特定目標，具體目標， |
| |
採用給定的經驗方法。 |
| |
所以在這個定義中我們有 |
| |
三個組成部分 |
| |
列出。一個是某些數據 |
| |
集。這是數據。 |
| |
第二個是目標， |
| |
分析的目的是什麼 |
| |
這是我們想要實現的目標。 |
| |
第三個問題是我們將如何 |
| |
做那個，也就是說，用什麼 |
| |
我們將要產生的方法 |
| |
訊息，以及潛在的 |
| |
將與 |
| |
效用函數。我會 |
| |
首先介紹 |
| |
資訊質量，然後 |
| |
克里斯將接任， |
| |
討論案例研究和 |
| |
向你展示如何進行 |
| |
資訊品質評估。 |
| |
最終這應該 |
| |
回答 JMP 如何 |
| |
支援 InfoQ， |
| |
將是要點 |
| |
你可以...帶走的要點 |
| |
來自談話。 |
| |
這是我們鼓勵 |
| |
我稱之為生命週期視圖 |
| |
統計。換句話說， |
| |
不僅僅是數據分析。 |
| |
我們應該知道...我們應該成為其中的一部分 |
| |
問題引出 |
| |
階段。此外，目標 |
| |
制定階段，值得 |
| |
討論。我們應該 |
| |
顯然參與 |
| |
數據收集方案 |
| |
透過實驗或透過 |
| |
透過調查或觀察 |
| |
數據。那我們還應該 |
| |
制定 |
| |
發現，而不僅僅是拉出來 |
| |
列印報告 |
| |
迴歸係數 |
| |
估計和及其 |
| |
意義重大，但我們應該 |
| |
還討論了 |
| |
發現？操作化 |
| |
研究結果意味著，好吧，我們能做什麼 |
| |
這些發現有什麼用？ |
| |
的影響 |
| |
發現？這應該應該… |
| |
需要傳達給 |
| |
用正確的方式找到對的人， |
| |
最後我們應該要做一個 |
| |
影響評估來弄清楚， |
| |
好的，我們做了所有這些； |
| |
增加了我們的價值 |
| |
工作？我談論了生活 |
| |
你的統計週期是幾年 |
| |
之前。這是先決條件， |
| |
觀點是什麼 |
| |
我要談論的是。所以我 |
| |
提及的訊息 |
| |
品質是 |
| |
特定的數據集來實現 |
| |
使用給定的特定目標 |
| |
實證分析方法。這 |
| |
透過四個來識別 |
| 成分 |
目標、數據、 |
| |
分析方法，以及 |
| |
效用度量。因此，在 |
| |
數學表達式， |
| |
將 f 應用於 x 的效用， |
| |
目標的條件是我們如何 |
| |
識別 InfoQ，信息 |
| |
品質.本文發表於 |
| |
英國皇家統計學會 |
| |
2013 年 A 輪融資，共有 8 人 |
| |
討論者，因此 |
| |
討論過。有些人認為 |
| |
這太棒了，有些 |
| |
人們對 |
| |
這個想法，所以這是一個更廣泛的 |
| |
範圍考慮什麼 |
| |
統計是關於。我們也 |
| |
2006年寫的，我們見面了 |
| |
和 Galit Shmueli 的一本書，名為 |
| |
資訊品質。 |
| |
資訊背景 |
| |
我們做到了所謂的 |
| |
解構主義。 David Hand 有 |
| |
一篇名為《解構》的論文 |
| |
統計學。這是 |
| |
資訊解構 |
| |
質量分為八個維度。我 |
| |
將涵蓋這八個維度。 |
| |
這就是我的演講內容 |
| |
然後克里斯將展示如何 |
| |
在特定情況下實施 |
| |
案例研究。 |
| |
另一個方面涉及 |
| |
這是我的另一本書。 |
| |
這是最近的事，一年前 |
| |
標題為《數據的真正作用》 |
| |
科學和我們談論什麼 |
| |
數據的作用 |
| |
組織中的科學家和 |
| |
在此背景下，我們強調 |
| |
對資料科學家的需求 |
| |
參與這一代 |
| |
訊息作為...訊息 |
| |
品質滿足目標 |
| |
組織。所以讓我 |
| |
覆蓋八個維度。也就是 |
| |
這就是我的介紹。 |
| |
第一個是資料解析。我們 |
| |
有一個目標。好的，我們會的 |
| |
想知道流感的嚴重程度 |
| |
因為在該國或在 |
| |
我們居住的地區，因為 |
| |
將影響我們的決定 |
| |
是否去公園 |
| |
我們可以去見人或 |
| |
去聽一場爵士音樂會。 |
| |
音樂會是明天。 |
| |
如果我們查閱 CDC 數據 |
| |
流感的程度，這些數據 |
| |
每週更新，以便我們能夠 |
| |
圖中的紅線 |
| |
擺在你面前，所以我們 |
| |
可以取得幾天的數據 |
| |
以前，也許好，也許不好 |
| |
足夠我們買黃金了。谷歌流感， |
| |
基於搜尋 |
| |
與流感有關，已更新 |
| |
暫時更新 |
| |
在線，它可能會給 |
| |
給我們更好的資訊。因此對於 |
| |
我們的目標，藍線， |
| |
谷歌趨勢…谷歌流感 |
| |
趨勢指標，可能是 |
| |
更合適。第二個 |
| |
維度是資料結構。 |
| |
為了實現我們的目標，我們將 |
| |
看看數據。我們應該…我們 |
| |
應該識別資料來源 |
| |
以及這些數據的結構 |
| |
來源。因此一些數據可能 |
| |
文本，一些可能是視頻，一些 |
| |
例如， |
| |
推薦網路。這 |
| |
亞馬遜圖片是怎樣的？ |
| |
你看這本書，你 |
| |
去買一些 |
| |
其他推薦的書籍。如果 |
| |
你去看其他的書， |
| |
你將獲得更多數據 |
| |
推薦。因此數據 |
| |
結構可以有多種形式 |
| |
形狀和形式，這可以 |
| |
是文本。這可以是功能性的 |
| |
數據。這可以是圖像。我們 |
| |
現在不再侷限於我們過去 |
| |
呼叫數據，這就是你 |
| |
在 Excel 電子表格中尋找。 |
| |
資料可能已損壞， |
| |
可能有缺失值，可能 |
| |
有不尋常的圖案 |
| |
這將是 |
| |
一些值得研究的東西。一些 |
| |
模式，事物所在的地方 |
| |
重複。也許一些數據 |
| |
這只是複製和貼上，我們 |
| |
希望得到警告 |
| |
這樣的選項。第三個 |
| |
維度是資料集成。 |
| |
當我們考慮來自 |
| |
這些不同的來源，我們 |
| |
將它們整合起來，所以我們 |
| |
可以做一些分析鏈接 |
| |
透過 ID。例如，我們 |
| |
會這麼做，但這麼做的時候， |
| |
我們可能會產生一些問題，因為 |
| |
例如，在披露資料時 |
| |
通常應該 |
| |
匿名化。數據 |
| |
整合，是的，那將會 |
| |
讓我們做奇妙的事情， |
| |
但如果數據被認為 |
| |
有一定的隱私暴露 |
| |
問題，那麼可能是質量 |
| |
來自 |
| |
我們將要進行的分析 |
| |
將會是 |
| |
受到影響。因此數據集成 |
| |
應該非常非常仔細地調查 |
| |
小心謹慎。這就是人們 |
| |
可能用來呼叫 ETL |
| |
提取、轉換和載入。我們 |
| |
現在有更好的方法 |
| |
這樣做。對於 |
| |
例如，在 JMP 中將提供 |
| |
執行此操作的選項。 |
| |
時間相關性。好的，這是 |
| |
非常清楚。我們有數據。 |
| |
蓋章。如果我們要去 |
| |
稍後再進行分析 |
| |
數據收集後， |
| |
如果我們的部署 |
| |
考慮是甚至更晚，那麼 |
| |
數據可能不是暫時的 |
| |
相關的。在一個共同的 |
| |
情況，如果我們想比較 |
| |
現在發生了什麼，我們會 |
| |
喜歡能夠做到這一點 |
| |
與最近的數據進行比較或 |
| |
疫情前的數據 |
| |
開始，但不是 10 年 |
| |
早些時候。官方統計數據 |
| |
在健康記錄上曾經有兩個 |
| |
或落後三年 |
| |
時機，這使得它非常 |
| |
難以使用官方 |
| |
評估中的統計 |
| |
發生了什麼事 |
| |
大流行。數據和 |
| |
目標與決策相關 |
| |
這是我們 |
| |
目標。例如，如果我們的 |
| |
目標是預測空氣質量， |
| |
我們將使用一些 |
| |
空中預測模型 |
| |
品質指數報告 |
| |
每天。這給了我們一個 |
| |
六個等級從危險到 |
| |
很好。有一些價值觀 |
| |
代表著 |
| |
健康問題。 0-50 是好的； |
| |
300-500 是危險的， |
| |
數據和目標的時間順序 |
| |
意味著我們應該能夠 |
| |
每日預測 |
| |
基礎。所以我們使用的方法 |
| |
應該每天更新 |
| |
基礎。另一方面，如果 |
| |
我們的目標是弄清楚 |
| |
這個 AQI 指數計算出來後，我們 |
| |
並不真正受 |
| |
分析的及時性。 |
| |
你知道，我們可以 |
| |
時間。沒有緊迫感 |
| |
完成分析 |
| |
日常。普遍性， |
| |
第六維度，大約是 |
| |
採取我們的調查結果並 |
| |
考慮到這可能 |
| |
更普遍地應用， |
| |
其他人群，所有 |
| |
情況。這可以做到 |
| |
直覺上。行銷經理 |
| |
看過一項關於 |
| |
市場，我們稱之為 A，可能 |
| |
已經了解什麼是 |
| |
對市場 B 的影響 |
| |
沒有數據。 |
| |
物理學家將能夠 |
| |
根據以下因素做出預測 |
| |
第一原理力學 |
| |
沒有沒有數據。 |
| |
因此，一些普遍性 |
| |
用數據完成。這是 |
| |
統計基礎 |
| |
概括，我們從哪裡開始 |
| |
樣本到總體。 |
| |
統計推論是關於 |
| |
概括。我們概括 |
| |
從樣本到 |
| |
人口。有些可以 |
| |
基於領域，換句話說， |
| |
運用專業知識、領域 |
| |
專業知識，不一定 |
| |
數據。我們必須認識到 |
| |
普遍性不僅僅是 |
| |
用統計方法完成。 |
| |
第七次元是 |
| |
構造操作化， |
| |
這實際上是關於它是什麼 |
| |
我們測量的。我們想要 |
| |
評估行為、情緒、什麼 |
| |
我們可以測量， |
| |
將為我們提供反映 |
| |
行為或情緒。 |
| |
我在這裡給出的例子 |
| |
通常是疼痛。 |
| |
我們知道什麼是痛苦。 |
| |
我們測量一下嗎？如果你去 |
| |
醫院，你問護士， |
| |
你如何評估疼痛，他們 |
| |
會告訴你，我們有一個秤， |
| |
1 到 10。這非常 |
| |
品質不太好 |
| |
我想說，科學。如果我們 |
| |
想要衡量 |
| |
司機體內的酒精含量… |
| |
這條路，將會很困難 |
| |
測量。所以我們可以測量 |
| |
速度作為替代指標。 |
| |
另一部分 |
| |
操作化是另一個 |
| |
故事結束了。換句話說 |
| |
單字，第一部分， |
| |
構造就是我們測量的， |
| |
這反映了我們的目標。 |
| |
結束...最終的結果是 |
| |
我們有發現，我們想要 |
| |
對他們做些什麼。我們想要 |
| |
來實現我們的發現。 |
| |
這就是行動 |
| |
操作化即將到來。 |
| |
這取決於你如何處理 |
| |
發現，然後 |
| |
呈現在講台上。我們 |
| |
用來問三個問題。 |
| |
這些都非常重要 |
| |
問題。一旦你 |
| |
做了一些分析，你已經 |
| |
你面前的某個人 |
| |
說，哦，非常感謝， |
| |
你完成了…你，統計學家 |
| |
或資料科學家。所以這 |
| |
這需要你多走一步， |
| |
讓你問你的客戶 |
| 這些簡單的問題 |
做什麼 |
| |
你想實現什麼目標？ |
| |
你這樣做了，你又將如何 |
| |
知道你是否已經完成 |
| |
那？我們可以幫忙回答，或者 |
| |
至少支持其中一些 |
| |
我們已經回答過的問題。 |
| |
第八維度是 |
| |
溝通。我給你一個 |
| |
舉一個非常著名的古老例子 |
| |
19 世紀的地圖， |
| |
正在展示 |
| |
拿破崙軍隊從法國到 |
| |
莫斯科到俄羅斯。你看 |
| |
數字是寬度 |
| |
路徑表示大小 |
| |
軍隊，然後繼續 |
| |
黑色你看到發生了什麼 |
| |
他們正在回來的路上。 |
| |
所以基本上這是一個 |
| |
災難性的遊行。我們我們我們我們 |
| |
可以將這張舊地圖與 |
| |
現有的地圖，並且有一個 |
| |
JMP 插件，您可以 |
| |
在 JMP 社群上尋找 |
| |
用氣泡圖展示， |
| |
動態氣泡圖 |
| |
看起來。所以我已經涵蓋了 |
| |
很快八個信息 |
| |
質量維度。我的最後一個 |
| |
幻燈片就是我所說的 |
| |
關於從歷史 |
| |
角度來看，確實有些 |
| |
與我所說的成比例。 |
| |
我認為我們確實處於 |
| |
資訊品質。我們使用 |
| |
關注產品 |
| |
18 世紀的質量， |
| |
17世紀。然後我們搬到了 |
| |
流程品質和服務 |
| |
品質.這是一份簡短的備忘錄 |
| |
在提出控製圖時， |
| |
我認為是 1924 年。 |
| |
然後我們轉向管理 |
| |
品質.這是朱蘭 |
| |
設計、改進三部曲 |
| |
和控制。六西格瑪（定義， |
| |
測量、分析、改進） |
| |
控制過程是 |
| |
朱蘭改進過程， |
| |
朱蘭是祖父 |
| |
從這個意義上來說，六西格瑪。 |
| |
然後在 80 年代，Taguchi 來了 |
| |
在。他談到了強大的 |
| |
設計。我們該如何處理 |
| |
透過適當的 |
| |
設計決策？現在我們 |
| |
在資訊時代 |
| |
品質.我們有感測器。我們 |
| |
擁有靈活的系統。我們 |
| |
取決於人工智慧和機器 |
| |
學習和資料探勘，我們 |
| |
正在聚集大大大大 |
| |
數字，但我們稱之為大 |
| |
數據。對資訊的興趣 |
| |
品質應該是首要的 |
| |
興趣。我會嘗試 |
| |
說服你，借助 |
| |
克里斯的那個。 |
| |
我們在這裡，JMP 可以 |
| |
幫助我們實現這一目標 |
| |
確實很不尋常。 |
| |
您將在最後看到 |
| |
Chris 將進行的案例研究 |
| |
展示也是如何做的 |
| |
資訊品質評估和 |
| |
在一項具體的研究中，基本上 |
| |
產生資訊品質 |
| |
得分。所以如果我們從上往下，我 |
| |
可以告訴你這項研究，這個 |
| |
工作，這個分析可能是80%或 |
| |
可能是 30% 也可能是 95%。 |
| |
透過這個例子你將 |
| |
看看怎麼做。有一個 |
| |
JMP插件提供此功能 |
| |
評估。這實際上是 |
| |
相當容易。有 |
| |
沒什麼特別複雜的東西 |
| |
關於這個。所以我完成了， |
| |
克里斯，你先請。謝謝，羅恩。所以 |
| |
現在我要講一下 |
| |
以某種方式分析資料集 |
| |
明確指出 |
| |
各方面的資訊 |
| |
質量，並展示 JMP 如何 |
| |
用於評估改進 |
| |
為 InfoQ 撰稿。首先，我 |
| |
去瀏覽 InfoQ |
| |
組件。第一篇 InfoQ |
| |
組件是目標，所以在 |
| |
本例中的問題陳述 |
| |
那是化學公司嗎 |
| |
想要一種配方 |
| |
最大化產品產量，同時 |
| |
盡量減少有害雜質 |
| |
這是由反應產生的。 |
| |
這就是高層次的目標。 |
| |
從統計角度來說，我們希望 |
| |
找到一個能夠準確 |
| |
預測了對數據的反應 |
| |
設置，以便我們可以找到一個 |
| |
成分組合和 |
| |
處理步驟將導致 |
| |
來生產更好的產品。 |
| |
數據設定為 100 |
| |
實驗配方 |
| |
一種主要成分 X1，以及 |
| |
10 種添加劑。另外還有 |
| |
處理因子 13 |
| |
響應。數據是 |
| |
完全捏造，但 |
| |
模擬說明相同 |
| |
的優勢和劣勢 |
| |
原始數據。數據 |
| |
配方也 |
| |
記錄。我們將關注 |
| |
這些數據，所以我想 |
| |
詳細說明 |
| |
它們被收集在一個 |
| |
臨時的方式，改變一兩個 |
| |
添加劑而不是 |
| |
作為設計或隨機 |
| |
實驗。有很多 |
| |
分析這些數據的方法 |
| |
最典型的是最少的 |
| |
正向平方建模 |
| |
對選定的回應進行選擇。 |
| |
這就是我的初衷 |
| |
但當我展示 |
| |
數據給羅恩，他立即 |
| |
識別回應列 |
| |
作為分析的時間序列 |
| |
化學。即使數據 |
| |
被模擬，他可以看到 |
| |
結構。他能看見東西 |
| |
在我沒有看到的數據中 |
| |
讀到它不是。我發現 |
| |
這是驚人的 |
| |
令人印象深刻。它超越了 |
| |
這次談話的範圍，但 |
| |
更好的方法 |
| |
使用整合建模 |
| |
分數加權 |
| |
引導。 Phil Ramsey， |
| |
韋恩萊文和我還有另一個 |
| |
討論這個方法論 |
| |
歐洲大發現 |
| |
今年的會議。 |
| |
這種方法很有前景，因為它 |
| |
可以使用以下方法將模型與資料進行擬合 |
| |
比更積極的互動 |
| |
有跑壘。第四次也是最後一次 |
| |
資訊品質組成部分 |
| |
是效用，也就是我們如何 |
| |
能夠評估我們的目標。或者 |
| |
我們如何衡量我們的表現 |
| |
評估我們的目標？有一個 |
| |
領域方面 |
| |
如果我們想要一個 |
| |
公式化導致 |
| |
最大化產量並最小化 |
| |
後處理過程中產生的廢棄物 |
| |
材料。統計 |
| |
分析實用程式是指 |
| |
我們適合的模型。我們 |
| |
去那裡至少 |
| |
我們的模型的平方準確率 |
| |
就我們能夠 |
| |
預測...會發生什麼 |
| |
候選人的結果 |
| |
配方的組合...的 |
| |
混合因子。現在我要 |
| |
回答一連串問題 |
| |
構成詳細的 InfoQ |
| |
評估組織成 |
| |
資訊的八個維度 |
| |
品質.我想指出 |
| |
並非所有問題都會 |
| |
同樣相關於不同的 |
| |
數據科學和統計學 |
| |
項目，而這不是 |
| |
旨在成為嚴格的教條，但 |
| |
而是一組 |
| |
問問自己是個好主意。 |
| |
這些問題代表了一種 |
| |
數據分析智慧 |
| |
看起來比僅僅 |
| |
特定應用 |
| |
統計技術。副本 |
| |
包含這些內容的電子表格 |
| |
問題以及指向 |
| |
JMP 最強大的功能 |
| |
有助於回答 |
| |
將會上傳 |
| |
前往 JMP 社區 |
| |
供大家使用。作為 |
| |
我繼續回答這些問題， |
| |
我將演示 |
| |
JMP 中的資料。所以問題 1 |
| 是 |
所用的資料尺度是 |
| |
與既定目標一致嗎？那麼 |
| |
我們擁有的 X 包括 |
| |
單一分類變數 |
| |
處理和11個連續 |
| |
輸入。這些是測量 |
| |
以百分比表示，並且 |
| |
記錄到百分之零點五。我們 |
| |
沒有總金額 |
| |
成分，只有 |
| |
百分比。總計為 |
| |
資訊遺失 |
| |
或從未被記錄下來。 |
| |
其他潛在重要 |
| |
資訊 |
| |
這裡缺少。 |
| |
配製批次和 |
| |
測量已經消失 |
| |
也可能有其他 |
| |
協變量水平資訊 |
| |
這裡缺少的是 |
| |
描述的條件 |
| |
發生了反應。 |
| |
沒有比我更多的信息 |
| |
我無法形容它有多重要 |
| |
這種協變數資訊 |
| |
本來可以。我們確實有 |
| |
當天的訊息 |
| |
批次，因此可以用作 |
| |
可能是代孕媽媽。總的來說，我們 |
| |
擁有最 |
| |
重要的投入，以及 |
| |
我們測量的反應 |
| |
希望優化。我們可以 |
| |
有更多信息，但是這個 |
| |
看起來很有希望嘗試 |
| |
並進行分析。第二個 |
| |
與數據相關的問題 |
| |
解析度是可靠性和 |
| |
測量設備非常精確 |
| |
和資料來源。事實上 |
| |
我們沒有很多 |
| |
具體資訊請點擊此處。 |
| |
統計員內部 |
| |
公司將會有更多 |
| |
資訊.在這種情況下，我們 |
| |
別無選擇，只能相信 |
| |
化學家們制定了 |
| |
很好地記錄了混合物。 |
| |
第三個問題與數據有關 |
| 解析度是 |
是數據 |
| |
適合數據的分析 |
| |
聚合等級？ |
| |
答案是肯定的，假設 |
| |
他們的測量系統是 |
| |
準確且數據 |
| |
夠乾淨。我們要 |
| |
最終實際上是 |
| |
我們將使用 |
| |
功能數據探索器 |
| |
提取函數主元 |
| |
組件，即數據 |
| |
派生數據 |
| |
聚合。然後我們 |
| |
將會塑造這些 |
| |
功能主成分 |
| |
使用輸入變數。所以 |
| |
現在我們來看數據 |
| |
結構維度和 |
| |
我們問的第一個問題是 |
| |
使用的數據與 |
| |
既定目標？我認為 |
| |
答案是肯定的。我們 |
| |
試圖最大化 |
| |
產量。我們已經測量了 |
| |
並且輸入是 |
| |
記為Xs。第二個數據 |
| |
結構問題是 |
| |
事情真的開始變得 |
| |
對我來說很有趣。所以這是 |
| |
是完整性細節 |
| |
（異常值、缺失值、數據 |
| |
腐敗）問題描述和 |
| |
處理得當嗎？所以從 |
| |
這裡我們可以使用 JMP 來 |
| |
了解異常值在哪裡 |
| |
是，制定策略 |
| |
如何處理缺失值 |
| |
觀察它們的模式， |
| |
上。所以這就是 |
| |
事情會變得有點 |
| |
更有趣一點。第一個 |
| |
我們要做的是 |
| |
要確定是否有 |
| |
我們 |
| |
需要關注。所以 |
| |
為了做到這一點，我們要 |
| |
進入探索異常值 |
| |
放映廳外的平台 |
| |
菜單。我們將加載 |
| |
反應變量，並且因為 |
| |
這是一個多變量設置， |
| |
我們將使用一個新功能 |
| |
在 JMP Pro 16 中稱為“Robust” |
| |
PCA 異常值。所以我們看到 |
| |
較大的殘差在那些 |
| |
一種帕累托類型的圖。 |
| |
這裡有一張快照顯示 |
| |
有一些潛在的 |
| |
異常大的觀測值。我 |
| |
我不覺得這看起來 |
| |
對我來說太不尋常或太令人擔憂。 |
| |
我們可以保存較大的異常值 |
| |
轉到數據表，然後查看 |
| |
他們在分佈中 |
| |
平台以及我們所看到的 |
| |
看起來像是常態分佈 |
| |
把中間的部分拿掉。所以我 |
| |
認為這是 |
| |
來自某種相同 |
| |
人口，什麼也沒有 |
| |
真的不用擔心， |
| |
離群值。所以一旦我們 |
| |
處理異常值 |
| |
我們進入並探索的情況 |
| |
缺失值。所以我們 |
| |
我們首先要做的是 |
| |
將 Y 加載到... |
| |
平台，然後我們 |
| |
使用缺失值 |
| |
快照來查看模式 |
| |
他們是我們失蹤的人 |
| |
值。它看起來像 |
| |
缺失值往往出現在 |
| |
水平集群，還有 |
| |
缺失值也相同 |
| |
跨行。所以你可以看到 |
| |
這裡有黑色斑點。 |
| |
然後我們將應用 |
| |
自動資料歸納， |
| |
繼續前進並保存 |
| |
歸納公式列 |
| |
新值中缺失的值 |
| |
使用迴歸類型的列 |
| |
演算法由 |
| |
我的博士生米洛 |
| |
北卡羅來納州立大學的頁面。這樣我們就可以玩了 |
| |
稍微轉一下，得到一個 |
| |
感覺就像 ADI |
| |
演算法正在運行。所以 |
| |
建立了這些公式列 |
| |
正在剝離元素 |
| |
ADI 估算列 |
| |
向量公式列，以及 |
| |
評分歸因函數 |
| |
正在計算預期 |
| |
缺失單元格的值 |
| |
非缺失細胞，無論何時 |
| |
它有一個缺失值。而且它 |
| |
只是進行非 |
| |
缺失值。所以你可以看到 207 |
| |
在 YO...Y6 那裡。它最初 |
| |
207 但後來我把它改成了 |
| |
失蹤了，現在 |
| |
估算為 234。 |
| |
所以我會這樣做幾次 |
| |
你可以大致看到它是如何 |
| |
工作。所以在這裡我要說的是 |
| |
Y7 的值，這就是現在的值。 |
| |
被替換了。如果我們 |
| |
我們新增一行， |
| |
那麼所有缺失值都存在 |
| |
最初，列意味著 |
| |
被替換為 |
| |
歸咎。如果我去 |
| |
並為一些 |
| |
那些缺失的細胞，它會 |
| |
開始做條件 |
| |
對仍然失踪的人的期望 |
| |
細胞利用訊息 |
| |
那是在缺失的那一... |
| |
不缺失的。所以我們的下一個 |
| |
關於資料結構的問題是 |
| |
分析方法 |
| |
適合資料結構嗎？ |
| |
所以我們有 11 個混合輸入 |
| |
以及一個處理變數 |
| |
分類。這些將會 |
| |
至少輸入 |
| |
正方形模型。我們有 |
| |
13 個連續響應和 |
| |
我們可以使用...對它們進行建模 |
| |
單獨使用最少 |
| |
正方形。或者我們可以建模 |
| |
功能主體 |
| |
組件。現在有 |
| |
問題。 X 是… |
| |
輸入變數尚未 |
| |
完全隨機。這非常 |
| |
清楚他們會弄髒 |
| |
周圍有一個或多個 |
| |
化合物然後移動 |
| |
到另一個。所以 |
| |
順序 |
| |
輸入變數多種多樣 |
| |
有點隨意。這是一個 |
| |
明顯缺乏隨機性，且 |
| |
這將產生負面影響 |
| |
影響我們的…普遍性 |
| |
以及我們結論的力度。 |
| |
數據集成是第三個 |
| |
InfoQ 維度。這些數據 |
| |
手動輸入實驗室筆記 |
| |
主要由混合物組成 |
| |
百分比和設備 |
| |
讀數。我們只能假設 |
| |
數據已輸入 |
| |
正確，並且 X 是 |
| |
與響應正確對齊。 |
| |
如果不是這樣，那麼 |
| |
模型將存在嚴重偏差 |
| |
問題和 |
| |
普遍性問題。 |
| |
整合是一個更大的問題 |
| |
觀察數據 |
| |
機器中的科學問題 |
| |
學習練習，而不是實驗室 |
| |
像這樣的實驗。雖然 |
| |
這不適用於這裡，我會 |
| |
指出隱私和 |
| |
保密問題可能 |
| |
透過建模確定 |
| |
敏感部分資料使用 |
| |
待發布的組件 |
| |
數據。如果結果 |
| |
模型預測，那麼 |
| |
應該關注隱私 |
| |
擔憂沒有得到滿足。時間 |
| |
相關性指的是 |
| |
操作時間排序 |
| |
資料收集、分析和 |
| |
部署以及是否存在差距 |
| |
這些階段之間導致了 |
| |
實用性下降 |
| |
研究中的資訊。 |
| |
在這種情況下，我們只能簡單地 |
| |
希望材料供應 |
| |
相當一致，且 |
| |
測試設備 |
| |
相當準確，這是一個 |
| |
目前無法驗證的假設 |
| |
點。我們 |
| |
當數據收集時 |
| |
在日級，這意味著 |
| |
沒有多少辦法 |
| |
我們可以確認是否有時間 |
| |
每天的變化。 |
| |
數據和目標的時間順序是 |
| |
關於可用性 |
| |
相關變數 |
| |
變數是否 |
| |
數據中不存在或 |
| |
是否正確的訊息 |
| |
將在模型 |
| |
已部署。對於預測 |
| |
模型，這與模型有關 |
| |
適合類似數據 |
| |
當時會出現什麼 |
| |
模型將進行評估 |
| |
新數據。這樣，我們的數據 |
| |
設定當然沒問題。對於 |
| |
然而，建立因果關係 |
| |
我們的情況不太好 |
| |
形狀，因為缺乏 |
| |
隨機化意味著時間 |
| |
效應和因素效應可能 |
| |
感到困惑，導致偏見 |
| |
在我們的估計中。內生性， |
| |
或相反的因果關係，可能 |
| |
顯然是一個問題，因為 |
| |
溫度等變數 |
| |
反應時間顯然 |
| |
影響反應，但 |
| |
未被記錄。總體而言， |
| |
還有很多我們不知道的事情 |
| |
關於這個維度 |
| |
訊息品質意識。 |
| |
InfoQ 的其餘部分 |
| |
評估將 |
| |
取決於類型 |
| |
我們所做的分析。所以在這個 |
| |
我要繼續 |
| |
對這些數據進行分析 |
| |
使用功能數據 |
| |
JMP Pro中的Explorer平台 |
| |
這讓我能夠跨模型 |
| |
同時顯示所有列 |
| |
以某種方式基於 |
| |
功能主成分， |
| |
包含最大數量 |
| |
所有這些資訊 |
| |
列表示為 |
| |
最有效的格式。 |
| |
我將致力於 |
| |
列的估算版本 |
| |
我之前計算過的 |
| |
演講。我將 |
| |
指出我將 |
| |
努力尋找 |
| |
實現混合因素 |
| |
盡可能接近 |
| |
最小平方法意義上的理想 |
| |
曲線由 |
| |
從業者最大限度地 |
| |
潛在產品數量 |
| |
可以分批 |
| |
盡量減少 |
| |
雜質 |
| |
現實地認為一批 |
| |
可以容納。所以我開始 |
| |
透過分析 |
| |
選單，調出功能 |
| |
資料資源管理器。其行如下 |
| |
函數。我要加載我的 |
| |
估算行，然後我要 |
| |
在我的公式中 |
| |
組件和我的處理 |
| |
作為補充 |
| |
變數。我們有一個 ID |
| |
函數，即批次 ID。在這裡我 |
| |
進去。我可以看到函數， |
| |
兩者完全疊加， |
| |
我可以看到各個功能。 |
| |
然後我可以加載目標 |
| |
函數，這是理想的。 |
| |
這將改變 |
| |
一旦我 |
| |
開始進入模特兒行業 |
| |
步驟。這些很漂亮 |
| |
簡單的功能，所以我只是 |
| |
用它們來建模 |
| |
B 樣條線。 |
| |
然後我要進入我的 |
| |
功能性DOE分析。 |
| |
這將適合模型 |
| |
將輸入連接到 |
| |
功能性原則 |
| |
然後連接所有組件 |
| |
透過 |
| |
特徵函數來實現 |
| |
我們能夠恢復 |
| |
整體功能 |
| |
改變，因為我們正在改變 |
| |
混合因子。 |
| |
功能主成分 |
| |
分析表明 |
| |
有四個維度 |
| |
這些反應的變化 |
| |
函數。要理解什麼 |
| |
他們的意思是，讓我們繼續吧 |
| |
使用 FPC 分析器進行探索。 |
| |
因此請觀看此處的窗格 |
| |
我調整了 FPC 1，我們可以看到 |
| |
與此 FPC 相關的 |
| |
峰值高度。 FPC2，看起來 |
| |
就像是一座山峰 |
| |
狹窄。這幾乎就像一個 |
| |
決議原則 |
| |
組件。第三個是 |
| |
與膝蓋有關 |
| |
主峰的左側。 |
| |
而 4 號山看起來 |
| |
主要與 |
| |
雜質，所以這就是 |
| |
潛在含義是 |
| |
這四個功能 |
| |
主要成分。 |
| |
因此，我們確定了我們的目標 |
| |
最大化產品和 |
| |
盡量減少雜質，以及 |
| |
我們已經將這一情況傳達給了 |
| |
透過這個理想或 |
| |
我們提供的黃金曲線 |
| |
FDE 的起源 |
| |
我們正在做的練習。為了盡可能 |
| |
盡可能接近理想 |
| |
曲線，我們轉向可取性 |
| |
函數。然後我們就可以 |
| |
並最大化願望。 |
| |
我們發現最佳 |
| |
輸入的組合是 |
| |
4.5% |
| |
成分四，2% |
| |
成分 6. 2.2% |
| |
成分 8 和 1.24% |
| |
成分 9 使用加工 |
| |
方法二。讓我們回顧一下 |
| |
我們已經到了這裡。我們首先 |
| |
計算缺失的回應 |
| |
列。然後我們發現 B 樣條 |
| |
適合這些功能的模型 |
| |
在 FDE 平台上表現良好。 |
| |
功能主成分 |
| |
分析確定 |
| |
有四個特徵函數 |
| |
表徵變化 |
| |
這些數據。這四個 |
| |
確定了本徵函數 |
| |
透過FPC分析器對每個 |
| |
有一個合理的主題 |
| |
物質意義。功能 |
| |
DOE分析包括 |
| |
應用向前修剪 |
| |
選擇每一個 |
| |
個人 FPC 評分使用 |
| |
DOE 因素作為輸入變數。 |
| |
我們在這裡看到這些 |
| |
發現了 |
| |
交互作用和主效應 |
| |
最能預測 |
| |
每個功能主體 |
| |
各部分單獨得分。 |
| |
功能性 DOE 輪廓儀 |
| |
優雅地捕捉了所有 |
| |
多個方面整合為一個表述 |
| |
這使我們能夠找到 |
| |
配方加工步驟 |
| |
預計會有理想的 |
| |
性能通過高 |
| |
產量高、雜質少。 |
| |
所以現在我們可以做一個 InfoQ |
| |
評估 |
| |
數據的普遍性 |
| |
分析。所以在這種情況下， |
| |
我們更感興趣的是 |
| |
科學的普遍性， |
| |
實驗者是一個深刻的 |
| |
知識淵博的化學家工作 |
| |
有了這種化合物。所以我們 |
| |
將更多地依賴 |
| |
他們的專業知識 |
| |
然後根據統計原理 |
| |
以及假設檢定等工具 |
| |
等等。目標是 |
| |
主要具有預測性，但 |
| |
普遍性是一種 |
| |
有問題，因為 |
| |
實驗沒有經過設計。我們的 |
| |
估計交互作用的能力 |
| |
被削弱的技術如下 |
| |
前向選擇與不可能 |
| |
透過最小平方法分析 |
| |
完整模型。因為 |
| |
研究不是隨機的， |
| |
可能是未記錄的時間 |
| |
順序效應。我們沒有 |
| |
潛在重要的協變量 |
| |
溫度等訊息 |
| |
反應時間。這會產生 |
| |
又一個大問號 |
| |
關於普遍性。 |
| |
重複性和 |
| |
研究的可重複性 |
| |
這裡還有一個未知數，正如我們 |
| |
沒有關於 |
| |
變異性 |
| |
測量系統。幸運的是， |
| |
我們確實有像 JMP 這樣的工具 |
| |
評估設計以了解 |
| |
現有的設計以及 |
| |
增強設計可以大大 |
| |
增強概括性 |
| |
分析的表現。 |
| |
Augment 可以改善訊息 |
| |
關於主要影響和 |
| |
互動，以及第二輪 |
| |
實驗可能是 |
| |
隨機也增強 |
| |
普遍性。所以現在我 |
| |
將會經歷一些 |
| |
簡單的步驟來展示如何 |
| |
提高泛化能力 |
| |
我們的研究使用 |
| |
JMP 中的設計工具。在我 |
| |
這樣做，我想指出 |
| |
我必須獲取數據並 |
| |
將其轉換為 |
| |
比例而不是 |
| |
百分比。否則設計 |
| |
工具並沒有真正達成一致 |
| |
數據處理得很好。所以我們 |
| |
進入評估設計器 |
| |
然後我們加載 Y 和 |
| |
我們的 Xs。我請求能夠 |
| |
處理二階交互作用。 |
| |
然後...是的，我收到了這個警報 |
| |
說，嘿，我做不到 |
| |
因為我們無法 |
| |
估計所有交互作用 |
| |
一次只考慮一個因素 |
| |
我們擁有的數據。所以我支持 |
| |
起來。我們去增強 |
| |
設計師，加載所有東西， |
| |
設定增強。我們會選擇，然後我- |
| |
最佳設計，因為我們 |
| |
真正關心 |
| |
預測此處的表現。 |
| |
我 |
| |
將運行次數設定為 148。 |
| |
訂製設計師要求 |
| |
141 至少，但我去了 |
| |
148 只是為了確保 |
| |
我們有能力 |
| |
估計我們所有的互動 |
| |
相當好。之後， |
| |
大約需要 20 秒 |
| |
建構設計。現在 |
| |
我們有設計，我 |
| |
將會展示兩個最 |
| |
重要的診斷工具 |
| |
增強設計師 |
| |
評估設計。在 |
| |
剩下的，我們有 |
| |
設計空間圖。這是 |
| |
顯示 50% 的音量 |
| |
設計有 |
| |
預測方差為 |
| |
小於 1。所以 1 是 |
| |
相當於殘差 |
| |
錯誤。所以我們能夠得到 |
| |
優於測量誤差 |
| |
品質預測 |
| |
大部分的設計。在 |
| |
我們有顏色圖 |
| |
相關性。這表明 |
| |
我們能夠估計 |
| |
一切都很好。有 |
| |
有些…因為混合 |
| |
約束，我們得到一些 |
| |
之間的強相關性 |
| |
相互作用和主要影響。 |
| |
整體來說，效果相當 |
| |
乾淨。而且交互 |
| |
與一個完全分離 |
| |
另一個，以及主要影響 |
| |
與 |
| |
彼此也一樣。之後 |
| |
看看設計 |
| |
診斷，我們可以 |
| |
表格。在這裡，我展示了 |
| |
前 13 次增強跑 |
| |
我們看到我們已經得到了...我們 |
| |
有更多的隨機性。我們沒有 |
| |
具有相同的主要效果 |
| |
一遍又一遍地條紋。 |
| |
這是更好的證據 |
| |
隨機化和總體 |
| |
設計將能夠 |
| |
更好地估計主要 |
| |
效果和相互作用 |
| |
獲得更好、更高品質的 |
| |
第二階段的訊息 |
| |
實驗。因此輸入 |
| |
變數 X 是準確的 |
| |
混合物的表示 |
| |
比例，所以這是一個明確的 |
| |
客觀利益。 |
| |
回應是接近的替代品 |
| |
產品數量 |
| |
以及其中的雜質含量 |
| |
批次。我們非常擅長 |
| |
7.1. 理由 |
| |
很清楚。經過研究，我們 |
| |
當然可以去準備一個 |
| |
批次即配方 |
| |
這是 FDOE 推薦的 |
| |
分析器。試試一下，看看是否 |
| |
我們得到的是 |
| |
我們所期待的表現 |
| |
很明顯 |
| |
就是我們可以 |
| |
評估我們所取得的成就 |
| |
我們的學習目標。所以現在 |
| |
InfoQ 的最後一個維度 |
| |
溝通。透過描述 |
| |
理想曲線作為目標 |
| |
功能，功能性 DOE |
| |
Profiler 制定目標，並且 |
| |
分析結果晶體 |
| |
清楚。但這可以表達 |
| |
很容易 |
| |
由化學家解釋 |
| |
研發機構的經理。 |
| |
正如我們所做的詳細 |
| |
資訊品質評估， |
| |
我們已經坦誠 |
| |
的優勢和劣勢 |
| |
研究設計和數據 |
| |
集合。如果結果確實 |
| |
不一概而論，我們當然 |
| |
知道在哪裡尋找 |
| |
問題。一旦你成為 |
| |
熟悉這些概念， |
| |
有一個很好的插件 |
| |
由 Ian Cox 撰寫，您可以使用 |
| |
做一個快速量化的 InfoQ |
| |
評估。該插件具有 |
| |
上下滑塊 |
| |
每個 InfoQ 維度的界限。 |
| |
這些維度被組合起來 |
| |
使用意願函數 |
| |
針對整個區間的方法 |
| |
請參閱左側的 InfoQ。 |
| |
以下是對 |
| |
我所涵蓋的數據和分析 |
| |
此簡報。該插件是 |
| |
也是一個有用的思考工具 |
| |
會讓你考慮每一個 |
| |
InfoQ 維度。它也是一個 |
| |
實用的溝通方式 |
| |
InfoQ 評估 |
| |
客戶或管理階層 |
| |
它提供了 |
| |
資訊品質無 |
| |
使用大量技術 |
| |
概念和術語。外掛 |
| |
也可用作 |
| |
InfoQ 的比較。我的 |
| |
最初的希望是 |
| |
示範有點 |
| |
更有野心。我曾經希望 |
| |
涵蓋我所做的分析 |
| |
剛剛經歷，以及 |
| |
另一個更簡單的，我跳過 |
| |
輸入答案並執行 |
| |
簡單的多元線性 |
| |
響應的迴歸模型 |
| |
專欄。今天，我只能 |
| |
對此做出最終評估 |
| |
方法。正如你所見， |
| |
InfoQ 的一些 |
| |
尺寸受到很大影響 |
| |
無需更複雜的 |
| |
分析。很明顯的是 |
| |
簡單的分析可以得出 |
| |
InfoQ 得分低很多。 |
| |
簡單 |
| |
分析並沒有那麼高 |
| |
比下限更多 |
| |
精緻的。 |
| |
經驗，你將獲得 |
| |
關於什麼是好的 InfoQ |
| |
分數是針對數據科學的 |
| |
您所在行業的項目以及 |
| |
養成更好的習慣 |
| |
將不再對 |
| |
資訊瓶頸 |
| |
資料收集、分析和 |
| |
模型部署。資訊 |
| |
高品質且易於使用 |
| |
介面.這是我的第一個 |
| |
正式資訊品質 |
| |
評估。就我個人而言， |
| |
資訊品質 |
| |
框架給出了詞語和 |
| |
我做很多事情的結構 |
| |
本能地已經知道了。 |
| |
已經改變了我 |
| |
方法新數據分析 |
| |
專案.我鼓勵你去 |
| |
親自完成這個過程 |
| |
您自己的數據，即使該數據 |
| |
而且分析已經非常 |
| |
對你來說很熟悉。我保證 |
| |
你會變得更聰明， |
| |
更有效率的資料科學家 |
| |
因為它。謝謝。 |
進階統計建模基礎資料分析與建模消費者與市場研究內容組織實驗設計預測模型和機器學習品質與工藝工程可靠度分析
