https://www.jmp.com/en_us/whitepapers/book-chapters/infoq-support-with-jmp.html
等級：中級
Ron Kenett，KPA 集團和以色列理工學院塞繆爾·尼曼研究所董事長
Christopher Gotwalt，SAS 統計研發部 JMP 總監
數據分析——從設計實驗、廣義回歸到機器學習——正在加速部署。同時，對研究結果的可重複性和有缺陷的 p 值解釋的擔憂表明，善意的統計分析可能會導致錯誤的結論和錯誤的決策。為了使數據分析項目正確實現其目標，必須評估從可用數據和工具得出的結論的範圍和強度。這種對統計策略的關注需要一個框架來隔離專案的各個組成部分：目標、資料收集過程、資料屬性、提供的分析等。InfoQ 框架提供了用於進行此評估的結構化過程。此外，在 JMP 中操作 InfoQ 也很容易。在本次演示中，我們提供了 InfoQ 的概述以及來自消費者研究和藥品製造的用例研究，以說明如何使用 JMP 進行 InfoQ 評估，突出顯示 InfoQ 高和低的情況。我們還提供提示，展示如何使用 JMP 透過增強研究設計來提高資訊質量，而無需獲取更多數據。本次演講針對的是統計學家、機器學習專家和資料科學家，他們的工作是將數字轉化為資訊。
自動產生的成績單...
|
揚聲器
|
成績單
|
| |
你好。 |
| |
我的名字是羅恩·肯尼特。這 |
| |
是與克里斯的共同對話 |
| |
戈特沃爾特和我們基本上 |
| |
有兩條訊息 |
| |
應該來自 |
| |
講話。一是我們應該 |
| |
真正關心 |
| |
資訊與資訊 |
| |
品質.人們傾向於說話 |
| |
關於數據和數據質量，但是 |
| |
數據確實不是問題。 |
| |
我們是統計學家。我們是 |
| |
數據科學家。我們轉動數字， |
| |
數據轉化為訊息，以便 |
| |
我們的目標應該是確保 |
| |
我們生產高品質的產品 |
| |
資訊.另一則訊息 |
| |
JMP 可以幫助您嗎 |
| |
實現這一點，這就是 |
| |
實際上是在 |
| |
令人驚訝的方式。所以透過結合 |
| |
克里斯的專業知識和 |
| |
資訊介紹 |
| |
質量，我們希望這兩個 |
| |
訊息將會遇到 |
| |
清楚地。所以如果我必須 |
| |
總結一下我們是什麼 |
| |
畢竟想要談談 |
| |
一切都與資訊有關 |
| |
品質.我發表了演講 |
| |
布拉格峰會四年 |
| |
以前那次談話很籠統。 |
| |
它談到了移動 |
| |
從品質源自於設計的旅程。 |
| |
我的訊息之路 |
| |
品質.在這次演講中我們將重點放在 |
| |
關於如何做到這一點 |
| |
JMP。這是更詳細的 |
| |
和技術談話比 |
| |
我在布拉格做了一般性演講。 |
| |
你可以看那個演講。 |
| |
這裡列出了一個連結。你可以 |
| |
在 JMP 社區上找到它。 |
| |
所以我們要談談 |
| |
資訊品質，即 |
| |
資料集的潛力，a |
| |
具體數據集，實現 |
| |
特定的目標，特定的目標， |
| |
用給定的經驗方法。 |
| |
所以在這個定義中我們有 |
| |
三個組成部分是 |
| |
列出。一是某個數據 |
| |
放。這是數據。這 |
| |
第二個是目標， |
| |
分析的目標是什麼 |
| |
這是我們想要實現的目標。 |
| |
第三個是我們將如何 |
| |
這樣做，即用什麼 |
| |
我們要產生的方法 |
| |
資訊和潛力 |
| |
將被評估為 |
| |
實用功能。我會的 |
| |
首先介紹 |
| |
資訊質量，然後 |
| |
克里斯將接任， |
| |
討論案例研究和 |
| |
向您展示如何進行 |
| |
資訊品質評估。 |
| |
最終這應該 |
| |
回答JMP如何的問題 |
| |
支援 InfoQ，即 |
| |
將是要點 |
| |
你可以...帶走積分 |
| |
從談話中。設定為 |
| |
這就是我們鼓勵的 |
| |
我所說的生命週期視圖 |
| |
統計數據。換句話說， |
| |
不僅僅是數據分析。 |
| |
我們應該知道...我們應該參與其中 |
| |
問題引發的 |
| |
階段。還有，目標 |
| |
制定階段，值得 |
| |
討論。我們應該 |
| |
顯然參與 |
| |
資料收集方案，如果是 |
| |
透過實驗或透過 |
| |
調查或透過觀察 |
| |
數據。那我們也應該採取 |
| |
制定的時間 |
| |
調查結果，而不僅僅是拉出來 |
| |
列印報告於 |
| |
迴歸係數 |
| |
估計和他們的 |
| |
意義重大，但我們應該 |
| |
還討論了哪些 |
| |
發現？運作化 |
| |
調查結果意味著，好吧，我們能做什麼 |
| |
這些發現有何作用？什麼是 |
| |
的影響 |
| |
發現？這應該... |
| |
需要傳達給 |
| |
對的人用對的方式， |
| |
最終我們應該要做一個 |
| |
影響評估以確定， |
| |
好的，我們做到了這一切；什麼有 |
| |
是我們的附加價值 |
| |
工作？我談到了生活 |
| |
統計週期幾年 |
| |
前。這是前提， |
| |
對什麼的看法 |
| |
我要談談。所以正如我 |
| |
提到的，訊息 |
| |
品質是一個人的潛力 |
| |
特定的數據集來實現 |
| |
使用給定的特定目標 |
| |
實證分析方法。這 |
| |
是透過四項來識別 |
| 成分 |
目標、數據、 |
| |
分析方法，以及 |
| |
效用措施。所以在一個在一個 |
| |
數學表達式，即 |
| |
將 f 應用於 x 的效用， |
| |
目標的條件，就是我們如何 |
| |
識別 InfoQ、訊息 |
| |
品質.這發表於 |
| |
英國皇家統計學會 |
| |
2013 年 A 輪融資，共 8 家 |
| |
討論者，所以這是充分 |
| |
討論過。有些人認為 |
| |
這太棒了，有些 |
| |
人們對此提出了很多批評 |
| |
這個想法，所以這是一個更廣泛的 |
| |
範圍 考慮什麼 |
| |
統計數據是關於。我們也 |
| |
寫於2006年，我們遇見了自己 |
| |
和 Galit Shmueli，有一本書叫 |
| |
資訊品質。並且在 |
| |
資訊的背景 |
| |
我們所做的就是所謂的質量 |
| |
解構。大衛漢德有 |
| |
一篇名為《解構》的論文 |
| |
統計。這是 |
| |
資訊解構 |
| |
質量分為八個維度。我 |
| |
將涵蓋這八個維度。 |
| |
這就是我在演講中的部分 |
| |
然後克里斯將展示如何 |
| |
是在具體實施的 |
| |
案例分析。 |
| |
另一個方面涉及到 |
| |
這是我的另一本書。 |
| |
這是最近的事，一年前 |
| |
標題為“數據的真正作用” |
| |
科學和我們談論什麼 |
| |
是數據的作用 |
| |
組織中的科學家和 |
| |
在這方面，我們強調 |
| |
對資料科學家的需求 |
| |
參與一代 |
| |
訊息作為...訊息 |
| |
品質作為滿足目標 |
| |
該組織。所以讓我 |
| |
覆蓋八個維度。那是 |
| |
這就是我的介紹。這 |
| |
第一個是資料解析度。我們 |
| |
有一個目標。好的，我們會 |
| |
想知道流感的程度 |
| |
因為在國內或在 |
| |
我們居住的地區，因為 |
| |
將影響我們的決定 |
| |
是否去公園 |
| |
我們可以認識一些人或去 |
| |
去爵士音樂會。然後 |
| |
音樂會是明天。 |
| |
如果我們尋找 CDC 的數據 |
| |
流感的程度，該數據是 |
| |
每週更新一次，這樣我們就可以得到 |
| |
圖中的紅線是你 |
| |
有在你面前，所以我們 |
| |
可以獲得幾天的數據 |
| |
以前，也許好，也許不好 |
| |
足夠我們的黃金了。谷歌流感， |
| |
這是基於搜尋的 |
| |
與流感相關，已更新 |
| |
暫時的，所以已經更新了 |
| |
在線，它可能會給 |
| |
我們更好的資訊。因此對於 |
| |
我們的目標，藍線， |
| |
谷歌趨勢…谷歌流感 |
| |
趨勢指標，可能是 |
| |
更合適。第二 |
| |
維度是資料結構。 |
| |
為了實現我們的目標，我們將 |
| |
看數據。我們應該...我們 |
| |
應確定資料來源 |
| |
以及這些數據中的結構 |
| |
來源。所以有些數據可能是 |
| |
文字，有些可能是視頻，有些 |
| |
例如，可以是 |
| |
推薦網路。這 |
| |
是一張亞馬遜圖片，說明如果 |
| |
你看書，你 |
| |
去拿一些 |
| |
其他書籍推薦。而如果 |
| |
你去讀這些其他的書， |
| |
你將會獲得更多數據 |
| |
受到推崇的。所以數據 |
| |
結構可以有各種各樣 |
| |
形狀和形式，這可以 |
| |
是文本。這可以是功能性的 |
| |
數據。這可以是圖像。我們是 |
| |
現在不限於我們使用的 |
| |
呼叫數據，這就是你 |
| |
在 Excel 電子表格中尋找。 |
| |
資料可能已損壞， |
| |
可能有缺失值，可能 |
| |
有不尋常的圖案 |
| |
這將是 |
| |
需要調查的東西。一些 |
| |
模式，事物在哪裡 |
| |
重複。或許有一些數據 |
| |
這只是複製和貼上，我們 |
| |
希望收到警告 |
| |
這樣的選擇。第三 |
| |
維度是資料整合。 |
| |
當我們考慮來自的數據時 |
| |
這些不同的來源，我們 |
| |
將整合它們所以我們 |
| |
可以做一些分析聯動 |
| |
透過身份證。例如，我們 |
| |
會這樣做，但在這樣做時， |
| |
我們可能會產生一些問題，因為 |
| |
例如，在披露資料時 |
| |
通常應該是 |
| |
匿名。數據 |
| |
整合，是的，那會 |
| |
讓我們做奇妙的事情， |
| |
但如果數據被認為 |
| |
有一些隱私暴露 |
| |
問題，那麼可能是質量 |
| |
的訊息來自 |
| |
我們要做的分析 |
| |
將會 將會 將會 |
| |
做作的。所以數據整合 |
| |
應該非常非常調查 |
| |
小心。這就是人們 |
| |
可能用於調用 ETL |
| |
提取、轉換和載入。我們 |
| |
現在有更好的方法 |
| |
這樣做。加入選項，對於 |
| |
例如，在 JMP 中將提供 |
| |
這樣做的選項。 |
| |
時間相關性。好的，那就是 |
| |
很清楚。我們有數據。這是 |
| |
以某種方式印記。如果我們要去的話 |
| |
稍後再分析 |
| |
資料收集後，以及 |
| |
如果我們的部署 |
| |
考慮得更晚，那麼 |
| |
數據可能不是暫時的 |
| |
相關的。在一個共同的 |
| |
情況，如果我們要比較 |
| |
現在發生了什麼，我們會 |
| |
喜歡能夠做到這一點 |
| |
與最近的數據比較或 |
| |
疫情前的數據 |
| |
開始了，但不到10年 |
| |
早些時候。官方統計 |
| |
健康記錄上曾經有兩個 |
| |
或落後三年 |
| |
時機，這使得它非常 |
| |
官方使用困難 |
| |
評估中的統計 |
| |
這是怎麼回事 |
| |
大流行.數據的年表和 |
| |
目標與決策相關 |
| |
我們因我們的 |
| |
目標。因此，例如，如果我們的 |
| |
目標是預測空氣質量， |
| |
我們將使用一些 |
| |
空中預測模型 |
| |
品質指數報告 |
| |
每日基礎。這給了我們一個 |
| |
從危險到六級 |
| |
好的。有一些值 |
| |
代表的水平 |
| |
健康問題。零 50 很好； |
| |
300-500 是危險的， |
| |
數據和目標的時間順序 |
| |
意味著我們應該能夠 |
| |
每天進行預測 |
| |
基礎。所以我們使用的方法 |
| |
應該每天更新 |
| |
基礎。另一方面，如果 |
| |
我們的目標是弄清楚如何 |
| |
計算出這個 AQI 指數，然後我們 |
| |
並不受真正的約束 |
| |
分析的及時性。 |
| |
你知道，我們可以把我們的 |
| |
時間。沒有什麼緊急的事 |
| |
完成分析 |
| |
每日基礎。普遍性， |
| |
第六維度，大約是 |
| |
採取我們的發現和 |
| |
考慮到這可以在哪裡 |
| |
適用於更一般的術語， |
| |
其他人群，所有 |
| |
情況。這可以做到 |
| |
直觀地。行銷經理誰 |
| |
看過一項研究 |
| |
市場，我們稱之為A，可能 |
| |
已經明白什麼是 |
| |
對市場 B 的影響 |
| |
沒有數據。那些人 |
| |
物理學家將能夠 |
| |
做出預測基於 |
| |
第一原理力學 |
| |
沒有沒有數據。 |
| |
所以有一些普遍性 |
| |
是用數據完成的。這是 |
| |
統計基礎 |
| |
概括，我們從哪裡來 |
| |
樣本到總體。 |
| |
統計推論是關於 |
| |
概括。我們概括 |
| |
從樣本到 |
| |
人口。有些可以是 |
| |
基於域，換句話說， |
| |
運用專業知識、領域 |
| |
專業知識，不一定是 |
| |
數據。我們必須認識到 |
| |
普遍性不僅僅是 |
| |
完成統計。 |
| |
第七維是 |
| |
建構可操作性， |
| |
這才是真正的問題 |
| |
我們測量的。我們想 |
| |
評估行為、情緒、什麼 |
| |
這是我們可以測量的 |
| |
將為我們提供反映 |
| |
行為或情緒。 |
| |
我在這裡給出的例子 |
| |
通常是疼痛。 |
| |
我們知道什麼是痛苦。怎麼辦 |
| |
我們測量那個？如果你去一個 |
| |
去醫院，你問護士， |
| |
你如何評估疼痛，他們 |
| |
會告訴你，我們有一個秤， |
| |
1到10。非常 |
| |
質量，不是很 |
| |
我想說，科學。要是我們 |
| |
想要測量的水平 |
| |
司機體內酒精含量... |
| |
路，將很難 |
| |
措施。所以我們可以測量 |
| |
速度作為替代指標。 |
| |
另一部分 |
| |
營運化是另一個 |
| |
故事的結局。其他 |
| |
話，第一部分， |
| |
構造是我們測量的東西， |
| |
這反映了我們的目標。的 |
| |
結束...最終的結果是 |
| |
我們有發現並且我們想要 |
| |
和他們一起做點什麼。我們想要 |
| |
將我們的發現付諸實踐。 |
| |
動作是這樣的 |
| |
操作化是關於。 |
| |
這是關於你用它做什麼 |
| |
發現然後被 |
| |
在講台上展示。我們 |
| |
用來問三個問題。 |
| |
這些都非常重要 |
| |
要問的問題。一旦你有 |
| |
做了一些分析，你已經 |
| |
在你面前的某人 |
| |
說，哦，非常感謝你， |
| |
你完了……你，統計學家 |
| |
或資料科學家。所以這 |
| |
這需要你多走一步， |
| |
讓你去詢問你的客戶 |
| 這些簡單的問題 |
做什麼 |
| |
你想完成什麼？怎麼會 |
| |
你會這樣做，你會怎麼做 |
| |
知道你是否已經完成 |
| |
那？我們可以幫忙解答，或者 |
| |
至少支持其中一些 |
| |
我們已經回答過的問題。 |
| |
第八維是 |
| |
溝通。我給你一個 |
| |
一個非常著名的老例子 |
| |
19世紀的地圖，其中 |
| |
正展現前進的步伐 |
| |
拿破崙軍隊從法國到 |
| |
莫斯科飛往俄羅斯。你看到 |
| |
數字是寬度 |
| |
路徑表示大小 |
| |
軍隊，然後繼續 |
| |
黑色你知道發生了什麼 |
| |
他們正在回來的路上。 |
| |
所以基本上這是一個 |
| |
災難性的行軍。我們我們我們我們 |
| |
可以將這張舊地圖與 |
| |
現有的地圖，並且有一個 |
| |
JMP 插件，您可以 |
| |
在 JMP 社群中查找，至 |
| |
用氣泡圖向您展示， |
| |
動態氣泡圖這是什麼 |
| |
好像。所以我已經涵蓋了 |
| |
很快八個信息 |
| |
質量維度。我最後一次 |
| |
幻燈片就是我所說的 |
| |
大約來自歷史 |
| |
觀點，確實放了一些 |
| |
與我所說的成比例。 |
| |
我覺得我們真的處在這個時代 |
| |
的資訊品質。我們用了 |
| |
關心產品 |
| |
18世紀的品質， |
| |
17世紀。然後我們搬到了 |
| |
流程品質和服務 |
| |
品質.這是一個簡短的備忘錄 |
| |
在提出控製圖時， |
| |
我想是 1924 年。 |
| |
然後我們轉向管理 |
| |
品質.這就是朱蘭經 |
| |
設計、改進三部曲 |
| |
和控制。六西格瑪（定義， |
| |
測量、分析、改進） |
| |
控制過程是 |
| |
朱蘭的改進過程， |
| |
朱蘭是祖父 |
| |
從這個意義上說，是六西格瑪。 |
| |
然後到了 80 年代，田口來了 |
| |
他談到了穩健 |
| |
設計。我們該如何處理 |
| |
透過適當的輸入的可變性 |
| |
設計決策？現在我們是 |
| |
在資訊時代 |
| |
品質.我們有感測器。我們 |
| |
擁有靈活的系統。我們是 |
| |
取決於人工智慧和機器 |
| |
學習和資料探勘，我們 |
| |
正在聚集大大大大 |
| |
數字，但我們稱之為大 |
| |
數據。對資訊的興趣 |
| |
品質應該是首要的 |
| |
興趣。我要嘗試一下 |
| |
說服你，在幫助下 |
| |
克里斯，那個。 |
| |
我們在這裡，JMP 可以 |
| |
幫助我們實現這一目標 |
| |
真是不尋常的方式。 |
| |
最後你會看到什麼 |
| |
克里斯將進行的案例研究 |
| |
展示瞭如何做到這一點 |
| |
資訊品質評估和 |
| |
就具體研究而言，基本上 |
| |
產生資訊品質 |
| |
分數。所以如果我們是自上而下，我 |
| |
可以告訴你這個研究，這個 |
| |
工作，這個分析可能是 80% 或 |
| |
也許是 30%，也許是 95%。 |
| |
透過這個例子你將會 |
| |
看看如何做到這一點。有一個 |
| |
JMP 外掛程式可提供此功能 |
| |
評估。原來是這樣 |
| |
相當相當容易。有 |
| |
沒有什麼真正複雜的 |
| |
關於那個。所以我完成了並且 |
| |
克里斯，在你之後。謝謝，羅恩。所以 |
| |
現在我要講一下 |
| |
以某種方式分析資料集 |
| |
明確指出 |
| |
各方面的訊息 |
| |
品質並展示 JMP 的性能 |
| |
用於評估改進 |
| |
對 InfoQ 來說。所以首先，我 |
| |
將會瀏覽 InfoQ |
| |
成分。第一期InfoQ |
| |
組件是目標，所以在 |
| |
這種情況下的問題陳述 |
| |
那是化學公司嗎 |
| |
想要一個配方 |
| |
最大化產品產量，同時 |
| |
最大限度地減少有害雜質 |
| |
這是反應的結果。 |
| |
這就是高水準目標。 |
| |
從統計的角度來說，我們想要 |
| |
找到一個準確的模型 |
| |
預測對數據的反應 |
| |
設定以便我們可以找到 |
| |
成分的組合和 |
| |
處理步驟會導致 |
| |
到更好的產品。 |
| |
數據設定為100 |
| |
實驗配方 |
| |
一種主要成分 X1，和 |
| |
10 種添加劑。還有一個 |
| |
處理係數為 13 |
| |
回應。數據是 |
| |
完全捏造但被 |
| |
模擬以說明相同的 |
| |
的優點和缺點 |
| |
原始數據。數據 |
| |
也制定了配方 |
| |
記錄了。我們將關注 |
| |
這些數據密切相關，所以我想 |
| |
超出指出範圍的詳細闡述 |
| |
他們被收集在一個 |
| |
臨時方式，改變一兩個 |
| |
一次添加而不是 |
| |
作為設計或隨機 |
| |
實驗。有很多 |
| |
分析這些數據的方法 |
| |
最典型的是最少的 |
| |
正向方形建模 |
| |
所選回應的選擇。 |
| |
這就是我的初衷 |
| |
對於這次演講，但是當我展示 |
| |
把數據傳給羅恩，他立即 |
| |
識別回應欄 |
| |
作為分析的時間序列 |
| |
化學。儘管數據 |
| |
被模擬，他可以看到 |
| |
結構。他能看見東西 |
| |
在我沒有看到的數據中 |
| |
讀起來卻並非如此。我發現 |
| |
這令人震驚 |
| |
感人的。它超出了 |
| |
本次演講的範圍，但有 |
| |
更好的方法是基於 |
| |
整合建模使用 |
| |
分數加權 |
| |
引導。菲爾拉姆齊， |
| |
韋恩萊文和我還有另一個 |
| |
談這種方法論 |
| |
歐洲發現號 |
| |
今年的會議。這 |
| |
方法很有前途，因為它 |
| |
可以將模型與資料擬合 |
| |
比更積極的互動 |
| |
有跑步。第四場也是最後一場 |
| |
資訊品質的組成部分 |
| |
是效用，這就是我們的能力 |
| |
能夠評估我們的目標。或者 |
| |
我們如何衡量我們做得如何 |
| |
評估我們的目標？有一個 |
| |
域方面在這 |
| |
如果我們想要一個 |
| |
公式導致 |
| |
最大化產量並最小化 |
| |
後處理過程中的浪費 |
| |
材料。統計 |
| |
分析效用是指 |
| |
我們適合的模型。我們是什麼 |
| |
爭取最少的 |
| |
我們模型的準確率平方 |
| |
就我們的能力而言 |
| |
預測...會發生什麼 |
| |
候選人的結果 |
| |
配方...的組合 |
| |
混合因素。現在我要走了 |
| |
回答一連串問題 |
| |
構成詳細的 InfoQ |
| |
評估被組織成 |
| |
資訊的八個維度 |
| |
品質.我想指出 |
| |
並不是所有的問題都會 |
| |
與不同的事物同樣相關 |
| |
數據科學與統計 |
| |
項目，並且這不是 |
| |
旨在成為僵化的教條，但是 |
| |
而是一組東西 |
| |
問問自己是個好主意。 |
| |
這些問題代表了一種 |
| |
數據分析智慧 |
| |
看起來比僅僅更廣泛 |
| |
特定的應用 |
| |
統計技術。影印本 |
| |
包含這些的電子表格 |
| |
問題以及指向 |
| |
最常見的 JMP 功能 |
| |
對於回答一個有用 |
| |
將上傳特定的一個 |
| |
前往 JMP 社區 |
| |
附此講書供您使用。作為 |
| |
我繼續回答問題， |
| |
我將演示一個分析 |
| |
JMP 中的資料。所以問題1 |
| 是 |
是使用的數據規模 |
| |
與既定目標一致嗎？所以 |
| |
我們所擁有的 X 包括 |
| |
單一分類變數 |
| |
處理和11連續 |
| |
輸入。這些是測量的 |
| |
作為百分比，也 |
| |
記錄為百分之半。我們 |
| |
沒有總金額 |
| |
成分，僅 |
| |
百分比。總數為 |
| |
遺失的訊息 |
| |
或從未記錄過。有 |
| |
其他潛在重要的 |
| |
的訊息是 |
| |
這裡失蹤了。之間的時間 |
| |
制定批次和 |
| |
測量消失了 |
| |
可能還有其他的 |
| |
協變量層級的信息 |
| |
這裡缺少了 |
| |
描述了以下條件 |
| |
從而發生反應。 |
| |
沒有比我更多的信息 |
| |
有，我不能說有多重要 |
| |
這種協變量資訊 |
| |
本來可以。我們確實有 |
| |
當天的訊息 |
| |
批次處理，這樣就可以用作 |
| |
可能是代理人。總的來說我們 |
| |
希望擁有最多的東西 |
| |
重要的投入，以及 |
| |
我們對反應的測量 |
| |
希望優化。我們可以有 |
| |
有更多信息，但是這個 |
| |
看起來很有希望嘗試 |
| |
並分析與.第二 |
| |
與數據相關的問題 |
| |
分辨率是如何可靠和 |
| |
測量設備精確 |
| |
和資料來源。而事實 |
| |
是，我們沒有很多 |
| |
具體資訊在這裡。這 |
| |
統計學家內部 |
| |
公司本來會有更多 |
| |
資訊.在這種情況下我們 |
| |
別無選擇，只能相信 |
| |
化學家製定並 |
| |
很好地記錄了混合物。這 |
| |
第三個問題與數據有關 |
| 解析度是 |
是數據 |
| |
適合數據的分析 |
| |
聚合等級？還有 |
| |
這裡的答案是肯定的，假設 |
| |
他們的測量系統是 |
| |
準確且數據是 |
| |
夠乾淨。我們要去什麼 |
| |
最終實際做的是 |
| |
我們將使用 |
| |
功能數據瀏覽器 |
| |
提取功能原理 |
| |
組件，它們是數據 |
| |
派生資料型別 |
| |
聚合。然後我們就 |
| |
將會為那些建模 |
| |
功能主成分 |
| |
使用輸入變數。所以 |
| |
現在我們繼續討論數據 |
| |
結構尺寸和 |
| |
我們問的第一個問題是 |
| |
使用的數據與 |
| |
既定目標？而且我認為 |
| |
這裡的答案是明確的「是」。是 |
| |
試圖最大化 |
| |
屈服。我們有測量數據 |
| |
那個，輸入是 |
| |
記為 X。第二個數據 |
| |
結構問題在哪裡 |
| |
事情真的開始變得 |
| |
對我來說很有趣。所以這是 |
| |
是完整性細節 |
| |
（異常值、缺失值、數據 |
| |
腐敗）所描述的問題和 |
| |
處理得當嗎？所以從 |
| |
這裡我們可以使用JMP來實現 |
| |
了解異常值在哪裡 |
| |
是，找出策略 |
| |
對於缺失值該怎麼辦， |
| |
觀察他們的模式等等 |
| |
在。所以這就是這裡 |
| |
事情會變得有點 |
| |
更有趣一點。首先 |
| |
我們要做的是 |
| |
來確定是否有 |
| |
我們發現的數據中的任何異常值 |
| |
需要關心。所以 |
| |
為了做到這一點，我們要去 |
| |
探索異常值 |
| |
螢幕外的平台 |
| |
菜單。我們要載入 |
| |
反應變量，並且因為 |
| |
這是一個多變量設置， |
| |
我們將使用一個新功能 |
| |
在 JMP Pro 16 中稱為穩健 |
| |
PCA 異常值。所以我們看看哪裡 |
| |
大的殘差在那些 |
| |
一種帕累托型圖。 |
| |
有一張快照顯示了哪裡 |
| |
有一些潛在的 |
| |
異常大的觀察結果。我 |
| |
我真的不認為這看起來 |
| |
對我來說太不尋常或令人擔憂。 |
| |
我們可以保存大的異常值 |
| |
轉到數據表，然後查看 |
| |
他們在分佈中 |
| |
平台以及我們所看到的 |
| |
看起來像是常態分佈 |
| |
中間被取出。所以我 |
| |
認為這是數據 |
| |
來自相同的地方 |
| |
人口眾多卻什麼都沒有 |
| |
真的要擔心這裡， |
| |
離群值。所以一旦我們 |
| |
照顧異常值 |
| |
我們進入並探索的情況 |
| |
缺失值。那我們是什麼 |
| |
首先要做的是我們要去 |
| |
將 Ys 加載為...到 |
| |
平台，然後我們就去 |
| |
使用缺失值 |
| |
快照看看有什麼模式 |
| |
他們是我們失蹤的人之一 |
| |
價值觀。它看起來像 |
| |
缺失值往往發生在 |
| |
水平簇，並且有 |
| |
也有相同的缺失值 |
| |
跨行。所以你可以看到 |
| |
這裡有黑色斑點。 |
| |
然後我們去申請一個 |
| |
自動資料插補， |
| |
繼續進行並節省 |
| |
插補的公式列 |
| |
新的缺失值 |
| |
使用迴歸類型的列 |
| |
開發的演算法 |
| |
我的一個博士生叫米洛 |
| |
北卡羅來納州的頁面。這樣我們就可以玩了 |
| |
繞一點，得到一個 |
| |
感覺ADI怎麼樣 |
| |
算法正在工作。所以就是 |
| |
建立了這些公式列 |
| |
正在剝落的元素 |
| |
ADI 估算列，即 |
| |
向量公式列，以及 |
| |
評分插補函數 |
| |
正在計算預期 |
| |
給定缺失單元格的值 |
| |
非缺失單元格，無論何時 |
| |
它有一個缺失值。這是 |
| |
只是進行非 |
| |
缺失值。所以你可以看到207 |
| |
在 YO...Y6 那裡。最初是 |
| |
207 但後來我把它改為 |
| |
失蹤了，現在正在 |
| |
估計為234。 |
| |
所以我會這樣做幾次 |
| |
你可以看看怎麼樣 |
| |
在職的。所以這裡我會放一個大的 |
| |
Y7 的值就是現在。 |
| |
被替換。如果我們下去 |
| |
我們新增一行， |
| |
那麼所有缺失值都在那裡 |
| |
最初，該列意味著 |
| |
被替換為 |
| |
估算。如果我要去的話 |
| |
並為其中一些添加值 |
| |
那些缺失的細胞，它會 |
| |
開始做條件 |
| |
對仍然失踪的人的期望 |
| |
使用訊息的細胞 |
| |
那是失蹤的那個… |
| |
非失踪者。所以我們的下一個 |
| |
資料結構的問題是 |
| |
是分析方法 |
| |
適合資料結構嗎？ |
| |
所以我們有 11 個混合輸入 |
| |
和一個處理變數 |
| |
絕對的。那些正在去 |
| |
被輸入到至少 |
| |
正方形類型模型。我們有 |
| |
13 連續響應和 |
| |
我們可以使用...對它們進行建模 |
| |
單獨使用最少 |
| |
正方形。或者我們可以建模 |
| |
職能主體 |
| |
成分。 ……現在有 |
| |
問題。 X 是... |
| |
輸入變數尚未 |
| |
完全隨機化。這是很 |
| |
很明顯他們會弄髒 |
| |
周圍有一個或多個 |
| |
化合物然後移動 |
| |
到另一個。所以 |
| |
的順序 |
| |
輸入變數不同 |
| |
有點隨意。它是 |
| |
明顯缺乏隨機化，且 |
| |
這將會產生負面影響 |
| |
影響我們的…普遍性 |
| |
以及我們的結論的強度。 |
| |
數據整合是第三 |
| |
InfoQ 維度。這些數據 |
| |
手動輸入實驗室筆記 |
| |
主要由混合物組成 |
| |
百分比和裝備 |
| |
讀數。我們只能假設 |
| |
數據已輸入 |
| |
正確且 X 是 |
| |
與回應正確一致。 |
| |
如果情況並非如此，那麼 |
| |
模型會有嚴重偏差 |
| |
問題並有 |
| |
普遍性問題。 |
| |
整合更是一個問題 |
| |
與觀測數據 |
| |
機器中的科學問題 |
| |
學習練習，而不是實驗室 |
| |
像這樣的實驗。雖然 |
| |
它不適用於這裡，我會 |
| |
指出隱私和 |
| |
保密問題可能是 |
| |
透過建模來識別 |
| |
資料的敏感部分使用 |
| |
待發布的組件 |
| |
在數據上。如果由此產生的 |
| |
模型被預測，然後一 |
| |
應該關注隱私 |
| |
關切的問題沒有解決。顳 |
| |
相關性是指 |
| |
操作時間排序 |
| |
資料收集、分析和 |
| |
部署狀況及是否有差距 |
| |
這些階段之間導致 |
| |
的有用性下降 |
| |
研究中的資訊。 |
| |
在這種情況下，我們只能簡單地 |
| |
希望物資供應 |
| |
相當一致且 |
| |
測試設備是 |
| |
相當準確，這是一個 |
| |
在此無法驗證的假設 |
| |
觀點。我們的時間分辨率 |
| |
當資料收集時有 |
| |
在日級別，這意味著 |
| |
沒有太多辦法 |
| |
我們可以核實一下是否有時間 |
| |
每天內的變化。 |
| |
數據和目標的時間順序是 |
| |
關於可用性 |
| |
相關變數都在 |
| |
變數是否是 |
| |
全部存在於數據中或 |
| |
資訊是否正確 |
| |
當模型可用時 |
| |
已部署。用於預測 |
| |
模型，這個與模型有關 |
| |
適合類似的數據 |
| |
當時會出現什麼 |
| |
該模型將被評估 |
| |
新數據。這樣我們的數據 |
| |
設定當然沒問題。為了 |
| |
然而，建立因果關係 |
| |
我們的處境並不那麼好 |
| |
因為缺乏形狀 |
| |
隨機化意味著時間 |
| |
效應和因素效應可能 |
| |
感到困惑，導致偏見 |
| |
在我們的估計中。內生性， |
| |
或者顛倒因果關係，可以 |
| |
顯然這裡是一個問題，因為 |
| |
溫度等變數 |
| |
反應時間顯然可以是 |
| |
影響反應，但有 |
| |
未被記錄。全面的， |
| |
有很多我們不知道的事情 |
| |
關於這個維度 |
| |
訊息品質意識。 |
| |
InfoQ 的其餘部分 |
| |
評估將是 |
| |
取決於類型 |
| |
我們所做的分析。所以在這個 |
| |
我要繼續 |
| |
對此數據進行分析 |
| |
使用功能數據 |
| |
JMP Pro 中的瀏覽器平台 |
| |
這讓我可以跨模型 |
| |
所有列同時 |
| |
以一種基於的方式 |
| |
功能主成分， |
| |
其中包含最大數量 |
| |
所有這些的信息 |
| |
中所示的列 |
| |
最有效的格式可能。 |
| |
我將致力於 |
| |
列的估算版本 |
| |
我之前計算過的 |
| |
推介會。我要去 |
| |
指出我將會 |
| |
努力尋找組合 |
| |
達到的混合因素 |
| |
盡可能接近地 |
| |
最小平方法意義，理想 |
| |
所創建的曲線 |
| |
最大化的實踐者 |
| |
潛在產品的數量 |
| |
可能是批量的 |
| |
最大限度地減少 |
| |
他們的雜質 |
| |
現實地想了一批 |
| |
可以包含。所以我開始 |
| |
透過進入分析進行分析 |
| |
選單，調出功能 |
| |
數據瀏覽器。這有行作為 |
| |
功能。我要加載我的 |
| |
估算行，然後我要去 |
| |
放入我的公式中 |
| |
組件和我的處理 |
| |
專欄作為補充 |
| |
多變的。我們有身分證 |
| |
函數，即批次 ID。我在這 |
| |
進去。我可以看到功能， |
| |
兩者都完全覆蓋，並且 |
| |
我可以看到各個功能。 |
| |
然後我可以加載目標 |
| |
函數，這是理想的。 |
| |
這將改變 |
| |
分析結果一旦我 |
| |
開始進入建模階段 |
| |
腳步。所以這些都很漂亮 |
| |
簡單的功能，所以我只是 |
| |
將以它們建模 |
| |
B 樣條線。 |
| |
然後我要進入我的 |
| |
功能 DOE 分析。 |
| |
這將適合模型 |
| |
將輸入連接到 |
| |
功能主體 |
| |
組件，然後連接所有 |
| |
的方式透過 |
| |
特徵函數使其如此 |
| |
我們能夠恢復 |
| |
整體功能如它們 |
| |
改變了，因為我們正在改變 |
| |
混合因素。這 |
| |
功能主成分 |
| |
分析表明 |
| |
有四個維度 |
| |
這些反應的變化 |
| |
功能。要了解什麼 |
| |
他們的意思是，讓我們繼續吧 |
| |
使用 FPC 分析儀進行探索。 |
| |
所以在這裡觀看這個窗格 |
| |
我調整FPC 1，我們可以看到 |
| |
該 FPC 關聯的 |
| |
峰高。 FPC2，看起來 |
| |
就像是高峰 |
| |
狹窄性。這幾乎就像一個 |
| |
決議主體 |
| |
成分。第三個是 |
| |
與膝蓋的種類有關 |
| |
主峰的左側。 |
| |
《巔峰4》看起來就像是 |
| |
主要與 |
| |
雜質，所以這就是 |
| |
其根本意義是 |
| |
這四個功能 |
| |
主要成分。 |
| |
所以我們已經描述了我們的目標 |
| |
最大化產品和 |
| |
最大限度地減少雜質，並且 |
| |
我們已將此傳達給 |
| |
透過這個理想或分析 |
| |
我們提供的黃金曲線 |
| |
FDE的開始 |
| |
我們正在做的練習。為了得到 |
| |
盡可能接近那個理想 |
| |
曲線，我們打開意願 |
| |
功能。然後我們就可以走了 |
| |
並最大化意願。 |
| |
我們發現最優的 |
| |
輸入的組合約為 |
| |
4.5%的 |
| |
成分四，2% |
| |
成分 6. 2.2% |
| |
成分 8 和 1.24% |
| |
成分9使用加工 |
| |
方法二.讓我們回顧一下如何 |
| |
我們已經到了這裡。我們首先 |
| |
計算缺失的回應 |
| |
列。然後我們找到B樣條 |
| |
適合這些功能的模型 |
| |
在 FDE 平台上表現良好。 A |
| |
功能主成分 |
| |
分析確定有 |
| |
有四個特徵函數 |
| |
表徵變化 |
| |
這個數據。這四個 |
| |
確定了本徵函數 |
| |
透過 FPC 分析器到每個 |
| |
有一個合理的主題 |
| |
事的意義。功能性的 |
| |
DOE 分析包括 |
| |
應用前向剪枝 |
| |
選擇每個 |
| |
個人 FPC 分數使用 |
| |
DOE 因素作為輸入變數。 |
| |
我們在這裡看到這些有 |
| |
找到的組合 |
| |
相互作用和主要影響 |
| |
最有預測性的是 |
| |
每個功能主體 |
| |
各組成部分單獨評分。 |
| |
功能 DOE 分析器 |
| |
優雅地捕捉了一切 |
| |
各方面轉化為一種表示 |
| |
這使我們能夠找到 |
| |
配方加工步驟 |
| |
預計有理想的 |
| |
透過高測量的特性 |
| |
收率高，雜質低。 |
| |
現在我們可以做一個 InfoQ |
| |
的評估 |
| |
數據的普遍性 |
| |
分析。所以在這種情況下， |
| |
我們更感興趣的是 |
| |
科學普遍性，如 |
| |
實驗者是一個深 |
| |
知識淵博的化學家工作 |
| |
與該化合物。所以我們是 |
| |
將會更加依賴 |
| |
他們的主題專業知識 |
| |
然後是統計原理 |
| |
以及假設檢定等工具 |
| |
等等。目標是 |
| |
主要是預測性的，但是 |
| |
普遍性是一種 |
| |
有問題的，因為 |
| |
實驗沒有設計。我們的 |
| |
估計交互作用的能力 |
| |
對於像這樣的技術被削弱 |
| |
前向選擇與不可能 |
| |
透過最小平方法分析 |
| |
完整模型。因為 |
| |
研究不是隨機的 |
| |
可能是未記錄的時間 |
| |
秩序效應。我們沒有 |
| |
潛在重要的協變量 |
| |
溫度等訊息 |
| |
反應時間。這創造了 |
| |
又一個大問號 |
| |
關於普遍性。 |
| |
重複性和 |
| |
研究的重現性是 |
| |
和我們一樣，這裡也是一個未知數 |
| |
沒有關於的信息 |
| |
由於可變性 |
| |
測量系統。幸運的是， |
| |
我們確實有 JMP 等工具 |
| |
評估設計以理解 |
| |
現有的設計以及 |
| |
增強設計，可以大大 |
| |
增強概括性 |
| |
分析的性能。 |
| |
增強可以改善訊息 |
| |
關於主效果和 |
| |
互動，第二輪 |
| |
實驗可能是 |
| |
隨機也增強 |
| |
普遍性。所以現在我 |
| |
將要經歷幾個 |
| |
簡單的步驟來展示如何 |
| |
提高泛化能力 |
| |
我們的研究表現使用 |
| |
JMP 中的設計工具。於我之前 |
| |
這樣做，我想指出 |
| |
我必須獲取數據並 |
| |
將其轉換為 |
| |
比例而不是按比例 |
| |
百分比。否則設計 |
| |
工具並沒有真正達成一致 |
| |
數據很好。所以我們 |
| |
進入評估設計器 |
| |
然後我們加載 Ys 並 |
| |
我們的X。我請求能夠 |
| |
處理二階交互。 |
| |
然後...是的，我收到了這個警報 |
| |
說，嘿，我不能這麼做 |
| |
因為我們無法 |
| |
估計所有的交互作用 |
| |
一次給定一個因素 |
| |
我們擁有的數據。所以我支持 |
| |
向上。我們去增強 |
| |
設計師，加載一切， |
| |
設定增強。我們會選擇，然後我- |
| |
最佳設計，因為我們 |
| |
真正關心 |
| |
此處預測的性能。 |
| |
和我 |
| |
將運行次數設定為 148。 |
| |
訂製設計師要求 |
| |
至少 141，但我去了 |
| |
148 只是為了確認一下 |
| |
我們有能力 |
| |
估計我們所有的互動 |
| |
很不錯。之後，它 |
| |
大約需要 20 秒 |
| |
建構設計。所以現在 |
| |
我們有設計，我是 |
| |
將展示最多的兩個 |
| |
重要的診斷工具 |
| |
增強設計師 |
| |
評估設計。上 |
| |
左邊，我們有分數 |
| |
設計空間圖。這是 |
| |
顯示 50% 的體積 |
| |
設計的有 |
| |
預測方差為 |
| |
小於 1。所以 1 就是 |
| |
相當於殘差 |
| |
錯誤。所以我們能夠得到 |
| |
優於測量誤差 |
| |
品質預測 |
| |
大部分設計。上 |
| |
對了，我們有彩色地圖 |
| |
相關性。這是顯示 |
| |
我們能夠估計 |
| |
一切都很好。有 |
| |
有些...因為混合物 |
| |
約束，我們得到一些 |
| |
之間的強相關性 |
| |
相互作用和主要影響。 |
| |
整體來說效果還可以 |
| |
乾淨的。並且交互作用是 |
| |
很好地與一個分開 |
| |
另一個，以及主要影響 |
| |
與 |
| |
彼此也是如此。後 |
| |
看設計 |
| |
診斷，我們可以使 |
| |
桌子。在這裡，我已經展示了 |
| |
前 13 次增強運行 |
| |
我們看到我們已經......我們 |
| |
有更多的隨機化。我們不 |
| |
使用相同的主效應 |
| |
一次又一次的條紋。 |
| |
這是更好的證據 |
| |
隨機化和總體 |
| |
設計將能夠 |
| |
更好地估計主要 |
| |
影響和相互作用有 |
| |
收到更好、更高的品質 |
| |
第二階段的訊息 |
| |
的實驗。所以輸入 |
| |
變數 X 是準確的 |
| |
混合物的表示 |
| |
比例，一目了然 |
| |
客觀利益。這 |
| |
反應是接近的替代品 |
| |
對於產品的數量 |
| |
以及其中的雜質含量 |
| |
批次。我們很擅長 |
| |
7.1.那裡。理由 |
| |
很清楚。研究結束後，我們 |
| |
當然可以去準備一個 |
| |
批次即配方 |
| |
FDOE 推薦的 |
| |
分析器。試試一下，看看是否可以 |
| |
我們得到了那種 |
| |
我們正在尋找的性能 |
| |
為了。很明顯的是 |
| |
這就是我們可以做到的方式 |
| |
評估我們所取得的成績 |
| |
我們的學習目標。所以現在在 |
| |
InfoQ 最後一個維度 |
| |
溝通。透過描述 |
| |
以理想曲線為目標 |
| |
功能，功能 DOE |
| |
Profiler 制定目標和 |
| |
晶體分析結果 |
| |
清除。但這可以表達 |
| |
在一個容易的水平 |
| |
由化學家解釋和 |
| |
研發機構的經理。 |
| |
正如我們已經完成了詳細的 |
| |
資訊品質評估， |
| |
我們一直很坦率地談論 |
| |
的優點和缺點 |
| |
研究設計和數據 |
| |
收藏。如果結果確實如此 |
| |
不是一概而論，我們當然 |
| |
知道去哪裡找 |
| |
問題是。一旦你成為 |
| |
熟悉概念， |
| |
有一個很好的插件編寫 |
| |
作者：Ian Cox，你可以用它來 |
| |
快速定量 InfoQ |
| |
評估。該插件有 |
| |
上部和下部滑塊 |
| |
每個 InfoQ 維度的邊界。 |
| |
這些尺寸組合起來 |
| |
使用意願函數 |
| |
整體區間的方法 |
| |
左邊是 InfoQ。 |
| |
這裡有一個評估 |
| |
我涵蓋的數據和分析 |
| |
這個演示。插件是 |
| |
也是一個有用的思考工具 |
| |
會讓你考慮每一個 |
| |
InfoQ 的維度。這也是一個 |
| |
實用的溝通方式 |
| |
InfoQ 對您的評估 |
| |
客戶或您的管理階層，如 |
| |
它提供了一個高層次的視圖 |
| |
資訊品質無 |
| |
使用大量技術 |
| |
概念和術語。加載項 |
| |
也可用作基礎 |
| |
InfoQ 的比較。我的 |
| |
最初的希望是這樣的 |
| |
簡報有點 |
| |
更有野心一點。我曾經希望 |
| |
涵蓋我的分析 |
| |
剛剛經歷過，還有 |
| |
另一個更簡單的，我跳過的一個 |
| |
輸入響應並執行 |
| |
一個簡單的多元線性 |
| |
響應的迴歸模型 |
| |
列。今天我只能 |
| |
提供最終評估 |
| |
方法。如你看到的， |
| |
InfoQ 的幾個 |
| |
尺寸受到嚴重影響 |
| |
沒有更複雜的 |
| |
分析。很清楚的是 |
| |
簡單的分析導致 |
| |
InfoQ 得分低很多。 |
| |
簡單的上限 |
| |
分析並沒有那麼高 |
| |
比下限多 |
| |
複雜的一個。和 |
| |
經驗，你將收穫 |
| |
直覺知道 InfoQ 有多好 |
| |
分數用於數據科學 |
| |
您所在行業的項目以及 |
| |
養成更好的習慣 |
| |
將不再視而不見 |
| |
你的資訊瓶頸 |
| |
資料收集、分析和 |
| |
模型部署。資訊 |
| |
品質優良且易於使用 |
| |
介面.這是我的第一次 |
| |
正式資訊品質 |
| |
評估。就我自己而言， |
| |
資訊品質 |
| |
框架已經給出了文字和 |
| |
我對很多事情的結構 |
| |
已經本能地知道了。它 |
| |
已經改變了我的方式 |
| |
方法新數據分析 |
| |
專案.我鼓勵你去 |
| |
自己透過這個過程 |
| |
您自己的數據，即使該數據 |
| |
並且分析已經很 |
| |
你很熟悉。我保證 |
| |
你將成為一個更明智和 |
| |
更有效率的資料科學家 |
| |
因為它。謝謝。 |
