揚聲器
|
成績單
|
| 傑夫帕金森 |
談到開發 JMP 功能時，我們的下一位演講者 John Sall 對我們如何確定優先級有一種有趣的思考方式。 我們確實必須優先考慮哪些功能我們... |
| |
我們想投資哪些功能。 那麼我們如何思考最重要的事情呢？ 使我們的產品更強大的功能是我們應該努力的地方嗎？ |
| |
使其更具吸引力或更性感的功能或專注於緩解疼痛、減輕分析負擔的功能怎麼樣？ |
| |
好吧，約翰認為緩解疼痛應該是我們研發團隊的主要動力。 John 是 SAS 的聯合創始人。 他是 30 多年前創立的 JMP 的首席架構師。 |
| |
對於擁有數據並需要一種探索數據的方法的科學家和工程師來說，需要一種在桌面上輕鬆直觀地探索數據的方法。 |
| |
他將談論 JMP 開發背後的驅動力以及我們遇到我們想要處理的功能的方式。 因此，約翰，我想歡迎你。 謝謝。 |
| 約翰薩爾 |
謝謝你，傑夫。 在這裡，我們在北卡羅來納州卡里的新數字會議中心進行現場直播，我們可以容納更多人。 |
| |
所以讓我們把燈光調暗一點。 |
| |
好吧，我真的不在數字會議中心。 我真的在家。 所以我有一個家庭辦公室。 哎呀。 不是那個。 |
| |
像我們所有人一樣。 我在家主持這次會議。 但是，讓我們切換到企業背景並開始吧。 |
| |
那我該聊什麼呢？ |
| |
好吧，當我們發布 JMP 時，在 JMP 會議聯盟發布的那幾年，這就是我們談論的內容，但在交替的年份，我總是只選擇一個主題。 所以我選擇了一年的大統計數據，或者下一年的幽靈數據或秘密功能 |
| |
兩年前。 今天我的話題是以字母A開頭的大詞。 |
| |
好吧，這些是用於開發 JMP 的詞彙特徵主題。 所以讓我分享我的屏幕。 |
| |
和 |
| |
最小化 |
| |
這裡。分享。 |
| |
那麼哪個主題最重要？ 這是以...開頭的三個詞，以字母 A 開頭的大詞。 |
| |
正如傑夫剛才提到的，首先是合成代謝。 嗯，合成代謝就是增長肌肉，讓 JMP 更強大。 |
| |
合成代謝過程構建器官和組織，這些過程產生細胞的生長和分化以增加體型。 |
| |
因此，增強 JMP 的功能將是一個機會，這當然非常重要，但下一個 |
| |
壯陽藥，讓 JMP 更性感，更刺激，發現的快感。 所以我們希望它也成為一個屬性。 |
| |
但我們也關心你在工作流中的進步，所以鎮痛是第三個詞，意思是減輕疼痛。 |
| |
緩解疼痛。 |
| |
因此，我希望人們表達類似以下虛構引語的內容，\！“版本 15 剛剛為我服務......為我節省了數小時甚至數天的工作時間，而我以前不得不為此工作。\！” 這可以減輕很多疼痛。 |
| |
或 \!" 我以前必須單獨做每一個，現在它是一口氣完成的。\!" 那裡有很多疼痛緩解。 或 \!" 過去，我必須使用其他幾種工具才能完成所有工作，但現在我可以在 JMP 中完成所有工作。\!" |
| |
或者 \!" 我向我的同事們展示了我是如何輕鬆做到這一點的。 他們感到很驚訝。\!" 或 \!" 我以前必須手動編程所有這些，現在只需點擊幾下鼠標就可以完成。\!" |
| |
或 \!"JMP 讓我保持順暢，讓我的注意力集中在分析數據上，而不是過多地轉移到操作細節上。\!" 這些都是我們想听到的緩解疼痛的表達方式。 |
| |
現在為什麼痛苦和挫折是真正的消極因素。 流量很重要。 在心流中你不會分心。 在心流中，您更有可能從數據中學到一些東西並做出發現。 |
| |
現在授權也很重要，但是新功能往往只有少數人使用，而舊功能則被許多人使用。 所以我們想讓舊功能更好地工作 |
| |
以減少使用它們時的痛苦。 當然，生產力在很大程度上取決於我們的工具在時間使用方面的效率。 因此，如果我們能夠更輕鬆、更快速地獲得結果，那將是一個巨大的勝利。 因此，讓我們來看很多例子。 |
| |
首先，數據表附帶的腳本。 因此，您在這裡並排看到了早期版本 JMP 中的一個示例。 我認為是 JMP 14 或 13，其中 |
| |
以前你必須在這個按鈕上按住鼠標鍵，然後它會彈出一個菜單項，然後你會找到一個運行按鈕來運行該腳本。 |
| |
但是新方法只是在腳本旁邊有一個播放按鈕。 所以你只需點擊那個播放按鈕，它就可以保存下拉菜單。 |
| |
好吧，這不是一個巨大的勝利，您認為單擊按鈕和下拉菜單之間的差別並不大。 但這對新用戶來說也是一個巨大的勝利，因為新用戶不再需要了解 |
| |
一個熱按鈕將在下面運行。 但是腳本旁邊有播放按鈕。 因此，人們對這些是腳本有了更多的了解。 |
| |
將腳本與數據一起存儲的能力在 JMP 中很重要，我們希望人們立即了解這一點 |
| |
而不必四處釣魚或查看提示以了解它的工作方式。 並且能夠存儲您所有的腳本，這非常方便 |
| |
在數據表本身內，而不是找到其他地方來存儲它們。 所以對於新用戶來說，播放按鈕。 所以，僅僅通過這個簡單的改變就可以減輕一些痛苦。 |
| |
這是一個我們很遺憾沒有在 JMP 中更早做出的改變。 |
| |
讓我們談談準備數據。 準備數據時，您必須做的一件大事是連接來自多個來源的數據。 |
| |
現在 JMP，即使是第一版，也必須加入實用程序。 但這仍然涉及復雜的對話和處理多個數據表。 |
| |
這是我租電影的經典示例，我們有電影租賃交易表 |
| |
有客戶、項目編號、訂單日期、訂單年份，然後我們有要租的電影庫存，以及每部電影的詳細信息。 然後我們有客戶……關於客戶的信息等等。 我們想問問題，涉及所有三個表，例如 |
| |
哪些性別在哪些類型的電影中很普遍。 那麼這涉及 |
| |
遍歷所有三個表，當然，join 命令是實現它的方法。 我把交易數據和我 |
| |
將其與客戶合併。 當然，客戶 ID 是匹配的 |
| |
列，我想包括交易方面的不匹配項。 所以如果我沒有客戶數據，我仍然不會丟失我的交易數據。 這就是所謂的左外連接，因此形成了新的數據表。 現在到那個數據表，我想加入那個 |
| |
到庫存數據。 所以我加入了我當時匹配的項目編號，我也想要一個左外連接，現在我有 |
| |
另一張桌子。 所以現在，我有五個表，而不是三個表，是連接的結果，但現在我可以看看按流派回答性別問題，這 |
| |
性別傾向於租更多的電影類型。 |
| |
並且還涉及製作所有這些新的中間數據表。 |
| |
事實證明，有更簡單的方法可以大大減少這些額外步驟和額外表格帶來的痛苦。 因此，讓我在這張桌子上撤消這張桌子。 |
| |
我想指出在 tables 命令下，有一個名為 JMP query builder 的命令，這會調出續集工具 |
| |
對於連接表，這比所有那些連接對話要容易得多，但它仍然會生成新的數據表。 |
| |
但是在幾個版本之前，我們推出了更好的東西，可以進一步減少痛苦，那就是虛擬連接。 所以如果我看這張交易表， |
| |
我注意到它已經加入了。 |
| |
所以發生的事情是，當我準備電影庫存表時，它由項目編號唯一標識。 所以我給項目編號 |
| |
一個鏈接 ID，表示它是唯一標識的，這就是我可以索引該表的方式。 同樣，我有一個項目 ID 來標識客戶數據。 當我準備我的交易數據時，我有這兩個在某種意義上有外鍵， |
| |
一個鏈接引用，它通過……它們之間的標識 ID 引用不同的數據表。 因此，它會自動鏈接它，我已經擁有了回答該問題所需的一切。 所以我可以做 |
| |
每個 |
| |
性別，我可以 |
| |
找到我想做的電影類型。 所以我可以在這裡看到男性更喜歡動作片，而女性更喜歡家庭片 |
| |
rom com更多的是女性等等。 所以我已經回答了涉及三個表的問題，而無需遍歷所有連接，因為它實際上是通過匹配表中的那些 ID 列來連接的。 |
| |
所以我做了 |
| |
從中減輕了很多痛苦。 所以讓我們關閉它，事實上。 |
| |
因此，我認為數據表連接涉及到對發布的很多痛苦緩解。 |
| |
重新編碼， |
| |
這是我們在準備數據集時所做的其他主要事情之一。 |
| |
我們從許多版本前的一個非常簡單的重新編碼開始，我們只有一個字段用於舊值和新值，新值開始時與舊值相同，然後我可以剪切和粘貼或編輯這些值為了重新編碼 |
| |
到新列或現有列中。 |
| |
重新編碼每個版本都經歷了巨大的改進，我們對當前的狀態感到非常興奮。 讓我們看看這個醫院、地區醫院的數據集。 現在重新編碼就在 |
| |
列標題中的右鍵或右鍵單擊菜單。 我可以通過 |
| |
選擇一堆東西並將它們分組為新值，例如診所。 |
| |
但我認為也有很多捷徑。 我最喜歡的快捷方式之一是 |
| |
對相似的值進行分組。 所以我可以給出一些字符差異數量的閾值等等，它會自動將所有這些東西分組。 因此它將拼寫略有不同的所有地區醫院歸為一類。 |
| |
而我還能... |
| |
看起來它錯過了一個。 不過沒關係，我現在可以把那個和其他的組合在一起，然後 |
| |
總而言之，所有鄉村醫院都已根據匹配的那些自動分組，看起來我可以在這裡多匹配一個。 |
| |
現在突然間我有了一些東西。 我在重新編碼時節省了很多精力。 |
| |
當然，在 JMP 15 中，我們添加了新功能，我不會在這裡展示，但我想指出這一點。 如果你有另一個數據集 |
| |
...證明...這些類別的最佳類別名稱，我可以通過匹配過程並讓它在找到所有這些東西的匹配項時選擇最接近的匹配項。 所以 |
| |
因此，recode 在發布過程中經歷了很多演變，以減少該操作的痛苦。 當然，請考慮一下。 我們花多少時間準備數據而不是分析數據？ |
| |
通常，我們 70% 到 90% 的時間都花在了準備數據上。 因此，減少痛苦並減少時間成為重大勝利。 所以減輕了重新編碼的痛苦。 |
| |
單擊值。 這是 |
| |
城市數據集。 |
| |
假設當我查看其中某些內容的詳細信息時，比如可能是某些異常值，我想更詳細地查看它。 所以我可以把它變成一個鏈接。 讓我們 |
| |
讓我們把它變成一個 wiki 頁面 Wikimedia 頁面的東西。 我將在那裡複製該文本並轉到信息列，然後將其轉換為一個鏈接，即表達式處理程序。 |
| |
現在我可以 |
| |
這 |
| |
表格並將其轉換為網絡 |
| |
地址。所以 |
| |
我要去 wikipedia.org 然後把 |
| |
該城市的名稱並將其更改為標題大小寫，我可以在該行上對其進行測試並調出奧爾巴尼。 |
| |
所以現在我要說... |
| |
哦好的。 |
| |
現在我可以點擊任何城市，然後獲取關於該城市的維基百科文章。 或者它可以將其更改為地圖坐標。 所以我可以...讓我們複製該文本並轉到列信息，現在我將代替它 |
| |
做標題大小寫。 |
| |
讓我們看看是否可以解析。 現在我可以點擊丹佛，它將查詢丹佛和谷歌地圖。 |
| |
好吧，我已經把事情變成了鏈接……我可以做搜索，可以做地圖請求等等。 我什至可以 |
| |
將這段話粘貼到其中並單擊它並讓它說出城市的名稱。 因此，我認為這為能夠在我們的數據表中存儲鏈接提供了強大的功能 |
| |
鏈接到網頁或做其他事情，任何你可以用 ACL 表達的東西，你都可以用這些事件處理程序來做。 這樣可以減少很多痛苦。 |
| |
所以我最喜歡的一種減輕疼痛的技術是廣播，這是你按住命令鍵或控制鍵做多次的地方，你有很多類似的分析。 可以，然後呢 |
| |
這不僅適用於菜單命令，還適用於許多按鈕和調整圖形框架的大小以及執行其他操作，將內容粘貼到圖形中等等。 |
| |
因此，讓我們舉一個例子。 然後讓我們單擊...或者只對所有這些列進行分配。 |
| |
假設我想擺脫 |
| |
這個箱形圖。 |
| |
如果我只是按住 |
| |
那個菜單項，我會消除那個項目的箱線圖。 但我想做的是消除所有項目的箱線圖。 所以我要做的是按住命令鍵並取消選中箱線圖，現在所有這些都取消選中。 我現在可以取消選中分位數 |
| |
並且它將取消選中所有內容，因為它已接受該命令並向該窗口中的所有活動對象廣播，對於那些理解該命令的活動對象，例如分位數命令，它將服從該命令。 |
| |
現在這甚至適用於一些與提示對話有關的事情。 因此，讓我們看一下匯總統計數據。 讓我按住命令鍵並自定義摘要統計信息。 |
| |
假設我不想要置信限度，但我確實想要缺失值的數量。 我會說，好吧，它會把它應用到所有... |
| |
所有的事情。 為了做到這一點，它必須 |
| |
獲取該對話的結果，從中製作腳本，然後將該腳本廣播到該窗口中的所有其他地方。 |
| |
現在這種情況不會一直發生。 有時當你得到提示時，你會得到每次分析的提示。 對於我們嘗試的每個版本 |
| |
實現更多細節，對話在廣播之前完成，因此它將向每個可用的地方廣播相同的對話。 當然，我可以廣播的所有其他內容都會發生變化，你知道，所有這些項目的大小，或者我可以廣播 |
| |
更改背景顏色，我可以將所有圖中的所有背景顏色更改為橙色 |
| |
這似乎與那個框架框相關。 所以這個廣播成為一個非常強大的工具。 |
| |
所以， |
| |
這為我們大多數人減輕了很多痛苦，但仍然存在這樣的情況，你可能有 40,000 個分組，就像今年早些時候出現的那樣，他想對所有 40,000 個進行逆向預測，它會提示你 40,000 次。 |
| |
這將在版本 16 中得到修復。 對於那個用戶來說，這減輕了很多痛苦。 |
| |
保存公式列。 |
| |
我喜歡公式列。 當您擬合模型時，您可以保存一列預測。 但是在那個預測中，有一個實時公式，所以你可以檢查那個公式，你可以修改它，你可以將它應用於進來的新數據。 您可以將其分析到保存公式。 你可以 |
| |
如果你有 |
| |
JMP Pro，你可以去公式倉庫做很多其他的事情。 您可以從中生成代碼等等。 所以保存公式的能力很重要，但有時 |
| |
例如，如果你有分組，保存公式有很多額外的微妙之處。 |
| |
例如，讓我們擬合，這是糖尿病數據，我們在其中擬合響應 |
| |
針對所有這些預測因素，但我們想針對每種性別分別進行。 |
| |
所以讓我們這樣做吧。 |
| |
因此，我們有兩個按性別分組的性別一和性別二。 現在假設我們要保存 |
| |
事實上，這兩者的預測值。 現在 |
| |
在過去，在我們接受很多止痛方法之前， |
| |
當你保存它時會發生什麼，它會轉到本地數據表。 如果您查看重做下的數據表窗口，它會顯示按組表。 |
| |
所以真的對於 gender=1，這裡這個虛擬數據表中有 235，你可以為 gender=1 顯示。 這裡有一個表變量，顯示了它的分組。 |
| |
它會將它保存到這個臨時表而不是你真正保存的真實表。 |
| |
但 |
| |
前段時間大家保存預測公式的時候，我們保存到真實的數據表中。 如果我看這個，我只是將它保存為 gender=1， |
| |
如果我查看它的公式，它表明如果 gender=1，即 by group 子句，那麼它具有形成該變量預測的線性組合。 |
| |
然後，如果我執行 gender=2，或者如果我按住命令鍵廣播預測公式，現在它們都有了，而且我有兩個子句可用於性別 1 和性別 2。 所以它每次都按組向該輸出添加一個子句。 |
| |
順便說一句，當你保存其他東西時，同樣的事情也會發生，當我保存一列殘差時，這次讓我們按住命令鍵。 |
| |
如果我保存一列殘差，它會按組保存它，它會按組保存適合該殘差的殘差。 就好像您從原始響應中減去預測公式，但這次不是公式列。 |
| |
JMP中幾乎所有的地方，我們都沒有做到，但是大部分地方都做到了，存入一個by組 |
| |
或者在某些情況下通過一個where子句，然後將其保存到原始數據表中，並帶有if語句中的條件。 好的，所以有 |
| |
省了很多力氣。 如果那不可用，tt 將保存在一個臨時表中，然後您必須剪切並粘貼該公式並將 if 表製作成原始表。 所以我們已經解決了這些問題。 現在讓我們假設我再次保存它，再次進行整個過程， |
| |
和 |
| |
並做了另一件事，比如使用不同的變量，其中一些被刪除， |
| |
現在又保存了。 |
| |
所以， |
| |
我保存預測公式，這次按住廣播鍵，實際上是在生成一個新的，而不是保存到舊的，並在它後面追加一個2。 那麼，它怎麼知道不把它保存到舊的呢？ |
| |
好吧，每個合身都有一個 ID。 如果我看屬性 |
| |
通過 ID，它有一個編號，一個為每次匹配重新生成的唯一編號，所以只要它有一個不同的 ID， |
| |
不同的組將具有相同的 ID 與一個分區。 但是只要它有相同的ID，它就會把它保存到同一個東西中。 否則它會創建一個新的地方來保存它。 |
| |
另外，每當我們說預測值時， |
| |
特別是預測公式， |
| |
它將創建一個屬性 the，創建者，在某些情況下還會創建其他信息。 在這種情況下，它具有目標變量 y，這就是預測的內容，創建者適合最小二乘法。 |
| |
然後當你做其他平台時，比如如果你有 JMP Pro 模型比較，那麼該模型比較將了解哪些預測值指的是哪個創建者，哪個目標。 因此它可以跟踪那些增值平台的所有信息。 |
| |
所以， |
| |
公式列通過添加新子句和其他屬性來工作，包括按 ID。 |
| |
而預測子句，如果將它們保存到分類變量中，它會保存整個變量範圍以具有每個響應級別的概率，以及所有元數據和需求中包含的所有內容。 這應該可以減輕很多痛苦。 |
| |
所以， |
| |
從模型中移除效果。 |
| |
好吧，讓我們看一個例子 |
| |
適合的 |
| |
剛好適合體重身高。 |
| |
嗯，這是一個高次多項式的例子。 這是七階多項式 |
| |
比 |
| |
六階多項式等等。 但是你會相信那個合適嗎？ |
| |
事實證明，如果您通過引入高多項式項或僅通過引入更多變量來為模型提供很大的靈活性，它就會提供更多的擬合機會。 在這種情況下是 |
| |
它允許靈活地在以前的數據和最後一個數據點之間進行深入研究，以便更好地適應最後一個數據點。 |
| |
所以它是過度擬合的。 就是這樣......它使用該參數來擬合噪聲而不是擬合 |
| |
數據本身。 |
| |
因此，只要你有大模型，過度擬合就會成為一個問題。 所以 |
| |
你想要適應信號，而不是噪音。 好的，大型模型往往會在預測中引入更多變化，因為畢竟預測是 |
| |
他們正在使用的 y 變量的函數，而且 y 變量是該變量的系統部分加上該變量的誤差部分（如果該變量部分） |
| |
是隨機的，那麼你的預測涉及到那個隨機性。 如果你允許它有太多的靈活性，它會以 |
| |
一個過度擬合的問題，你將通過在該模型中包含所有變量來預測更糟的問題。 |
| |
所以解決這個問題的方法是縮小模型，減少模型的大小或減少模型中係數的大小， |
| |
這樣模型的隨機項的變化就會更少地傳遞到預測值中。 所以 |
| |
在小的 DOE 問題中，這不是問題，因為數據很小，而且數據很平衡，可以準確地適合您要使用的模型。 但是對於任何大型模型中的觀測數據，過度擬合都是一個真正的問題。 |
| |
因此，在我們在 JMP Pro 中引入交叉驗證之前，用戶通常不會意識到這一點。 所以如果你有 JMP Pro，你可以設置一個驗證列， |
| |
這將阻止一些數據，以估計該阻止數據集的錯誤。 這是我有的例子......我正在嘗試預測具體屬性 |
| |
取決於混凝土中的所有這些成分，我有一個巨大的模型。 如果我只是運行那個模型，但保留一些數據並查看上面的 R 方塊， |
| |
我有 SLUMP，我很適合。 我有一個 R 平方 79，但在我適合的驗證集上，我有一個負的 R 平方。 |
| |
任何負的 R 方都意味著它比僅擬合平均值更差。 所以如果我符合均值，我的 R 方將為零。 如果我適合整個模型，我的 R 方會比這差得多。 所以，對於大型模型，你可以比僅僅擬合更糟糕的是它比 |
| |
這有點反信息，因為模型太大了，我們沒有努力縮小模型的大小。 該模型一直由噪聲而不是信號主導。 所以這是一個你應該注意的問題。 |
| |
因此，重要的部分是能夠減小模型的大小。 |
| |
現在我們確實引入了一個模型對話命令來做到這一點。 |
| |
讓我們用模型來研究糖尿病。 |
| |
我可以運行這個模型，如果我想去掉很多這些東西不是很重要。 你知道，年齡 |
| |
對模型的貢獻完全不顯著，所以我想消除年齡。 那麼我會的，我可以回去擬合模型然後 |
| |
回憶它或然後消除年齡。 或者，我可以在這裡直接返回模型對話並適應年齡並將其刪除，但我可能在這裡有一長串模型並且來回做這些事情是相當多的工作。 |
| |
所以而不是那樣做...... |
| |
讓我們看看，我在這裡做什麼。 |
| |
幾個版本之前，我們引入了一個名為效果摘要的新報告。 |
| |
通過效果總結，它可以很容易地對模型進行子集化以使其更好地預測， |
| |
給它更少的靈活性。 |
| |
所以我可以說，好吧，年齡，我可以刪除它。 |
| |
或者，嗯，有很多變數。 讓我們再刪除三個。 |
| |
低密度脂蛋白，嗯，這看起來更重要。 所以我可以保存那個模型。 |
| |
讓我們將它保存到數據表中。 |
| |
我稍後回來說，好吧，讓我記住那個有這個的模型。 |
| |
我實際上可以撤消以前的事情。 所以我可以撤消它並帶回 |
| |
三個變量，我可以撤消它，它會帶回年齡。 所以它實際上存儲，當我使用效果摘要編輯模型時，它實際上存儲了所有這些東西的記憶。 如果我看那個劇本， |
| |
我可以看到這段歷史。 所以每次我做效果模型時，它都會存儲一個歷史條款。 當我執行撤消操作時，它會將其撤消回該歷史記錄。 |
| |
所以刪除很容易。 我還可以添加東西。 如果我減去這兩件事，我可以把它加回去。 我可以加回去，比如說，年齡。 |
| |
這不是一件好事，但我可以做到。 我還可以通過帶回模型的小版本來編輯模型，並且 |
| |
模型對話和添加複合效果等。 |
| |
現在大模型會發生另一件事 |
| |
（讓我撤消這個）。 |
| |
對於大型模型， |
| |
你正在做很多假設檢驗。 |
| |
所以如果你有大量的假設檢驗，你應該考慮一些調整，其中之一被稱為錯誤發現率。 因此，與其將所有這些 p 值視為獨立測試，不如 |
| |
我想應用調整，以便針對多重測試偏差調整這些 p 值，針對子集模型中涉及的選擇偏差。 所以我可以應用錯誤發現率 |
| |
更正它。 因此，我沒有使用常規 p 值，而是使用了錯誤發現調整後的 p 值。 現在我變得更現實了。 所以這將幫助我解決過度擬合問題和假設......進行大量多重測試時的選擇偏差問題 |
| |
事物。 |
| |
所以， |
| |
現在 |
| |
讓我們 |
| |
做下一個主題，那就是轉換。 |
| |
認為 |
| |
你想做模特， |
| |
但 |
| |
而不是 y，您想要擬合 y 的對數。 |
| |
那麼，在你要做的是在數據集中創建一個新列之前， |
| |
登錄y， |
| |
然後對於 Log y，你 |
| |
指定一個... |
| |
做一個公式。 |
| |
我可以拿 |
| |
它的日誌。 |
| |
現在我可以回到我的模型規範並執行 Log y |
| |
然後我恢復健康了。 |
| |
哦，它不見了，我做了什麼？ |
| |
忘記輸入 |
| |
客觀，論據。 |
| |
所以現在我可以 |
| |
適合 Y 的對數 |
| |
現在 |
| |
我已經做到了。 但是讓我們做分析器。 |
| |
我的探查器是根據 Y 的對數。 讓我保存預測值。 我的預測公式是根據 y 的對數， |
| |
現在我將不得不去手動編輯它...... |
| |
該公式並取其指數 |
| |
把它恢復到原來的規模。 因此，以這種方式進行轉換會帶來很多痛苦。 |
| |
好吧，幾個版本前 |
| |
我們引入了轉換。 |
| |
所以我可以採取這種轉變 |
| |
將其轉換為日誌 |
| |
現在直接將它用作轉換，它不是數據表的一部分。 它是一個帶有公式的虛擬變量，但沒有添加到數據表中。 |
| |
現在我可以讓我的模型適合 Log y。 讓我們 |
| |
刪除年齡，使其更合適。 |
| |
哎呀。 |
| |
也選擇了那個。 |
| |
現在我已經符合響應 Log y。 |
| |
因此，如果我對此進行概要分析，我會得到什麼？ |
| |
因素分析，分析器。 它不是分析 y 的日誌，而是分析 y。 探查器將其視為轉換並說，好吧，我可以反轉該轉換並返回到原始比例。 這就是它的作用。 |
| |
它 |
| |
取消變換，通過 y 的對數反向變換以進行預測並將其置於原始尺度上。 |
| |
對於大多數可以展開的轉換，它都會這樣做。 如果一個轉換涉及多個變量等等，它就不能這樣做，它只會做轉換。 所以原來 |
| |
保存列時也是如此。 當我保存預測公式時， |
| |
它在 y 的尺度上而不是 y 的對數上保存預測公式。 |
| |
因此，這些東西非常節省時間，並且在使用轉換時節省了大量精力。 |
| |
所以有... |
| |
讓我 |
| |
再次患上糖尿病 |
| |
並做另一個......考慮另一個轉換。 |
| |
當你做變量時， |
| |
您可以獲得 Box-Cox 變換。 |
| |
和 |
| |
在因素分析中，Box-Cox 選項 |
| |
告訴你是否變換了整個冪函數範圍， |
| |
什麼，最好做什麼？ 應該只是取消轉換嗎？ 那將是一個 Box-Cox lambda 值。 |
| |
如果你做零，那相當於記錄它。 如果你做了-1，那就相當於取它的倒數。 |
| |
給-1的力量。 如果你做的是 0.5 左右，那相當於取它的平方根。 |
| |
它告訴您，如果該模型更符合平方根變換（其中 lambda 為 .453），則該模型將更適合針對該變換調整的變換比例。 這是 Box-Cox 變換中的最優值。 |
| |
你可以放大這個 |
| |
用放大鏡得到 |
| |
更準確地得到它。 |
| |
所以， |
| |
所以現在我可以改造了，幾個版本前 |
| |
我可以...我添加了幾列。 一種是使用變換進行改裝，這將使用變換響應創建一個新窗口。 |
| |
另一個是替換轉換，我將要這樣做。 而不是 .453，我將只進行平方根變換 (.5)，現在我用該變換擬合模型。 |
| |
現在 lambda best 大約為 1，這是它應該的位置，因為它已經通過 Box-Cox 變換立即進行了變換。 現在我可以保存它的預測值和 |
| |
配置文件等等。 我什至可以撤銷它。 所以如果我不喜歡那個改造，我想回到原來的樣子，我可以回到原來的樣子，然後改裝。 |
| |
所以， |
| |
我們做了很多省心的事 |
| |
在轉變反應。 |
| |
所以現在 |
| |
當你有大量數據時，會有一種特別的痛苦，一種特別痛苦的地方。 |
| |
我們付出了很多努力，試圖以更少的痛苦解決大問題。 |
| |
無論您有很多行、很多列、很多組、很多模型要嘗試， |
| |
在當今世界，我們生活在一個存在大問題的大數據世界中。 |
| |
因此，如果我們的分析最初是為處理小問題而設計的，那麼它可能不適用於大問題，而大問題的核心問題是輸出太多需要整理。 |
| |
如果通過將同一個模型擬合到 1,000 個變量，我將有 1,000 個報告需要整理。 如果我正在尋找 1,000 列中的異常值，那麼只有異常值，您知道，每列都有單獨的報告等等。 我希望能夠 |
| |
更有效地處理大量大型數據集。 所以我們開發了篩選菜單， |
| |
這是為了解決這些大問題。 此外，JMP 中還有很多地方可以更好地解決大型問題。 例如，時間序列。 新的時間序列預測平台將預測多個時間序列，而不僅僅是一個。 |
| |
所以篩選平台上的項目探索異常值，探索缺失值，探索模式。 這些用於檢查數據然後尋找關聯、響應篩選、 |
| |
過程篩選，預測因子篩選。 當然，時間序列預測是一個新項目。 它不在篩選菜單中，但它是為處理大問題而組織的。 |
| |
所有這些都利用了，不僅是用更緊湊的方式來表示結果，這樣你就不必處理成千上萬的報告，而且它們在計算上也很高效。 他們使用多線程，所以它利用了你的 |
| |
倍數 |
| |
CPU 中的內核，使其非常快。 |
| |
假設您有很多過程數據；你有 568 個變量。 那麼，這些變量中的哪個看起來是健康的？ 井過程篩選旨在回答這個問題。 因此它可以按穩定性排序或按能力 (Ppk) 排序或哪些是壞的或排序 |
| |
控製圖措施、失控賬戶等。 |
| |
但更重要的是……我什至更喜歡更好的是，一些工具可以在一張圖中顯示所有流程。 我愛他們中的兩個。 一個是 |
| |
顯示的目標圖 |
| |
每個進程在規範限制方面的表現如何，如果它是一個有能力的進程，它就在這個綠色區域。 |
| |
如果它是邊緣的，它在黃色區域。 如果不是，則它位於紅色區域，如果它位於高處，則方差太大。 如果它偏向另一側，那就有問題了。 |
| |
和... |
| |
它偏離了中心，偏離了目標。 |
| |
但如果它在綠色區域，那麼這是一個很好的過程，我們在版本 15 中引入了 |
| |
graphlets，懸停幫助 |
| |
這樣您就可以在將鼠標懸停在每個過程上時看到它。 然後另一個 |
| |
我喜歡總結所有這些事情並減少瀏覽所有這些報告的痛苦的情節是這個過程性能圖。 因此，在垂直軸上，它告訴您您是否在能力 Ppk 的規格限制內。 |
| |
因此，如果您在 1.33 處高於此線，那麼就規格限制的值分佈而言，您看起來很好。 您完全符合規格限制。 |
| |
如果……那麼穩定性指數在 x 軸上。 因此，如果這是一個非常不穩定的過程，即使它可能有能力但也不穩定。 所以如果你看看那個過程，它可能有一些 |
| |
穩定一些徘徊的東西。 如果你在黃色區域，你 |
| |
有能力但不穩定等。 紅色區域是你既無能力又不穩定的壞區域。 因此，現在查看成百上千個流程變得很容易，而過去是很痛苦的。 |
| |
問題是，變化最大的是什麼？ 這是一些調查數據，其中 |
| |
在許多不同的年份裡，你問了一個關於他們活動的問題。 你是否 |
| |
去野營？ 還是在賭場賭博？ 或者你感冒了嗎？ 你知道，所有這些活動，你想知道所有這些活動中的哪一個（還有 |
| |
我認為，有 95 種不同的活動），其中哪些活動的影響最大。 所以你正在尋找，你知道......你可以做的一件事就是一次通過一個 |
| |
並按調查年份匹配該活動。 |
| |
而不是一次只看一個。 我可以看看反應篩選 |
| |
只需查看一張圖表，看看變化最大的是什麼。 |
| |
所以這顯示了所有 95 個東西的圖表。 首先，就 P 值的負對數而言的顯著性， |
| |
我們稱之為對數價值，它根據錯誤發現率進行了調整。 因此它會處理一些選擇偏差，因為您正在對所有這些 p 值進行排序。 |
| |
並選擇後面的……低 P 值。 我發現租錄像帶變化最大，錄像帶，當然它們已經過時了。 所以，當然，它改變了。 |
| |
另一個錄像帶變了很多，收集到回收的東西變了很多，家裡招待的人變了很多。 |
| |
這是一個不太重要但影響很大的問題，你使用互聯網嗎？ 當然，這項調查是在互聯網出現之前就開始的。 因此，它發生了很大變化。 所以關於什麼變化最大的問題是 |
| |
現在很容易，以前很難。 |
| |
你問的另一個關於大數據的問題，缺失值在哪裡。 所以這裡是 |
| |
280個變量。 |
| |
缺失值在哪裡？ 我需要擔心他們嗎？ 我可以查看探索缺失值報告，然後發現這些變量中只有五個具有缺失值。 |
| |
而且有的只有一個變量，一個缺失值，有的卻有很多。 所以當我做一個分析，一個多變量分析時，我可能不想包括 |
| |
452 個變量中的 376 個。 或者如果我想包括 J，我可以通過 |
| |
並估算那些缺失值 |
| |
這樣做，好吧。 |
| |
所以， |
| |
下一個問題，數據有異常值嗎？ |
| |
嗯，我有387次測量，我在這個過程中做的。 我想知道那裡是否有異常值。 所以現在我們有一個工具可以在篩選菜單中執行此操作。 我可以 |
| |
使它或多或少敏感。 |
| |
讓我們讓它更敏感 |
| |
所以離群值和重新掃描更少。 |
| |
我可以看 |
| |
在 |
| |
九分。 通常，一串 9 用於表示缺失值，而這些 9 可能是真正的 9，但它們可能只是缺失值的指示符。 所以我可以，對於那些，我可以說很好地將這些 9 添加到缺失值代碼中，現在記憶已經改變了。 |
| |
現在我可以 |
| |
返回（這裡有很多變量）並重新掃描，需要擔心的缺失值就會減少。 |
| |
因此，探索異常值曾經是一種痛苦。 |
| |
這仍然是一項艱鉅的工作，但比以前容易得多。 |
| |
現在，在第 15 版中，我們添加了另一個篩選平台。 數據是否有可疑模式？ 所以這裡有一些來自臨床試驗的實驗室數據。 這是尼卡地平實驗室模式數據。 我可能想查看 27 個化驗結果。 所以我調用 |
| |
新平台，探索缺失值。 這會告訴我，我有一系列價值觀嗎？ 所以我的值是 .03536 但有七個連續的，從一行開始。 |
| |
2065.我可以給那些單元格上色，我可以看看那些那些值，也許它是最後結轉的值，這可能不會可疑。 在這種情況下，它是... |
| |
這是同一個人。 所以也許最後的價值結轉是一件合理的事情，但如果你已經分發了這些東西，這是一個罕見的，罕見的事件...... |
| |
如果，如果你假設這些東西是隨機分佈的。 |
| |
也是最長的重複序列。 所以對於這個變量，我們從第 2816 行開始，也從第 3034 行開始，一行中有四個具有相同的值。 所以如果我給那些東西上色，那裡有四個一排。 如果我 |
| |
轉到下一個序列，連續四個具有相同的值。 所以這可能是將相同的值從一個地方剪切並粘貼到另一個地方的症狀。 |
| |
所以探索模式就是尋找那些東西。 還有很多其他的東西，你可以查看這 27 個變量中每一個的詳細信息，並尋找可疑事物的症狀，或者 |
| |
您處理數據的方式等造成的不良影響。 |
| |
所以， |
| |
探索解決大問題的模式部分。 |
| |
所以， |
| |
緩解疼痛。 我們的大部分開發都集中在使分析流程更順暢、負擔更少、耗時更少、痛苦更少。 止痛藥。 |
| |
現在我們並不總是知道什麼是痛苦的。 因此，我們依靠反饋來關注重點。 當我們收到那些我必須按提示回複數百次的電子郵件時， |
| |
我們聽了，我們感到痛苦，我們修復了它，這樣現在你可以廣播成一個有成千上萬的東西 |
| |
廣播一次對話的結果，而不是多次對話。 所以把它送進來對其他人來說更好，因為我們第一次沒有抓住它。 所以請給我們您的反饋。 |
| |
有了我們已經做出的所有改進，我們認為數據準備和分析的過程已經變得更加順暢，中斷更少，更加順暢。 |
| |
所以， |
| |
與其花時間克服障礙，不如花時間從數據中學習，理解數據。 |
| |
分析。有人會懷疑他們是否來自同一個詞根，當然，我們不喜歡將這兩個詞縮寫。 |
| |
Analytics 來自希臘語 analyein，我不知道如何發音。 |
| |
但在希臘語中，它的意思是分手、釋放或釋放。 它把一些複雜的東西分解成碎片，這樣我們就可以理解它。 |
| |
當然，這正是我們分析數據、數據科學所做的。 止痛藥來自不同的單詞組合 \!"an-\!"意思是沒有，和 \!"algesis，\!"這就是痛感。 相同的前綴，不同的......有點不同的詞根。 |
| |
不要縮寫那些。 |
| |
合成代謝和壯陽藥。 我們關心權力。 |
| |
我們所做的大部分工作是為您提供更強大的數據分析工具，其中大部分在 JMP Pro 和 JMP 中。 |
| |
我們希望數據能讓人興奮，你知道，發現的快感。 |
| |
學習如何在 JMP 中使用冪特徵的快感，我們認為它令人興奮。 你知道，這是一種壯陽藥。 |
| |
因此，力量和興奮對我們也很有價值。 這不僅僅是止痛。 |
| |
那麼明年我們要做什麼呢？ |
| |
好吧，以字母 B 開頭的大詞。 |
| |
從A開始，接下來是B，對吧？ |
| |
好吧，明年我們將推出 JMP 16。 這就是我們要談論的內容。 誰知道明年我們會談論什麼。 非常感謝你。 我們希望您在分析數據時不會感到痛苦。 |
| 傑夫帕金森 |
非常感謝你，約翰。 我們對此表示讚賞。 這是一次精彩的演講，多年來見證了很多痛苦， |
| |
是的，是的，你說的一切都是千真萬確的。 減輕疼痛對我們來說很重要。 |
| |
我們確實有一個問題，實際上是很多問題；我們已經在問答中回答了其中的一些問題，但我想告訴你的是 |
| |
它既能緩解疼痛又能提供一些吸引力並使 JMP 更強大？ |
| 約翰薩爾 |
好吧，我認為每個人都非常喜歡 Graph Builder。 |
| |
只需將這些變量拖過來並再點擊幾下，就可以得到想要的圖表，而且可以輕鬆更改它，感覺非常強大。 |
| |
所以，這是一種刺激。 這是一個強大的功能，可以緩解疼痛；過去很難做到。 所以我認為這是每個人最喜歡的事情。 |
| |
但當然還有……JMP 是一款豐富的產品，我們為其中的一切感到自豪。 實驗設計，所有 |
| |
那裡涉及強大的力量，我們也試圖讓這個過程變得簡單。 想到很多事情。 |
| 傑夫帕金森 |
非常好。 非常感謝，約翰，我很感激。 如果你喜歡這次演講，我有兩個建議給你。 一，我們將發布這個 |
