歡迎大家，感謝大家的收看。今天，我們來觀賞一部《大話王》電影，看看裡面到底是些什麼謊言，還是更多的謊言，或者只是統計數據。我開個玩笑。簡單介紹一下我們的背景：我是克拉克‧萊德貝特，一名系統工程師。 StatSense 的統計學家梅根·彭寧頓也和我們一起。
簡單介紹一下背景，我之前在Y-12公司報道聯邦政府時認識了梅根。如果你是奧本海默的粉絲，你就會知道我們所有的濃縮鈾-235都是Y-12公司生產的。去年我們去現場的時候聊過，我問了Y-12公司的保全狀況。你們是怎麼進行採訪的，以及其他一些事情的？梅根，你之前提到你們使用測謊儀數據。
是的，我們有測謊儀來檢查背景。
我當時就覺得很驚訝。我當時就想，測謊數據。啊？看看這應該還蠻有趣的，看看我們能不能做些什麼。因為我覺得測謊儀這玩意兒真是個大坑，人為幹預太多了。梅根，我們有什麼數據？
您沒有獲得 Y-12 的測謊數據，但很方便的是，我有一個客戶實際上會進行測謊，所以我們今天將查看他的數據集。
好的。太棒了。我來看下一張投影片。
測謊儀的本質是透過記錄生理症狀來判斷一個人是否在說謊，因為人們認為，當身體有壓力時，你會看到這些生理症狀的峰值。測謊儀需要一些基本的偵測感測器，例如血壓、心肺出汗。你可以根據需要添加任意數量的感測器，例如偵測腳部運動、手臂運動、咬牙切齒等。設定不同，測謊儀的性能可能會有所不同。
我們看一下設定。
這是一個典型的設定。它有六個感測器。在我們的資料集中，你會看到我們有12個感測器。你可以看到這裡有一個血壓袖帶。胸前掛著一些用來監測呼吸的裝置。還有汗液感測器。設定時會有很多變化，你必須考慮到不同體型的人。你每次設定都一樣嗎？可以重複嗎？
我想，如果我以製程工程師的身份來看——因為我就是從那裡來的——這裡面肯定充滿了變數。這些人到底懂不懂測量系統分析、量具重複性、重複性？
遺憾的是，沒有。
沒有，很遺憾，沒有。你提到我們有12個感測器，那還有什麼？腳部運動、座椅運動。我們把所有感測器都連接在這裡了。
從測謊儀測量一開始，測謊員就可以自由選擇自己的提問技巧，直到他們開始使用相關的、無關的技巧。基本上，相關的問題與你試圖弄清楚他們撒謊的事情有關。無關的問題與此完全無關。人們的想法是，嗯，我們會在相關問題上看到峰值，而不是無關問題。事實並非如此。這真的有缺陷，因為人是人。他們會因為連接到所有這些設備而感到焦慮。數據中充滿了噪音。
他們提出並開發了控制問題技術，該技術仍然使用相關和不相關的問題，但他們添加了他們知道答案的控制問題，並將其作為與相關和不相關問題進行比較的基線。
還有另一種手法。比如說有人謀殺了人，或是偷了東西。他們會使用隱瞞資訊的手法，因為這種方法能準確地找出對方說謊的原因。不過好消息是，我們州沒有殺人犯。
好的。我正要確認一下。我們這裡沒有提交任何謀殺案的證人。
今天不行。測謊儀檢查員可以選擇不同的技術。他們可以混合搭配，也可以組合使用各種方法。一切都取決於測謊儀檢查員。在我們的資料集中，我們將研究CQT技術。
帶有 12 個感測器的 CQT。我們來看看這些數據是什麼樣的呢？
我們來看看。這是來自所有感測器軟體的圖形輸出。每個感測器都有各自的曲線。您可以看到，我們突出顯示了呼吸和心肺功能。綠色和灰色條形是檢查員提問的地方。灰色和綠色長條是受試者實際回答問題的地方。
有幾種方法可以在軟體中分析這些曲線。一種是軟體自帶的演算法，但它實際上是個黑盒子。我們不知道裡面到底在做什麼。我們也不知道他們用了什麼。此外，檢查員可以根據他們接受過專業訓練的眼力做出自己的判斷。
用眼球。
他們所做的就是進入那裡，觀察高峰和低谷，並根據正規培訓做出自己的個人評估，無論這是否重要。
這些區域的計時，考官也是靠眼睛來做的嗎？
當考官認為他們已經開始提問時、當他們結束提問時以及當考官認為該人已經開始回答時和結束回答時，他們實際上會按下空格鍵。
我害怕。太多了。我不會把我的真心話或謊言交給這個傢伙。
這裡存在著很大的可變性。
結果怎麼樣？結果是什麼樣子的？
當他或她瀏覽並評分資料集時，他們會給予-2到2的評分，以1為增量，2表示更嚴重。你可以看到，他們實際上以隨機順序問了這些問題三次。他們試圖在其中加入一些隨機化的方式，以幫助解決一些差異性問題。然後，他們把這些數字加起來，根據這些主觀數字來判斷這是真話還是假話。
這是他們自己的得分嗎？
這是他們根據自己的專業訓練所製定的評分方法。
這就是我所聞到的。我聞到了人為錯誤的味道。
當然。然後是我之前提到的演算法，也就是你會看到的報告，它會指示真相還是謊言。你可以看到他們用到了一些多項式、機率和一些花俏的統計術語。幕後肯定有事情發生，但我們真的不知道是什麼。
未知。我們有一位考官正在自己做調整。我不知道。我覺得我們可以用一些 JMP Pro 工具來嘗試消除這種人為差異，效果會更好。您覺得呢？
我想我同意。
替代方法和 JMP。我們想在這張投影片上簡單介紹一下工作流程。當然，大多數分析，所有分析都應該從清理和視覺化開始。我們將探討一些我們花費大量時間的挑戰，實際上這個清理步驟是在視覺化之後進行的。
正如我之前提到的，我們有很多感測器。哪些是重要的？哪些是關鍵的？我們查看了預測篩選平台，試著篩選出一些東西。
我一直在跟梅根講解函數資料探索器（Functional Data Explorer）和曲線感測器分析。我覺得這個工具是自切片麵包發明以來最棒的東西。我確信這會是一個大成功。我們本來可以邊做邊想，但結果發現它沒什麼用。這是我們嘗試使用的工具之一。我稍後會詳細討論一下。
自從FTE解散後，我們開始研究模型篩選平台，這個平台非常棒，因為它可以包含大量的預測模型，然後讓JMP決定哪一個才是最適合的。一旦我們找到了最佳擬合模型，值得一提的是，我們有一個包含已知真值和已知假值問題的控制資料集，我們在模型篩選平台中使用它來確定最佳模型。然後，我們把這個模型應用到真實資料中，我們並不知道它是真是假。
在這一步，這些數據什麼也看不見。我們拿出了最好的模型，把它丟到真實數據上。讓我們從高層次來看我們經歷的工作流程和一些平台，然後我們可以進行一些演示。當然，我們必須導入數據。我稍後會再談談資料清理。我確實利用了一些分佈。當然，分佈是為了理解各種圖表。 Megan 提到我們有三個人，多個圖表。我們在那裡掃描了一下，但關鍵在於查看這些感測器趨勢以及它們在 Graph Builder 中的具體表現。
正如我所提到的，我們利用預測因子篩選平台只是為了嘗試了解哪些因素更為重要且至關重要。這只是一個簡單的觀察。我們發現，EA、有氧運動、足部和坐位運動最為顯著。實際上，汗腺和有氧運動似乎在所有文獻中都具有顯著意義。它們似乎是最重要的因素。 JMP 也認同這一點。
即使對這些一無所知，我們也發現了這些訊號，這非常令人鼓舞。我們其實並不需要知道所有這些事情。
確切地。
現在，如果大家還不知道函數資料探索平台是什麼，可以想像我們獲得的這些曲面感測器。它們本質上只是一些點。這個平台的作用是擬合一條樣條曲線。我們稱之為函數模型，但它會將這條樣條曲線擬合到每個獨特的曲線上。目標是觀察這些輸入是如何改變整個曲線的，以及它們是如何改變檢查員的操作的。我來看一下。我覺得這個比較高。這裡的目標是我們能否在整個形狀中拾取訊號。
最終效果是這樣的。你會看到這個。這是汗腺訊號隨時間的變化。我正在真假之間切換。我們正在觀察這個訊號。不幸的是，你在這裡看不到重複的結構。它開始感覺像是噪音。我們會在演示中舉出一個例子。
正如我們所提到的，FDE 並沒有像我們期望的那樣取得如此大的進展。我們考察了模型篩選平台。正如我所提到的，你可以從眾多模型中進行選擇。真正令人震驚的是提升樹。然後你可以看到這個平台上有大量的分析選項。這真的很棒。我們非常注重決策閾值，因為我們試圖確定，是讓說謊者說真話更重要，還是讓說真話者說假話更重要？我們正在研究那些假陽性和假陰性。
我們原本以為無法真正確定哪一個比較重要。我們想選擇一個最小化兩者的決策閾值。最終結果是0.55。你可以在圖表的紅色和綠色部分看到，紅色代表錯誤分類，綠色代表正確分類。有了這個模型後，我們實際上將其輸入到真實資料集中進行驗證。
我們先把 JMP 關掉，來看看這個工作流程的一些亮點。我來打開 JMP。這是原始資料表。還記得第一步嗎？我們想做一些視覺化。我要在這裡打開圖形生成器。我有一個列切換器，可以切換所有這些感測器。首先，我們掃描一下這些訊號，看看我們是否看到了一些具有獨特結構的訊號。它看起來像噪音嗎？諸如此類。
有一個信號。我們提到了汗腺。如果我停下，轉到汗腺，你就會明白，這個本地數據過濾器，有三個人和三張圖表。嘗試及時弄清楚這很有趣。考官開始了測試，並及時跑過這裡。我們必須弄清楚這些的順序是怎麼樣的。
接下來的關鍵挑戰是分解，找到每個感測器的起止點。這需要使用功能數據探索平台。如果我們要使用它，我需要把這些曲線分塊，並把它們都放到同一個 x 軸上。我們在這方面做了很多清理工作。你也注意到了，如果我把這個趨勢引入進來，我就會開始對計量學產生懷疑。有些事情正在發生。有些事情正在偏離軌道。
讓我們來看看。如果我們把個體也算進去，我們開始看到不同的方法，甚至不同的行為。我對這裡的實際測量系統以及它的運作感到懷疑。這是我們輸入到FDE中，看看它是否有效的一個訊號。讓我們實際看看FDE平台。
我們盡了最大努力。我們在這個平台上查看了所有不同的訊號。然後我真正想做的是從頭開始研究汗腺，這樣大家就能看到這個工具的功能，以及我們遇到的問題。我打算從頭開始研究汗腺。我會先分析專門的建模，然後再使用功能資料探索器 (Functional Data Explorer)。
現在，我的輸出是我的感測器。我要去抓取原始汗腺數據，X 輸入是我們的運行時間。函數 ID 是運行 ID。讓 JMP 知道我們必須分割補充變數的每個獨特曲線。我們想看看真假數據是否會影響這條曲線。還有什麼需要補充的嗎？
我認為是個人。
應該可以。這是隨機效應。
確切地。
我先在這裡添加個人資料。然後點選「確定」。一開始，你必須在這個平台上進行視覺化。你會看到這是我們看到的基線偏移。當你開始查看每個原始資料時，你看不到太多訊號。我們嘗試了很多不同的轉換和清理工具，直到筋疲力盡。
例如，在這個光譜圖中，我們做了基線校正。我們添加了線性擬合。你會看到它的影響。我們能夠……一切都歸結於一個共同的尺度。你開始看到一些特徵和訊號。我想我們甚至在這裡也嘗試過一個單一的正常變體。你開始看到訊號，但問題是…我們甚至離原始訊號還很遠。我們只是在不斷偏離。
這開始看起來像噪音了。如果我回去看看我的EA原始資料分析器。如果我花了很長時間和精力才搞定它，就把它關掉。你會看到這裡。這是我的EA原始訊號，一個汗腺隨時間的變化，我可以切換真假。然後，當我在不同個體之間切換時，我開始沒有真正從中發現什麼獨特的特徵。
為了比較，我將向您展示一個好的有限差分（FDE），以便您大致了解它應該是什麼樣子。這是鋁的應力應變圖。這裡我只展示輪廓儀。這個例子源自於一個研究鋁合金應力應變的設計實驗。
我們應該這樣看。他們在溫度和不同樣本類型方面存在一些批次差異。你可以看到，當我切換這個選項時，我的應力應變是可重複的。我看到了一些獨特的特徵。我來到這裡，開始看到一個看起來不同的獨特特徵。我們用FDE做不到這一點。甚至嘗試匯出FPS並使用預測建模工具。但並沒有得到一個好的模型。我們嘗試過了。 Megan，我覺得這將是自切片麵包發明以來最好的東西。所以我就這麼做了。
我們確實這麼做了。我們花了很多時間——
我們接下來要去哪裡？
我認為我們利用了 JMP 的模型篩選平台。
好的。就這樣吧。我讓你分享。
太棒了！謝謝，克拉克。就像你說的，我們最後選擇了模型篩選平台。我們最終使用了預測因子篩選中發現的四個最重要的輸入項，分別是有氧運動、EA、座位運動和足部運動。我會教你如何設定。你去預測模型篩選。
我們試圖判斷真假。然後，我們將分析那四個實際顯示有意義的感測器輸入。原始座椅運動、足部運動和心肺功能。完美。您可以在這裡看到所有可用的方法。我們分析了所有內容。為此，我只需設定提升樹。然後我們實際上也做了一些k倍驗證。這需要一些時間來運行。我要去這裡。我已經運行過了，可以節省一些時間。開始吧。
正如我之前提到的，這個平台衍生出了大量分析技術。我們真正關注的是這個決策閾值。正如我之前提到的，我們試圖最小化紅色區域的數量，正如你所見，隨著我沿著真值的機率閾值移動，紅色區域會發生變化。我們希望精確地找到兩條曲線的交點，從而最大限度地減少誤分類（假陽性或假陰性）的數量。
我們在這裡使用了 0.55。完成後，我們就可以導出預測公式了，你可以去紅色三角形，在這裡保存列，保存預測公式。這就是我們導入真實資料集的結果。好的，克拉克，你想…
讓我回到這裡，我會再分享一次。這是實際數據，你會看到我們有四個問題。流程仍然類似。三張不同的圖表，對嗎？ Megan？
是的。
他們仔細檢查了我們的做法。他們重新排序。我們把那些公式拿過來。它們在數據表的末尾。這是我們的公式。這是我們最可能的分類。然後，我們在此基礎上討論如何以最簡單的方式對 A、B 和 C 類個體進行分類。他們說的是真話還是在說謊？
我基本上只是做了一個簡單的統計，先統計每個人，然後統計每個問題。我們統計的是每個問題對應一個問題。如果我們仔細看看，就讓我回到我們的演示。關鍵問題是誰是匹諾曹。以下是我們最終對這三個人進行的直接評估，基於全新的數據。
記住這個閾值，這是謊言與真相的比例。當你接近這個50%的閾值時，你說謊的可能性就開始下降。梅根，我的結論是：A說的是真話，B和C是騙子。我說得對嗎？我們預測得對嗎？
對。我們將考官和軟體演算法進行了配對。
我們這樣做沒有任何人為的判斷。
絕對地。
這就是我所說的。如果我們把整件事總結一下，我認為這是最大的收穫之一。這不僅僅是謊言，而是統計數據。如果用Pro Tools裡的這些方法，能把所有的人為因素和判斷都剔除掉，我可能會去申請測謊儀。但就目前的情況來看，我不會這麼做。梅根，你對此有何看法？
另一個好處是分析時間。他通常需要幾天時間，而我們縮短到了幾分鐘，這讓我們賺了更多錢。我們都喜歡多賺錢，所以這點毋庸置疑。
哦，當然。我們到這裡就結束了，我們了解了目前的測試方法和演算法的現狀。我們該如何改進它？下一步該如何改進？
下一步是實驗設計 (DOE)，我們需要為不同的個體設定不同的感測器設定和配置。基本上，我們也會考慮考官認為的時間，以及考官提問的時間和考官回答問題的時間。考官所關注的灰色和綠色區域，存在著很大的變異性。我們也會考慮這一點。
我們又回到原點了？所有這些預測模型，我們又回到了實驗設計。對我來說，我不知道自己是不是製程工程師。這才是我們該開始的地方。是的，我們應該這樣做。是否進行DOE，這不是問題。我們在去年的發現中討論過這個問題。我想今天就到這裡了。我們將開始提問。
