大家早安！感謝大家今天的到來。我叫Simin，目前是維吉尼亞理工大學統計系五年級博士生，之前也是JMP實驗設計與可靠度團隊的暑期實習生。今天，我將示範JMP如何支援可靠性分析，以評估自動駕駛汽車和人工智慧新興領域的安全性。我今天演講的主題是「探索自動駕駛汽車安全：基於JMP的可靠性分析」。
在開始今天的演講之前，我想先簡單介紹一下自己，以便大家更了解我。我叫Simin，是維吉尼亞理工大學統計系五年級的博士生。加油，Hokies！我的研究重點是人工智慧系統的可靠性、人工智慧驅動的統計分析以及大型語言模型的效能評估。沒錯，我不是建立大型語言模型的人，但我負責測試它們的穩健性和可靠性。我的研究興趣與我們團隊的使命高度契合，因此加入能源部和可靠性小組對我來說非常合適。
除了研究之外，我還積極參與一些專業活動和組織。我是統計應用與創新小組（簡稱SAIG）的首席統計合作者，該小組為維吉尼亞理工大學校園提供統計諮詢服務。我還擔任統計系企業合作夥伴活動的委員會成員。最近，我很榮幸被選為維吉尼亞理工大學Mu Sigma Rho分會的秘書，負責支持學生的參與和活動。
我知道這次演講面向的是廣大的 JMP 使用者。你們當中有些人可能會想：可靠性到底是什麼？當我們思考可靠性時，會想到幾個關鍵概念：一致性、穩健性、可信度、經過驗證、經過測試、值得信賴。這些詞彙自然會聯想到可靠性，無論我們談論的是實體產品、軟體系統，還是機器學習模型，它們都適用。簡而言之，可靠性是透過始終如一的性能贏得信任。
現在，讓我們仔細看看該領域更正式的定義。根據 Meeker (2021) 的說法，可靠性被非正式地描述為故障避免和隨時間推移的品質。換句話說，如果一個系統避免故障並在整個生命週期中持續運作良好，則被認為是可靠的。
此定義適用於所有採礦領域。例如，在產品可靠性方面，我們通常指的是實體組件或系統。在人工智慧系統可靠性方面，這個概念延伸到軟體可靠性，確保程式碼和基礎設施穩健且不會崩潰；以及模型的穩健性和性能，確保模型即使在面對意外或噪音輸入時也能保持良好的性能。
既然大家對可靠性已經有了大致的了解，那就讓我們來談談人工智慧系統。隨著人工智慧系統日益普及，其可靠性正逐漸成為一個重要的新興領域。人工智慧系統（通常簡稱為AI系統）有著廣泛的應用，包括自動駕駛汽車（我簡稱為AV）、人工智慧無人機、特徵識別和對話式AI。其中，AV是最具影響力的應用之一，安全性和可靠性至關重要，因此理解和模擬其在現實世界中的行為和不確定性至關重要。
在許多研究中，我們觀察每位受試者隨時間重複發生的事件。這被稱為復發事件過程，所產生的數據稱為複發事件數據。在自動駕駛汽車領域，我們觀察到的複發事件類型不只一種，而是多種。自動駕駛汽車涉及兩種不同類型的事件。一種稱為脫離事件，另一種稱為碰撞事件。脫離事件發生在自動駕駛系統將控制權交還給人類駕駛員時，通常是由於系統限制、道路狀況不明和潛在風險造成的。另一方面，碰撞事件涉及自動駕駛過程中的實際碰撞。總之，這種類型就是我們所說的多重類型復發事件資料。
我們之前也發表過與自動駕駛汽車可靠性相關的論文。首先，《自動駕駛汽車可靠性保障測試規劃》聚焦於此類交戰事件，開發了利用循環事件資料規劃自動駕駛汽車可靠性保障測試的統計方法。其次，DR-AIR 引入了一個成熟的人工智慧可靠性資料儲存庫，並定義了通用的測量方法和資料類型，提供了可用的乾淨資料集來支援這一新興的研究領域。總之，本文為分析人工智慧可靠性這一新興領域提供了一個發展方向。
您可能想知道，自動駕駛汽車可靠度分析的數據從何而來？在自動駕駛汽車領域，加州車輛管理局 (DMV) 自 2015 年以來一直在運行自動駕駛汽車測試專案。作為該計畫的一部分，在加州測試自動駕駛汽車的公司首先需要提交年度脫離報告，其次，還需要在事故發生後 10 天內報告任何碰撞事故。
這張投影片展示了兩個範例。左側是脫離報告的螢幕截圖，右側是碰撞報告，其中列出了製造商和AI-AIR的詳細事件。回到兩種自動駕駛汽車事件類型：脫離和碰撞。今天，我們將主要關注聯盟如何展示自動駕駛汽車的安全性。隨著人工智慧的進步，建立可靠的當前自動駕駛汽車性能對於公眾信任至關重要。這引出了以下問題：首先，應該如何對自動駕駛汽車安全性進行建模？其次，我們能否信任目前的自動駕駛汽車安全水準？第三，JMP如何幫助分析重複發生的碰撞事件數據？最重要的是，自主性程度與安全性之間是什麼關係？
以下是今天演講的端到端工作流程。我們將從資料收集和清理開始，匯入 PDF 原始檔並提取可靠性分析所需的欄位。接下來是資料探索。我們將可視化基於暴露的測量結果。里程數之所以被視為暴露指標，是因為它反映了駕駛的里程數。里程數越高，發生碰撞的機率越大。然後，我們將分析一段時間內的碰撞事件模式，並視覺化一個風險指標——碰撞事件發生率，該指標量化了無論駕駛員行駛里程數如何，發生碰撞的可能性。碰撞事件發生率越高，代表在相同暴露量下，預期發生碰撞的機率就越大。
最後，在數據分析中，我們應用可靠性建模來匯總數據，重點關注可靠性成長模型，然後分析自主性水準與安全水準之間的關係。我將在 JMP 中逐步演示每個步驟，以展示其在自動駕駛汽車可靠性分析中的強大功能。
既然我們要從碰撞事件開始，讓我來回顧一下加州車輛管理局（DMV）的報告是什麼樣的。 DMV 會記錄每家自動駕駛汽車公司，要求他們提交任何造成財產損失、人員受傷甚至死亡的碰撞事故報告。在網站上，這些公開報告按製造商和年份列出，顯示在幻燈片的左側。今天，我將只專注於 Waymo。 Waymo 最初是Google的自動駕駛項目，現在在部分城市提供無人駕駛汽車的廣泛叫車服務。 Waymo 駕駛員系統結合了攝影機、雷達、方向舵、地圖，甚至機器學習，使其表現得像一個謹慎、可預測的駕駛員。 Waymo 擁有廣泛的營運和一致詳細的報告，這使得其數據非常適合我們的可靠性分析。
以下是我們匯入和清理加州機動車管理局 (DMV) 碰撞報告的方法。左側顯示的是您之前看到的公共門戶。右側顯示的是一份典型的碰撞報告。讓我們打開一份報告，查看它包含的欄位。對於每個 PDF 文件，我們提取關鍵字段，例如：製造商、日期和時間、車輛年份、品牌和型號、位置以及所有其他整理詳細資訊。然後將結構化資料載入到 JMP 中，分配正確的類型並標準化名稱。這樣我們就可以獲得一個乾淨的、可供進一步分析的表格。
讓我們看看從公開的碰撞報告中提取關鍵字段後碰撞事件資料集的結構。此表顯示了我們保留的字段，包括製造商、日期、年份、型號、製造商、車輛、型號和基本事故詳情，但不包含車輛識別碼 (VIN) 等唯一識別碼。如底部所示，碰撞資料僅在匯總層級可用。換句話說，沒有車輛識別碼 (VIN) 等級的資訊。在進入最終分析階段時，我們會牢記這一點。
這是我們根據提取的碰撞報告字段，為 Waymo 清理後的 JMP 表格。按月度計算，它包含天數、自動駕駛汽車測試次數、以千英里為單位的總里程以及碰撞事件數量。請記住，這些都是總計計數，沒有車輛識別碼 (VIN) 等級的細節。在此基礎上，我們添加累積事件，以了解碰撞如何隨時間推移而累積。此外，我們也計算了自動駕駛汽車的安全風險指標。透過測量這些事件隨時間發生的頻率，我們可以獲得碰撞事件的重複率，並將其作為安全性的指標。
這就引出了另一個問題。如何基於 JMP 中現有的列資訊建立列？詳細的點擊路徑總結如下。首先，我們進入「列」選單，選擇「新列」。然後將“列名”設定為“碰撞事件率”。第三，將“數據”選項卡設為“數值”，將“建模”選項卡設定為“連續”。然後開啟“列屬性”，選擇“公式”，並為新列輸入“自訂公式”。例如，我們使用累計和來建立累計事件列，碰撞事件率的計算公式為碰撞事件數除以總里程。
新增資訊後，JMP 資料表如下所示。應用新公式後，資料表包含兩個新欄位：累計碰撞事件數和碰撞事件發生率。這兩個特徵驅動著我們的碰撞，並為接下來擬合的可靠性模型提供數據。基於新的 JMP 表，讓我們使用探索性資料分析來探索資料。由於里程數代表暴露量，因此里程數越高，發生碰撞的機會就越大。
我們將從日曆標籤上的里程視覺化開始。以下是在 JMP 中繪製里程圖的清晰步驟。首先，打開“圖表”並選擇“圖表產生器”。其次，將「日期」拖到 X 軸。第三，將以千英哩為單位的總里程數拖曳到 Y 軸。然後從頂部的兩個條形中選擇折線元素。此圖表顯示了每月里程數，即曝光度。我們看到早期的成長，2020 年的急劇下降，以及 2021 年至 2022 年的反彈，然後逐漸下降，最後略有回升。
這裡我想指出兩點。首先，2020年後，有些月份的行駛里程為零，這意味著新冠疫情過後自動駕駛汽車的測試數量會大幅增加。其次，下班後里程數會重新平衡，顯示新冠疫情過後測試範圍會更加廣泛。讓我們更進一步，透過查看累積碰撞事件數量和每月碰撞事件數量來了解自動駕駛汽車的安全趨勢。要在JMP中建立此視覺化效果，對於左側的累積圖，首先，我們開啟「圖形產生器」。其次，將「日期」拖到X軸。第三，將「累計碰撞事件數」拖曳到Y軸。然後選擇線條。如果想要更清晰的趨勢，可以添加較小的線條。累積圖的斜率說明了一切。
斜率越平緩，意味著事件數量越少。斜率越陡峭，代表每月事件數量越多。我們看到早期碰撞數量緩慢增長，在 2020 年左右趨於平緩。然後在 2021 年至 2022 年出現急劇下降。此後，斜率逐漸減弱，並出現一些起伏。右側是每月的碰撞計數。首先，打開“圖形產生器”。然後，將「日期」拖曳到 X 軸。第三，將碰撞事件數量拖曳到 Y 軸。然後，選擇“條形圖”進行視覺化。從紅色的視覺化圖中，您可以看到每個月都呈現相同的模式，早期計數較低，2020 年計數更深，2021 年至 2022 年計數更高，之後水平參差不齊。這只是讓我們根據當前感興趣的年份大致了解碰撞次數是如何發生的。
到目前為止，我們必須分別考察兩個指標：碰撞次數和里程數。如何將它們結合？我們從行數切換到暴露調整後的風險指標—碰撞事件率。這樣我們就能公平地比較不同里程數的月份。首先，如何在 JMP 中建構它。仍然遵循我們在先前幻燈片中解釋的類似模式。讓我們打開“圖形產生器”，然後將天數拖曳到 X 軸。第三，將碰撞事件率拖曳到 Y 軸。然後選擇長條圖進行視覺化。
在此視覺化中，您將看到峰值和下降。較高的長條表示每位男性發生碰撞的機率高於一個月。較低的條形表示風險較低。總體而言，碰撞率相對較低，顯示 Waymo 正在管理自動駕駛汽車的安全性。現在，讓我們進入 JMP 中的可靠性分析，這是我們今天演講的重點部分。我們將首先使用可靠性組和分段威布爾 NHPP 變點檢測來查看碰撞風險隨時間變化的時間和方式。此方法將時間軸劃分為多個階段，每個階段都有各自的趨勢。
如何在 JMP 中操作？以下是 JMP 中的分步說明。首先，打開“分析”，然後轉到“可靠性和生存”模組。選擇“可靠性成長”。其次，關注「日期格式」。第三，將「日期」拖到「時間戳」。然後，將「碰撞事件數」拖曳到「事件計數」。接下來，運行平台。在輸出中，選擇「分段威布爾分佈，NHPP 變點檢測」。在右側的圖中，我們可以看到點表示累積碰撞。
綠色帶顯示具有不確定性的擬合曲線，斜率反映風險。斜率越陡，事件發生率越高。斜率越平緩，可靠度越高。您可以在突出顯示的區域附近看到建議的變化點。在此之後，斜率發生變化，表示風險模式不同。此表顯示了分段威布爾分佈、NHPP 變化點檢測的估計值。該模型在 2022 年 8 月發現了一個變化點。在此點之前，beta[1] 約為 2.09，這意味著碰撞率快速上升。變化之後，beta[2] 約為 1.17，更接近平坦，因此碰撞率上升得更慢。 Lambda 設定了整體尺度。 95% 信賴區間給出了每個估計值的不確定性。
然而，仔細觀察可靠性成長模型的累積事件圖，會發現時間軸連結了多個階段。每個階段的斜率都講述了不同的故事。我們看到了幾種不同的斜率變化，顯示風險模式在不同時期會發生變化。這樣做的目的是將日曆劃分為不同的階段，並重新擬合模型以檢查結果的變化。按照我之前解釋的邏輯，我新增了一個名為「階段」的新列，並重新擬合了可靠性成長模型。首先，我們建立一個「階段」標籤。
如何在 JMP 中操作？更具體地說，首先，我們轉到“列”並選擇“新建列”。其次，我們將“列名”設定為“階段”。第三，將“資料”選項卡設為“字元”，將“建模”標籤設為“名義”。然後，按時間範圍填入列。您可以選擇每個日期範圍的行並輸入標籤，或在列屬性中新增公式。右側的圖現在用藍色虛線標示了階段邊界。在每個階段內，累積曲線的斜率表示事件的部分。斜率越陡峭，表示單位時間內碰撞次數越多；斜率越平緩，表示改善程度越高。比較不同階段的斜率有助於將風險變化與軟體營運中的回報變化聯繫起來。
接下來，讓我們重新運行「階段」可靠性成長分析。我們將使用分段威布爾 NHPP 來擬合模型。該模型將時間軸劃分為不同的階段，每個階段都有各自的趨勢。在 JMP 中，我們按照以下步驟操作。首先，開啟“分析”，選擇“可靠性和生存模組”，並指定“可靠性成長模型”。其次，轉到“日期格式”選項卡。第三，將“日期”拖曳到“時間戳記”，將“碰撞事件數”拖曳到“事件計數”，並將“階段”拖曳到“階段”。然後點擊“確定”重新運行所有內容。
從右側我們可以看到，綠色曲線和帶狀圖顯示了擬合的累積事件和不確定性。藍色虛線標示了階段邊界。在每個階段內，斜率表示碰撞事件的發生。此表顯示了不同階段的分段威布爾 NHPP 估計值。重點關注 beta 值。一般來說，如果 beta 值大於 1，則該階段的碰撞率正在上升。如果 beta 值大於 1，則碰撞率大致持平。如果 beta 值小於 1，則碰撞率正在下降。這代表著可靠性的提升。
這裡，階段 A、B、C、D、E、G 和 I 的 beta 值大於 1，顯示這些期間的風險上升。然而，階段 F 和 H 的 beta 值小於 1，表示可靠性有所提高。這就是這兩個不同模型的擬合情況，以及如果我們將其與不同的擬合模式進行比較，模型結果會如何變化。記住，我們也想探索自主性和安全性之間的關係。對於代理自主性，我們將研究脫離事件。我們將使用與之前相同的方法。收集最全面的月度脫離資料進行分析。為了將自主性與安全性連結起來，我加入了脫離事件率。
我們將結合碰撞事件率來分析每月脫離次數較少的車輛是否也發生較少的碰撞。如何在 JMP 中建立脫離事件率，以下是逐步說明。首先，前往“列”，選擇“新列”。其次，將「列名」設定為「脫離事件率」。第三，將“資料”標籤設為“數值”，並將“建模”標籤設定為“連續”。然後輸入自訂公式。將脫離事件數除以總里程。根據此公式，我們可以得出每月脫離事件率。
左邊是碰撞事件發生率，它是自動駕駛汽車安全的指標。右邊是脫離事件發生率。我們衡量自動駕駛安全性的指標每月都會有所變動。這裡的關鍵想法是，當脫離事件發生率下降時，共謀事件發生率通常會保持在較低水平，但我們需要直接比較才能確定。接下來，我將把這兩個事件發生率放在一個帶有平滑線的散佈圖上，以量化這兩個測量值之間的關係。在這個視覺化圖中，X 軸代表脫離事件發生率，Y 軸代表碰撞事件發生率。帶有陰影帶的線是 95% 信賴區間的擬合值。
從這裡我們可以看到一個稍微上升的趨勢。每英里脫離率較高的月份，每英里碰撞率也往往較高。這種關係在統計上顯著，但幅度不大，因此差異很大。這表明這兩個測量值之間存在相關性。這裡的關鍵點是，隨著自動駕駛技術的進步，碰撞率通常會保持平均較低水平，至少對於我們目前關注的特定製造商 Waymo 而言是如此。
讓我們快速總結一下我們為探索自動駕駛汽車安全性所做的工作。我們從資料收集和清理開始，將DMV報告匯入JMP，並從道路欄位建立新列，以確保JMP資料表已準備好進行分析。然後，我們進入數據探索部分。我們將暴露量（即行駛里程隨時間的變化）視覺化，並繪製碰撞事件及其風險圖，以獲得暴露量調整後的風險視圖。最後，在數據分析中，我們使用分段威布爾NHPP變點檢測法對匯總數據擬合了兩個可靠性增長模型，以識別階段和斜率變化，並進一步使用分段威布爾NHPP將時間線細分為不同的階段。此外，我們也透過比較脫離率和碰撞率來探索自動駕駛汽車與安全性之間的關係。
最後但並非最不重要的一點。
