大家早上好！感谢大家今天的到来。我叫Simin，目前是弗吉尼亚理工大学统计系五年级博士生，之前也是JMP实验设计与可靠性团队的暑期实习生。今天，我将演示JMP如何支持可靠性分析，以评估自动驾驶汽车和人工智能新兴领域的安全性。我今天演讲的主题是“探索自动驾驶汽车安全性：基于JMP的可靠性分析”。
在开始今天的演讲之前，我想先简单介绍一下自己，以便大家更好地了解我。我叫Simin，是弗吉尼亚理工大学统计系五年级的博士生。加油，Hokies！我的研究重点是人工智能系统的可靠性、人工智能驱动的统计分析以及大型语言模型的性能评估。没错，我不是构建大型语言模型的人，但我负责测试它们的稳健性和可靠性。我的研究兴趣与我们团队的使命高度契合，因此加入能源部和可靠性小组对我来说非常合适。
除了研究之外，我还积极参与一些专业活动和组织。我是统计应用与创新小组（简称SAIG）的首席统计合作者，该小组为弗吉尼亚理工大学校园提供统计咨询服务。我还担任统计系企业合作伙伴活动的委员会成员。最近，我很荣幸被选为弗吉尼亚理工大学Mu Sigma Rho分会的秘书，负责支持学生的参与和活动。
我知道这次演讲面向的是广大的 JMP 用户。你们当中有些人可能会想：可靠性到底是什么？当我们思考可靠性时，会想到几个关键概念：一致性、稳健性、可信度、经过验证、经过测试、值得信赖。这些词人们自然而然地会联想到可靠性，无论我们谈论的是实体产品、软件系统，还是机器学习模型，它们都适用。简而言之，可靠性是通过始终如一的性能赢得信任。
现在，让我们仔细看看该领域更正式的定义。根据 Meeker (2021) 的说法，可靠性被非正式地描述为故障避免和随时间推移的质量。换句话说，如果一个系统避免发生故障并在整个生命周期内持续运行良好，则被认为是可靠的。
此定义适用于所有采矿领域。例如，在产品可靠性方面，我们通常指的是物理组件或系统。在人工智能系统可靠性方面，这一概念延伸到软件可靠性，确保代码和基础设施稳健且不会崩溃；以及模型的稳健性和性能，确保模型即使在面对意外或噪声输入时也能保持良好的性能。
既然大家对可靠性已经有了大致的了解，那就让我们来谈谈人工智能系统。随着人工智能系统日益普及，其可靠性正逐渐成为一个重要的新兴领域。人工智能系统（通常简称为AI系统）有着广泛的应用，包括自动驾驶汽车（我简称为AV）、人工智能无人机、特征识别和对话式AI。其中，AV是最具影响力的应用之一，安全性和可靠性至关重要，因此理解和模拟其在现实世界中的行为和不确定性至关重要。
在许多研究中，我们观察每个受试者随时间重复发生的事件。这被称为复发事件过程，由此产生的数据称为复发事件数据。在自动驾驶汽车领域，我们观察到的复发事件类型不止一种，而是多种。自动驾驶汽车涉及两种不同类型的事件。一种称为脱离事件，另一种称为碰撞事件。脱离事件发生在自动驾驶系统将控制权交还给人类驾驶员时，通常是由于系统限制、道路状况不明和潜在风险造成的。另一方面，碰撞事件涉及自动驾驶过程中的实际碰撞。总之，这种类型就是我们所说的多类型复发事件数据。
我们之前也发表过与自动驾驶汽车可靠性相关的论文。首先，《自动驾驶汽车可靠性保障测试规划》聚焦于此类交战事件，开发了利用循环事件数据规划自动驾驶汽车可靠性保障测试的统计方法。其次，DR-AIR 引入了一个成熟的人工智能可靠性数据存储库，并定义了通用的测量方法和数据类型，提供了可用的干净数据集来支持这一新兴的研究领域。总之，本文为分析人工智能可靠性这一新兴领域提供了一个发展方向。
您可能想知道，自动驾驶汽车可靠性分析的数据从何而来？在自动驾驶汽车领域，加州车辆管理局 (DMV) 自 2015 年以来一直在运行自动驾驶汽车测试项目。作为该项目的一部分，在加州测试自动驾驶汽车的公司首先需要提交年度脱离报告，其次，还需要在事故发生后 10 天内报告任何碰撞事故。
这张幻灯片展示了两个示例。左侧是脱离报告的屏幕截图，右侧是碰撞报告，其中列出了制造商和AI-AIR的详细事件。回到两种自动驾驶汽车事件类型：脱离和碰撞。今天，我们将主要关注联盟如何展示自动驾驶汽车的安全性。随着人工智能的进步，建立可靠的当前自动驾驶汽车性能对于公众信任至关重要。这引出了以下问题：首先，应该如何对自动驾驶汽车安全性进行建模？其次，我们能否信任当前的自动驾驶汽车安全水平？第三，JMP如何帮助分析反复发生的碰撞事件数据？最重要的是，自主性水平与安全性之间是什么关系？
以下是今天演讲的端到端工作流程。我们将从数据收集和清理开始，导入 PDF 源文件并提取可靠性分析所需的字段。接下来是数据探索。我们将可视化基于暴露的测量结果。里程数之所以被视为暴露指标，是因为它反映了驾驶的里程数。里程数越高，发生碰撞的概率就越大。然后，我们将分析一段时间内的碰撞事件模式，并可视化一个风险指标——碰撞事件发生率，该指标量化了无论驾驶员行驶里程数如何，发生碰撞的可能性。碰撞事件发生率越高，意味着在相同暴露量下，预期发生碰撞的概率就越大。
最后，在数据分析中，我们应用可靠性建模来汇总数据，重点关注可靠性增长模型，然后分析自主性水平与安全水平之间的关系。我将在 JMP 中逐步演示每个步骤，以展示其在自动驾驶汽车可靠性分析方面的强大功能。
既然我们要从碰撞事件开始，让我来回顾一下加州车辆管理局（DMV）的报告是什么样的。DMV 会记录每家自动驾驶汽车公司，要求他们提交任何造成财产损失、人员受伤甚至死亡的碰撞事故报告。在网站上，这些公开报告按制造商和年份列出，显示在幻灯片的左侧。今天，我将只关注 Waymo。Waymo 最初是谷歌的自动驾驶项目，现在在部分城市提供无人驾驶汽车的广泛叫车服务。Waymo 驾驶员系统结合了摄像头、雷达、方向舵、地图，甚至机器学习，使其表现得像一个谨慎、可预测的驾驶员。Waymo 拥有广泛的运营和一致详细的报告，这使得其数据非常适合我们的可靠性分析。
以下是我们导入和清理加州机动车管理局 (DMV) 碰撞报告的方法。左侧显示的是您之前看到的公共门户。右侧显示的是一份典型的碰撞报告。让我们打开一份报告，查看它包含的字段。对于每个 PDF 文件，我们提取关键字段，例如：制造商、日期和时间、车辆年份、品牌和型号、位置以及所有其他整理详细信息。然后将结构化数据加载到 JMP 中，分配正确的类型并标准化名称。这样我们就可以获得一个清晰的、可供进一步分析的表格。
让我们看看从公开的碰撞报告中提取关键字段后碰撞事件数据集的结构。此表显示了我们保留的字段，包括制造商、日期、年份、型号、制造商、车辆、车型和基本事故详情，但不包含车辆识别码 (VIN) 等唯一标识符。如底部所示，碰撞数据仅在汇总级别可用。换句话说，没有车辆识别码 (VIN) 级别的信息。在进入最终分析阶段时，我们会牢记这一点。
这是我们根据提取的碰撞报告字段，为 Waymo 清理后的 JMP 表格。按月度计算，它包含天数、自动驾驶汽车测试次数、以千英里为单位的总里程以及碰撞事件数量。请记住，这些都是汇总计数，没有车辆识别码 (VIN) 级别的细节。在此基础上，我们添加累积事件，以了解碰撞如何随时间推移而累积。此外，我们还计算了自动驾驶汽车的安全风险指标。通过测量这些事件随时间发生的频率，我们可以获得碰撞事件的重复率，并将其作为安全性的指标。
这就引出了另一个问题。如何基于 JMP 中现有的列信息创建列？详细的点击路径总结如下。首先，我们进入“列”菜单，选择“新建列”。然后将“列名”设置为“碰撞事件率”。第三，将“数据”选项卡设置为“数值”，将“建模”选项卡设置为“连续”。然后打开“列属性”，选择“公式”，并为新列输入“自定义公式”。例如，我们使用累计和来创建累计事件列，碰撞事件率的计算公式为碰撞事件数除以总里程。
添加新信息后，JMP 数据表如下所示。应用新公式后，数据表包含两个新列：累计碰撞事件数和碰撞事件发生率。这两个特征驱动着我们的碰撞，并为接下来拟合的可靠性模型提供数据。基于新的 JMP 表，让我们使用探索性数据分析来探索数据。由于里程数代表着暴露量，因此里程数越高，发生碰撞的机会就越大。
我们将从日历选项卡上的里程可视化开始。以下是在 JMP 中绘制里程图的清晰步骤。首先，打开“图表”并选择“图表生成器”。其次，将“日期”拖到 X 轴。第三，将以千英里为单位的总里程数拖到 Y 轴。然后从顶部的两个条形中选择折线元素。此图表显示了每月里程数，即曝光度。我们看到早期的增长，2020 年的急剧下降，以及 2021 年至 2022 年的反弹，然后逐渐下降，最后略有回升。
这里我想指出两点。首先，2020年之后，有些月份的行驶里程为零，这意味着新冠疫情过后自动驾驶汽车的测试数量会大幅增加。其次，下班后里程会重新平衡，表明新冠疫情过后测试范围会更加广泛。让我们更进一步，通过查看累计碰撞事件数量和每月碰撞事件数量来了解自动驾驶汽车的安全趋势。要在JMP中构建此可视化效果，对于左侧的累积图，首先，我们打开“图形生成器”。其次，将“日期”拖到X轴。第三，将“累计碰撞事件数量”拖到Y轴。然后选择线条。如果想要更清晰的趋势，可以添加较小的线条。累积图的斜率说明了一切。
斜率越平缓，意味着事件数量越少。斜率越陡峭，意味着每月事件数量越多。我们看到早期碰撞数量缓慢增长，在 2020 年左右趋于平缓。然后在 2021 年至 2022 年出现急剧下降。此后，斜率逐渐平缓，并有一些起伏。右侧是每月的碰撞计数。首先，让我们打开“图形生成器”。然后，将“日期”拖到 X 轴。第三，将碰撞事件数量拖到 Y 轴。然后，选择“条形图”进行可视化。从红色的可视化中，您可以看到每个月都呈现相同的模式，早期计数较低，2020 年计数更深，2021 年至 2022 年计数更高，之后水平参差不齐。这只是让我们大致了解基于我们当前感兴趣的年份的碰撞数量是如何发生的。
到目前为止，我们必须分别考察两个指标：碰撞次数和里程数。如何将它们结合起来？我们从行数切换到暴露调整后的风险指标——碰撞事件率。这样我们就能公平地比较不同里程数的月份。首先，如何在 JMP 中构建它。仍然遵循我们在之前幻灯片中解释的类似模式。让我们打开“图形生成器”，然后将天数拖到 X 轴。第三，将碰撞事件率拖到 Y 轴。然后选择条形图进行可视化。
在此可视化中，您将看到峰值和下降。较高的条形表示每位男性发生碰撞的概率高于一个月。较低的条形表示风险较低。总体而言，碰撞率相对较低，表明 Waymo 正在管理自动驾驶汽车的安全。现在，让我们进入 JMP 中的可靠性分析，这是我们今天演讲的重点部分。我们将首先使用可靠性组和分段威布尔 NHPP 变点检测来查看碰撞风险随时间变化的时间和方式。该方法将时间线划分为多个阶段，每个阶段都有各自的趋势。
如何在 JMP 中操作？以下是 JMP 中的分步说明。首先，打开“分析”，然后转到“可靠性和生存”模块。选择“可靠性增长”。其次，关注“日期格式”。第三，将“日期”拖到“时间戳”。然后，将“碰撞事件数”拖到“事件计数”。接下来，运行平台。在输出中，选择“分段威布尔分布，NHPP 变点检测”。在右侧的图中，我们可以看到点表示累积碰撞。
绿色带显示具有不确定性的拟合曲线，斜率反映风险。斜率越陡，事件发生率越高。斜率越平缓，可靠性越高。您可以在突出显示的区域附近看到建议的变化点。在此之后，斜率发生变化，表明风险模式不同。该表显示了分段威布尔分布、NHPP 变化点检测的估计值。该模型在 2022 年 8 月发现了一个变化点。在此点之前，beta[1] 约为 2.09，这意味着碰撞率快速上升。变化之后，beta[2] 约为 1.17，更接近于平坦，因此碰撞率上升得更慢。Lambda 设定了整体尺度。95% 置信区间给出了每个估计值的不确定性。
然而，仔细观察可靠性增长模型的累积事件图，会发现时间线连接了多个阶段。每个阶段的斜率都讲述了不同的故事。我们看到了几种不同的斜率变化，表明风险模式在不同时期会发生变化。这样做的目的是将日历划分为不同的阶段，并重新拟合模型以检查结果的变化。按照我之前解释的逻辑，我添加了一个名为“阶段”的新列，并重新拟合了可靠性增长模型。首先，我们创建一个“阶段”标签。
如何在 JMP 中操作？更具体地说，首先，我们转到“列”并选择“新建列”。其次，我们将“列名”设置为“阶段”。第三，将“数据”选项卡设置为“字符”，将“建模”选项卡设置为“名义”。然后，按时间范围填充列。您可以选择每个日期范围的行并输入标签，或者在列属性中添加公式。右侧的图现在用蓝色虚线标记了阶段边界。在每个阶段内，累积曲线的斜率表示事件的部分。斜率越陡峭，表示单位时间内碰撞次数越多；斜率越平缓，表示改进程度越高。比较不同阶段的斜率有助于将风险变化与软件运营中的回报变化联系起来。
接下来，让我们重新运行“阶段”可靠性增长分析。我们将使用分段威布尔 NHPP 拟合模型。该模型将时间线划分为不同的阶段，每个阶段都有各自的趋势。在 JMP 中，我们按照以下步骤操作。首先，打开“分析”，选择“可靠性和生存模块”，并指定“可靠性增长模型”。其次，转到“日期格式”选项卡。第三，将“日期”拖到“时间戳”，将“碰撞事件数”拖到“事件计数”，并将“阶段”拖到“阶段”。然后点击“确定”重新运行所有步骤。
从右侧我们可以看到，绿色曲线和带状图显示了拟合的累积事件和不确定性。蓝色虚线标记了相边界。在每个相内，斜率表示碰撞事件的发生情况。此表显示了不同相的分段威布尔 NHPP 估计值。重点关注 beta 值。一般来说，如果 beta 值大于 1，则该相的碰撞率会上升。如果 beta 值大于 1，则碰撞率大致持平。如果 beta 值小于 1，则碰撞率会下降。这代表着可靠性的提升。
这里，阶段 A、B、C、D、E、G 和 I 的 beta 值大于 1，表明这些时期的风险上升。然而，阶段 F 和 H 的 beta 值小于 1，表明可靠性有所提高。这就是这两个不同模型的拟合情况，以及如果我们将其与不同的拟合模式进行比较，模型结果会如何变化。记住，我们还想探索自主性和安全性之间的关系。对于代理自主性，我们将研究脱离事件。我们将使用与之前相同的方法。收集最全面的月度脱离数据进行分析。为了将自主性与安全性联系起来，我添加了脱离事件率。
我们将结合碰撞事件率来分析每月脱离事件率是否也较低。如何在 JMP 中创建脱离事件率？以下是分步说明。首先，转到“列”，选择“新建列”。其次，将“列名”设置为“脱离事件率”。第三，将“数据”选项卡设置为“数值”，并将“建模”选项卡设置为“连续”。然后输入自定义公式。将脱离事件数除以总里程。根据此公式，我们可以得出每月脱离事件率。
左边是碰撞事件发生率，它是自动驾驶汽车安全性的指标。右边是脱离事件发生率。我们衡量自动驾驶安全性的指标每月都会变化。这里的关键思想是，当脱离事件发生率下降时，共谋事件发生率通常会保持在较低水平，但我们需要直接比较才能确定。接下来，我将把这两个事件发生率放在一个带有平滑线的散点图上，以量化这两个测量值之间的关系。在这个可视化图中，X 轴代表脱离事件发生率，Y 轴代表碰撞事件发生率。带有阴影带的线是 95% 置信区间的拟合值。
从这里我们可以看到一个略微上升的趋势。每英里脱离率较高的月份，每英里碰撞率也往往较高。这种关系在统计上显著，但幅度不大，因此差异很大。这表明这两个测量值之间存在相关性。这里的关键点是，随着自动驾驶技术的进步，碰撞率通常会保持平均较低水平，至少对于我们目前关注的特定制造商 Waymo 而言是如此。
让我们快速总结一下我们为探索自动驾驶汽车安全性所做的工作。我们从数据收集和清理开始，将DMV报告导入JMP，并从道路字段创建新列，以确保JMP数据表已准备好进行分析。然后，我们进入数据探索部分。我们将暴露量（即行驶里程随时间的变化）可视化，并绘制碰撞事件及其风险图，以获得暴露量调整后的风险视图。最后，在数据分析中，我们使用分段威布尔NHPP变点检测法对汇总数据拟合了两个可靠性增长模型，以识别阶段和斜率变化，并进一步使用分段威布尔NHPP将时间线细分为不同的阶段。此外，我们还通过比较脱离率和碰撞率来探索自动驾驶汽车与安全性之间的关系。
最后但并非最不重要的一点。
