Buenos días a todos. Gracias por estar aquí hoy. Me llamo Simin. Actualmente soy estudiante de doctorado de quinto año en el Departamento de Estadística de Virginia Tech y también realicé prácticas de verano en el grupo de Diseño de Experimentos y Fiabilidad de JMP. Hoy demostraré cómo JMP facilita el análisis de fiabilidad para evaluar la seguridad de los vehículos autónomos y un área emergente en inteligencia artificial. El título de mi charla de hoy es "Explorando la seguridad de los vehículos autónomos: un análisis de fiabilidad impulsado por JMP".
Antes de empezar con la charla de hoy, me gustaría compartir un poco sobre mí para que me conozcan mejor. Me llamo Simin y soy estudiante de doctorado de quinto año en el Departamento de Estadística de Virginia Tech. ¡Vamos Hokies! Mi investigación se centra en la fiabilidad de los sistemas de IA, el análisis estadístico basado en IA y la evaluación del rendimiento de grandes modelos lingüísticos. Si bien no soy quien construye grandes modelos lingüísticos, sí soy quien prueba su robustez y fiabilidad. Mi interés investigador se alinea estrechamente con la misión de nuestro equipo, por lo que formar parte del Grupo de Fiabilidad y del Departamento de Energía es ideal para mí.
Además de la investigación, participo activamente en diversas actividades y organizaciones profesionales. Soy colaboradora estadística principal en el Grupo de Aplicaciones Estadísticas e Innovación (SAIG), que ofrece servicios de consultoría estadística en todo el campus de Virginia Tech. También formo parte del comité de eventos de socios corporativos del Departamento de Estadística. Recientemente, tuve el honor de ser nombrada secretaria de Mu Sigma Rho, capítulo de Virginia Tech, donde ayudo a impulsar la participación y las actividades estudiantiles.
Sé que esta presentación está dirigida a un público amplio de usuarios de JMP. Algunos de ustedes se preguntarán: ¿qué es exactamente la confiabilidad? Al pensar en confiabilidad, nos vienen a la mente algunas ideas clave: consistencia, robustez, confianza, comprobado, confiable. Estas son palabras que la gente asocia naturalmente con la confiabilidad y son aplicables tanto a un producto físico como a un sistema de software o incluso a un modelo de aprendizaje automático. En resumen, la confiabilidad se basa en la confianza a través de un rendimiento consistente.
Ahora, analicemos con más detalle una definición más formal del campo. Según Meeker (2021), la confiabilidad se ha descrito informalmente como la prevención de fallos y la calidad a lo largo del tiempo. En otras palabras, un sistema se considera confiable si evita averías y mantiene un buen rendimiento durante toda su vida útil.
Esta definición se aplica a todos los dominios de la minería. Por ejemplo, en la confiabilidad del producto, solemos referirnos a componentes o sistemas físicos. En la confiabilidad de los sistemas de IA, la idea se extiende a la confiabilidad del software, asegurando que el código y la infraestructura sean robustos y no se colapsen, y a la robustez y el rendimiento del modelo, asegurando que el modelo se comporte de forma justa, incluso ante entradas inesperadas o ruidosas.
Ahora que supongo que todos tienen una idea general de la confiabilidad, pasemos a los sistemas de IA. A medida que estos sistemas se vuelven cada vez más comunes, la confiabilidad en IA emerge como un área nueva e importante. Los sistemas de Inteligencia Artificial (IA), a menudo llamados sistemas de IA para abreviar, tienen una amplia gama de aplicaciones, incluyendo vehículos autónomos (yo los llamaría simplemente vehículos autónomos), drones impulsados por IA, reconocimiento de características e IA conversacional. Entre ellas, los vehículos autónomos destacan como una de las aplicaciones más impactantes, donde la seguridad y la confiabilidad son esenciales, lo que hace importante comprender y modelar su comportamiento e incertidumbre en el mundo real.
En muchos estudios, observamos eventos que ocurren repetidamente en el tiempo para cada sujeto. Esto se conoce como proceso de eventos recurrentes, y los datos resultantes se denominan datos de eventos recurrentes. En el campo de los vehículos autónomos, observamos no solo uno, sino múltiples tipos de eventos recurrentes. Existen dos tipos diferentes de eventos involucrados en los vehículos autónomos: uno se denomina evento de desconexión y el otro, evento de colisión. Un evento de desconexión ocurre cuando los sistemas de conducción autónoma devuelven el control al conductor humano, a menudo debido a limitaciones del sistema, situaciones de carretera confusas y riesgos potenciales. Un evento de colisión, por otro lado, implica un choque real durante la operación autónoma. En conjunto, este tipo es lo que denominamos datos de eventos recurrentes multitipo.
También hemos publicado artículos relacionados con la confiabilidad de los vehículos autónomos. En primer lugar, "Planificación de la Prueba de Aseguramiento de la Confiabilidad para Vehículos Automáticos" se centra en este evento de interacción, desarrollando métodos estadísticos para planificar la prueba de aseguramiento de la confiabilidad de los vehículos autónomos utilizando datos de eventos recurrentes. En segundo lugar, "DR-AIR" introduce un repositorio consolidado para datos de confiabilidad de IA y define mediciones y tipos de datos comunes, proporcionando conjuntos de datos limpios y utilizables para respaldar esta área de investigación emergente. En conjunto, este artículo proporciona una orientación para el análisis del campo emergente de la confiabilidad de la IA.
Quizás se pregunte de dónde provienen los datos para el análisis de confiabilidad de los vehículos autónomos. En el ámbito de los vehículos autónomos, el DMV de California ha implementado un programa de pruebas de vehículos autónomos desde 2015. Como parte de este programa, las empresas que realizan pruebas de vehículos autónomos en California deben presentar, primero, informes anuales de desconexión y, luego, informar sobre cualquier colisión dentro de los 10 días posteriores al incidente.
Esta diapositiva muestra dos ejemplos. A la izquierda, una captura de pantalla de los informes de desconexión, y a la derecha, los informes de colisión, que detallan los incidentes por fabricante y AI-AIR. Volviendo a los dos tipos de eventos de vehículos autónomos, desconexión y colisión, hoy nos centraremos principalmente en las coaliciones para demostrar la seguridad de los vehículos autónomos. A medida que la IA avanza, establecer un rendimiento actual y fiable de los vehículos autónomos es fundamental para la confianza pública. Esto nos lleva a las siguientes preguntas: primero, ¿cómo se debe modelar la seguridad de los vehículos autónomos? segundo, ¿podemos confiar en los niveles actuales de seguridad de los vehículos autónomos? tercero, ¿cómo puede JMP ayudar a analizar los datos de colisiones recurrentes? y, lo más importante, ¿cuál es la relación entre el nivel de autonomía y la seguridad?
Este es el flujo de trabajo integral de la charla de hoy. Comenzaremos con la recopilación y limpieza de datos, importando la fuente de los PDF y extrayendo los campos necesarios para el análisis de confiabilidad. A continuación, se realiza la exploración de datos. Visualizamos mediciones basadas en la exposición. El kilometraje sirve como factor de exposición, ya que refleja la frecuencia de conducción. Un mayor kilometraje implica mayores probabilidades de colisión. A continuación, examinamos los patrones de colisión a lo largo del tiempo y visualizamos una medida de riesgo, la tasa de colisión, que cuantifica la probabilidad o posibilidad de una colisión, independientemente del kilometraje del conductor. Una tasa más alta implica una mayor probabilidad de colisión para la misma exposición.
Finalmente, en el análisis de datos, aplicamos el modelado de confiabilidad a los datos agregados, centrándonos en los modelos de crecimiento de la confiabilidad, y luego examinamos cómo se relaciona el nivel de autonomía con el nivel de seguridad. Analizaré cada paso de JMP para demostrar sus capacidades para el análisis de confiabilidad de vehículos autónomos.
Ya que comenzaremos con los eventos de colisión, permítanme repasar cómo se ven los informes del DMV de California. El DMV registra a todas las compañías de vehículos autónomos para que presenten un informe por cualquier accidente que cause daños materiales, lesiones o incluso la muerte. En el sitio web, estos informes públicos se enumeran por fabricante y año, que se muestra en el lado izquierdo de la diapositiva. Hoy me centraré en Waymo. Waymo comenzó como el proyecto de conducción autónoma de Google y ahora opera un amplio servicio de transporte con vehículos sin conductor en ciudades seleccionadas. Waymo Driver combina cámaras, radar, timón, mapas e incluso aprendizaje automático para actuar como un conductor precavido y predecible. Waymo cuenta con amplias operaciones e informes detallados y consistentes, lo que hace que sus datos sean ideales para nuestro análisis de confiabilidad.
Así es como importamos y limpiamos los informes de colisiones del DMV de California. A la izquierda se muestra el portal público que vio anteriormente. A la derecha se muestra un informe de colisión típico. Abramos uno para ver los campos que contiene. Para cada PDF, extraemos campos clave como: fabricación, fecha y hora, año, marca y modelo del vehículo, ubicación y demás detalles de intercalación. Luego, cargamos los datos estructurados en JMP, les asignamos los tipos correctos y estandarizamos los nombres. Esto nos proporciona una tabla limpia y lista para análisis para una exploración más profunda.
Analicemos la estructura de los conjuntos de datos de eventos de colisión después de extraer los campos clave de los informes públicos de colisión. Esta tabla muestra el campo que conservamos, incluyendo fabricación, fecha, año, modelo, marca, vehículo, modelo y detalles básicos del accidente, pero no incluye identificadores únicos como el VIN. Como se indica al final, los datos de colisión solo están disponibles a nivel agregado. En otras palabras, no hay información a nivel de VIN. Tendremos esto en cuenta al proceder a la etapa final del análisis.
Esta es nuestra tabla JMP depurada para Waymo, basada en los campos extraídos del informe de colisiones. Mensualmente, incluye los días, el número de pruebas de vehículos autónomos, el kilometraje total medido en kilo-millas y el número de colisiones. Recuerde que estos son recuentos agregados, sin detalles a nivel de VIN. Con base en esto, sumamos los eventos acumulados para ver cómo se acumulan las colisiones con el tiempo. Además, calculamos una medida de riesgo de seguridad para los vehículos autónomos. Al medir la frecuencia con la que ocurren estos eventos, obtenemos la tasa recurrente de colisiones, que utilizamos como indicador de seguridad.
Esto plantea otra pregunta. ¿Cómo creamos una columna basada en la información de columnas existente en JMP? La ruta de clics detallada se resume aquí. Primero, vayamos a Columnas y seleccionemos Nuevas Columnas. Luego, configuremos el Nombre de Columna como Tasa de Eventos de Colisión. Tercero, configuremos la pestaña Datos como Numérico y la pestaña Modelado como Continuo. A continuación, abramos Propiedades de columna, seleccione Fórmula e introduzcamos una Fórmula personalizada para la nueva columna. Por ejemplo, usamos una suma acumulada para crear la columna de eventos acumulados, y la tasa de eventos de colisión se calcula dividiendo el número de eventos de colisión entre el kilometraje total.
Así se ve la tabla de datos JMP tras añadir la nueva información. Con las nuevas fórmulas aplicadas, ahora incluye dos nuevas columnas: número acumulado de eventos de colisión y tasa de eventos de colisión. Estas dos características determinan nuestros plops y alimentan los modelos de fiabilidad que ajustaremos a continuación. Con base en la nueva tabla JMP, exploremos los datos mediante análisis exploratorio. Dado que el kilometraje representa la exposición, un mayor kilometraje implica mayores oportunidades o probabilidades de colisión.
Comenzaremos visualizando el kilometraje en la pestaña del calendario. Aquí tienes una guía paso a paso para trazar el gráfico de kilometraje en JMP. Primero, abre Gráfico y selecciona Constructor de Gráficos. Segundo, arrastra Fecha al eje X. Tercero, arrastra el kilometraje total medido en kilo-millas al eje Y. Luego, selecciona el elemento de línea de las dos barras superiores. Este gráfico muestra el kilometraje mensual y la exposición. Observamos un aumento inicial, una caída pronunciada en 2020, un repunte con las imágenes de 2021 a 2022, y un descenso gradual y una ligera recuperación al final.
Dos cosas que quiero señalar aquí. Primero, después de 2020, hay meses con cero kilometraje, lo que significa muchas más pruebas de vehículos autónomos después de la COVID-19. Segundo, el reequilibrio del kilometraje después del trabajo muestra pruebas más exhaustivas después de la COVID-19. Vayamos un paso más allá y observemos el número acumulado de eventos de colisión y el número mensual de eventos de colisión para ver las tendencias de seguridad de los vehículos autónomos. Para crear esta visualización en JMP, para el gráfico acumulado de la izquierda, primero abramos el Constructor de Gráficos. Segundo, arrastremos la Fecha al eje X. Tercero, arrastremos el Número acumulado de eventos de colisión al eje Y. Luego, seleccionemos la línea. Añada una línea más pequeña si desea una tendencia más clara. La pendiente del gráfico acumulado lo indica.
Una pendiente más plana significa menos eventos. Una pendiente más pronunciada significa más eventos por mes. Observamos un aumento lento al principio y un aplanamiento cerca de 2020. Luego, una fijación pronunciada entre 2021 y 2022. Después, la pendiente se suaviza con algunas subidas y bajadas. Para los recuentos mensuales de colisiones a la derecha, primero abramos el Constructor de Gráficos. Luego, arrastremos Fecha al eje X. Tercero, arrastremos el número de eventos de colisión al eje Y. Luego, seleccionemos Barra para nuestra visualización. En la visualización en rojo, se puede ver el mismo patrón mes a mes: recuentos bajos al principio, una ronda más profunda en 2020, un pico más alto entre 2021 y 2022 y niveles mixtos posteriormente. Esto nos da una idea general de cómo se produce el número de colisiones según el año que nos interesa.
Hasta ahora, debemos analizar dos medidas por separado: el recuento de colisiones y el kilometraje. ¿Cómo las combinamos? Pasamos del recuento de filas a la medida de riesgo ajustada a la exposición: la tasa de eventos de colisión. Esto nos permite comparar de forma precisa meses con diferente kilometraje. Primero, cómo crearla en JMP. Sigamos los patrones similares a los que explicamos en diapositivas anteriores. Abramos el Constructor de Gráficos y arrastremos los días al eje X. Tercero, arrastremos la tasa de eventos de colisión al eje Y. A continuación, seleccionemos la barra para nuestra visualización.
En esta visualización, verás picos y caídas. Las barras más altas indican una mayor probabilidad de colisión por hombre que al mes. Las barras más bajas indican un menor riesgo. En general, la tasa de colisión es relativamente baja, lo que indica que Waymo está gestionando la seguridad de los vehículos autónomos. Ahora, pasemos al análisis de confiabilidad en JMP, que es la parte clave de la charla de hoy. Primero, utilizaremos grupos de confiabilidad con la Detección de Puntos de Cambio NHPP de Weibull por Partes para ver cuándo y cómo cambia el riesgo de colisión con el tiempo. El método divide la línea de tiempo en fases, cada una con su propia tendencia.
¿Cómo hacerlo en JMP? Aquí tienes las instrucciones paso a paso. Primero, abramos "Analizar" y luego vayamos al módulo "Fiabilidad y Supervivencia". Seleccione "Crecimiento de la Fiabilidad". Segundo, centrémonos en el formato de fecha. Tercero, arrastremos "Fecha" a "Marca de tiempo". Luego, arrastremos "Número de eventos de colisión" a "Conteo de eventos". A continuación, ejecute la plataforma. En la salida, seleccione "Weibull por partes, Detección de punto de cambio NHPP". En el gráfico de la derecha, podemos ver que los puntos representan las colisiones acumuladas.
La banda verde muestra la curva ajustada con incertidumbre, y la pendiente refleja el riesgo. Una curva más pronunciada implica una mayor tasa de eventos. Una curva más plana implica una mayor fiabilidad. Se puede ver un punto de cambio sugerido cerca de la región resaltada. Después, la pendiente cambia, lo que indica un patrón de riesgo diferente. La tabla muestra las estimaciones de Piecewise Weibull, NHPP Change Point Detection. El modelo encuentra un punto de cambio en agosto de 2022. Antes de ese punto, beta[1] rondaba 2,09, lo que indicaba que la tasa de colisiones aumentaba rápidamente. Después del cambio, beta[2] rondaba 1,17, mucho más cerca de un punto plano, por lo que la tasa aumenta más lentamente. Lambda establece la escala general. Los intervalos de confianza del 95 % indican la incertidumbre en torno a cada estimación.
Sin embargo, al observar con atención el gráfico de eventos acumulados del modelo de crecimiento de la confiabilidad, la línea de tiempo se divide en fases. En cada fase, la pendiente revela una historia diferente. Observamos varios cambios de pendiente, lo que sugiere que el patrón de riesgo cambia a lo largo de los períodos. Este motivo consiste en dividir el calendario en diferentes fases y reajustar el modelo para detectar cambios en los resultados. Siguiendo la lógica que expliqué anteriormente, he añadido una nueva columna llamada Fase y reajustado el modelo de crecimiento de la confiabilidad. Primero, creamos una etiqueta de Fase.
¿Cómo hacerlo en JMP? Para ser más específicos, primero, vayamos a Columnas y seleccionemos Nueva Columna. Segundo, configuremos el Nombre de Columna como Fase. Tercero, configuremos la Pestaña Datos como Carácter y la Pestaña Modelado como Nominal. Luego, complete la columna con rangos de tiempo. Seleccione filas para cada rango de fechas y escriba la etiqueta o agregue una fórmula en las propiedades de la columna. El gráfico de la derecha marca los límites de las fases con líneas discontinuas azules. Dentro de cada fase, la pendiente de la curva acumulativa muestra la parte de los eventos. Una pendiente más pronunciada significa más colisión por unidad de tiempo, una pendiente más plana significa una mejora. Comparar las pendientes en diferentes fases ayuda a vincular los cambios en los riesgos con los cambios en las recompensas en las operaciones del software.
A continuación, repitamos el análisis de crecimiento de la confiabilidad con Fase. Ajustaremos el modelo utilizando el modelo Weibull NHPP por partes. Este modelo segmenta la línea de tiempo en diferentes fases, cada una con su propia tendencia. En JMP, sigamos los pasos. Primero, abramos Analizar, seleccionemos Módulos de Confiabilidad y Supervivencia y especifiquemos el Modelo de Crecimiento de la Confiabilidad. Segundo, vayamos a la pestaña Formato de Fecha. Tercero, arrastremos Fecha a Marca de Tiempo, Número de Eventos de Colisión a Conteo de Eventos y Fase a Fase. Luego, haga clic en Aceptar para repita el proceso.
Desde el lado derecho, podemos ver que la curva y la banda verdes muestran los eventos acumulados ajustados y la incertidumbre. Las líneas discontinuas azules marcan los límites de fase. Dentro de cada fase, la pendiente indica la proporción de eventos de colisión. Esta tabla muestra las estimaciones de Weibull NHPP por partes para diferentes fases. Concéntrese en la beta. La idea general es que si la beta es mayor que 1, la tasa de colisión aumenta en esa fase. Si la beta es superior a 1, la tasa se mantiene prácticamente estable. Si la beta es menor que 1, la tasa disminuye. Esto representa una mejora en la confiabilidad.
Aquí, las fases A, B, C, D, E, G e I tienen una beta mayor que 1, lo que indica un aumento del riesgo en esos períodos. Sin embargo, las fases F y H tienen una beta menor que 1, lo que sugiere una mejora en la fiabilidad. Así es como se ajustan estos dos modelos y cómo cambian los resultados del modelo si los comparamos con diferentes modos de ajuste. Recuerde que también queremos explorar la relación entre autonomía y seguridad. Para una autonomía proxy, analizaremos los eventos de desvinculación. Utilizaremos el mismo enfoque que antes. Recopilaremos los datos mensuales más agregados de desvinculación para su análisis. Para vincular la autonomía con la seguridad, añadimos una tasa de eventos de desvinculación.
Usaremos esto junto con la tasa de eventos de colisión para ver si los eventos mensuales con menos desconexión también tienen menos colisiones. Para crear la tasa de eventos de desconexión en JMP, siga las instrucciones paso a paso. Primero, vaya a "Columnas" y seleccione "Nuevas columnas". Segundo, configure el nombre de la columna como "Tasa de eventos de desconexión". Tercero, configure la pestaña de datos como numérica y seleccione "Continuo" en la pestaña de Modelado. A continuación, introduzca la fórmula personalizada. El número de eventos de desconexión se divide entre el kilometraje total. Con esta fórmula, podemos obtener la tasa mensual de eventos de desconexión.
A la izquierda se muestra la tasa de colisiones, indicador de seguridad en vehículos autónomos. A la derecha, la tasa de desconexión. Nuestros indicadores de autonomía varían mensualmente. La idea clave es que, cuando la tasa de desconexión disminuye, la tasa de colusión suele mantenerse baja, pero necesitamos una comparación directa para asegurarnos. A continuación, presentaré estas dos tasas en un diagrama de dispersión con un smother para cuantificar la relación entre ambas mediciones. Para esta visualización, el eje X representa la tasa de desconexión. El eje Y representa la tasa de colisiones. La línea con la banda sombreada representa el ajuste con un intervalo de confianza del 95 %.
Desde aquí, podemos observar una ligera pendiente ascendente. Los meses con mayor desconexión por milla tienden a tener más colisiones por milla. La relación es estadísticamente significativa, pero modesta, por lo que hay una gran dispersión. Esto indica una correlación entre estas dos mediciones. La conclusión clave es que, a medida que mejora la autonomía, la tasa de colisiones generalmente se mantiene baja en promedio, al menos para Waymo, los fabricantes específicos en los que nos centramos actualmente.
Resumamos brevemente nuestras acciones para explorar la seguridad de los vehículos autónomos. Comenzamos con la recopilación y limpieza de datos, importando los informes del DMV a JMP y creando nuevas columnas a partir del campo de carreteras para asegurarnos de que la tabla de datos de JMP estuviera lista para el análisis. A continuación, pasamos a la exploración de datos. Visualizamos la exposición, que es el kilometraje a lo largo del tiempo, y graficamos los eventos de colisión y su riesgo para obtener una visión ajustada a la exposición del riesgo. Finalmente, en el análisis de datos, ajustamos dos modelos de crecimiento de la fiabilidad a los datos agregados mediante la detección de puntos de cambio de Weibull NHPP por partes para identificar fases y cambios de pendiente, y posteriormente utilizamos el Weibull NHPP por partes para segmentar la línea de tiempo en diferentes fases. Además, exploramos cómo se relaciona la autonomía con la seguridad de los vehículos autónomos comparando la tasa de desconexión con la tasa de colisión.
Por último, pero no menos importante.
