Bonjour à tous. Merci d'être présents aujourd'hui. Je m'appelle Simin. Je suis actuellement doctorant en cinquième année au département de statistique de Virginia Tech et ancien stagiaire d'été au sein du groupe Plans d'expériences et fiabilité de JMP. Aujourd'hui, je vais vous montrer comment JMP prend en charge l'analyse de fiabilité pour évaluer la sécurité des véhicules autonomes et un domaine émergent de l'intelligence artificielle. Mon exposé s'intitule « Explorer la sécurité des véhicules autonomes : une analyse de fiabilité optimisée par JMP ».
Avant de commencer la présentation d'aujourd'hui, j'aimerais me présenter brièvement afin que chacun puisse mieux me connaître. Je m'appelle Simin et je suis doctorant en cinquième année au département de statistique de Virginia Tech. Allez les Hokies ! Mes recherches portent sur la fiabilité des systèmes d'IA, l'analyse statistique pilotée par l'IA et l'évaluation des performances des grands modèles de langage. Certes, je ne suis pas celui qui construit les grands modèles de langage, mais celui qui teste leur robustesse et leur fiabilité. Mes intérêts de recherche correspondent étroitement à la mission de notre équipe ; faire partie du groupe DoE et Fiabilité est donc un choix idéal pour moi.
Au-delà de la recherche, je suis également activement impliqué dans plusieurs activités et organisations professionnelles. Je suis collaborateur statistique principal au sein du Groupe d'applications et d'innovation statistiques (SAIG), qui fournit des services de conseil statistique sur le campus de Virginia Tech. Je siège également au comité des événements organisés par les entreprises partenaires du département de statistique. J'ai récemment eu l'honneur d'être nommé secrétaire du Mu Sigma Rho, chapitre de Virginia Tech, où je contribue à l'engagement et aux activités des étudiants.
Je sais que cette présentation s'adresse à un large public d'utilisateurs JMP. Certains d'entre vous se demandent peut-être : qu'est-ce que la fiabilité exactement ? Quand on pense à la fiabilité, quelques notions clés viennent à l'esprit : cohérence, robustesse, confiance, éprouvé, testé, fiable. Ce sont des termes que l'on associe naturellement à la fiabilité, et ils s'appliquent qu'il s'agisse d'un produit physique, d'un système logiciel ou même d'un modèle d'apprentissage automatique. En bref, la fiabilité est une question de confiance grâce à des performances constantes.
Examinons maintenant de plus près une définition plus formelle du domaine. Selon Meeker (2021), la fiabilité est décrite de manière informelle comme la prévention des pannes et la qualité au fil du temps. Autrement dit, un système est considéré comme fiable s'il évite les pannes et continue de fonctionner correctement tout au long de sa durée de vie.
Cette définition s'applique à tous les domaines du minage. Par exemple, en matière de fiabilité des produits, on fait généralement référence aux composants ou systèmes physiques. En matière de fiabilité des systèmes d'IA, l'idée s'étend à la fiabilité logicielle, garantissant la robustesse du code et de l'infrastructure, ainsi qu'à la robustesse et aux performances du modèle, garantissant son bon comportement, même face à des entrées inattendues ou parasites.
Maintenant que tout le monde a une idée générale de la fiabilité, intéressons-nous aux systèmes d'IA. Avec leur prévalence croissante, la fiabilité de l'IA devient un domaine nouveau et important. Les systèmes d'intelligence artificielle (IA) ont un large éventail d'applications, notamment les véhicules autonomes (VA), les drones, la reconnaissance de caractéristiques et l'IA conversationnelle. Parmi ces applications, les VA se distinguent par leur impact, leur sécurité et leur fiabilité étant essentielles. Il est donc crucial de comprendre et de modéliser leur comportement et leurs incertitudes en conditions réelles.
Dans de nombreuses études, nous observons des événements qui se répètent au fil du temps pour chaque sujet. C'est ce qu'on appelle un processus d'événements récurrents, et les données qui en résultent sont appelées données d'événements récurrents. Dans le domaine des véhicules autonomes, nous observons non pas un, mais plusieurs types d'événements récurrents. Il existe deux types d'événements distincts liés aux véhicules autonomes : les événements de désengagement et les événements de collision. Un événement de désengagement survient lorsque les systèmes de conduite autonome redonnent le contrôle au conducteur humain, souvent en raison de limitations du système, de conditions routières floues et de risques potentiels. Une collision, quant à elle, implique un accident réel en fonctionnement autonome. Ensemble, ces types d'événements constituent ce que l'on appelle des données d'événements récurrents multitypes.
Nous avons également publié des articles sur la fiabilité des VA. Premièrement, « Planification des tests d'assurance de fiabilité des VA » se concentre sur cet événement d'engagement et développe des méthodes statistiques pour planifier les tests d'assurance de fiabilité des VA à partir de données d'événements récurrents. Deuxièmement, « DR-AIR » introduit un référentiel établi pour les données de fiabilité de l'IA et définit des mesures et des types de données communs, fournissant ainsi des ensembles de données propres et exploitables pour soutenir ce domaine de recherche émergent. Cet article propose une orientation pour l'analyse du domaine émergent de la fiabilité de l'IA.
Vous vous demandez peut-être d'où proviennent les données utilisées pour l'analyse de la fiabilité des véhicules autonomes ? Dans le domaine des véhicules autonomes, le DMV de Californie mène un programme de tests de véhicules autonomes depuis 2015. Dans le cadre de ce programme, les entreprises testant des véhicules autonomes en Californie sont tenues de soumettre, d'une part, des rapports annuels de désengagement, et d'autre part, de signaler toute collision dans les 10 jours suivant l'incident.
Cette diapositive présente deux exemples. À gauche, une capture d'écran des rapports de désengagement ; à droite, les rapports de collision, qui répertorient les incidents détaillés par fabricant et AI-AIR. Revenons aux deux types d'événements de VA : désengagement et collision. Aujourd'hui, nous nous concentrerons principalement sur les coalitions visant à démontrer la sécurité des VA. Avec les progrès de l'IA, il est important de garantir la fiabilité des performances actuelles des VA pour la confiance du public. Ceci soulève les questions suivantes : comment modéliser la sécurité des VA ? Peut-on se fier aux niveaux de sécurité actuels des VA ? Comment JMP peut-il contribuer à l'analyse des données sur les collisions récurrentes ? Et, surtout, quel est le lien entre le niveau d'autonomie et la sécurité ?
Voici le déroulement complet de la présentation d'aujourd'hui. Nous commencerons par la collecte et le nettoyage des données, l'importation des PDF sources et l'extraction des champs nécessaires à l'analyse de fiabilité. Vient ensuite l'exploration des données. Nous visualisons les mesures basées sur l'exposition. Le kilométrage est une exposition car il reflète la durée de conduite. Plus le kilométrage est élevé, plus le risque de collision est élevé. Nous examinons ensuite les schémas de collision au fil du temps et visualisons une mesure du risque, le taux de collision, qui quantifie la probabilité ou la possibilité d'une collision, quel que soit le kilométrage parcouru par le conducteur. Un taux plus élevé signifie une probabilité de collision plus élevée pour une même exposition.
Enfin, dans l'analyse des données, nous appliquons la modélisation de la fiabilité aux données agrégées, en nous concentrant sur les modèles de croissance de la fiabilité, puis nous examinons le lien entre le niveau d'autonomie et le niveau de sécurité. Je passerai en revue chaque étape de JMP afin de démontrer ses capacités d'analyse de la fiabilité des véhicules autonomes.
Puisque nous allons commencer par les collisions, permettez-moi de récapituler les rapports du DMV de Californie. Le DMV enregistre chaque entreprise de véhicules autonomes afin qu'elle établisse un rapport pour tout accident causant des dommages matériels, des blessures, voire un décès. Sur le site web, ces rapports publics sont classés par fabricant et par année, comme indiqué à gauche de la diapositive. Aujourd'hui, je me concentrerai sur Waymo. Waymo était à l'origine un projet de conduite autonome de Google et propose désormais un vaste service de réservation de voitures sans conducteur dans certaines villes. Le système de conduite Waymo combine caméras, radar, gouvernail, cartes et même l'apprentissage automatique pour se comporter comme un conducteur prudent et prévisible. Waymo dispose d'une vaste gamme d'opérations et de rapports détaillés et cohérents, ce qui rend ses données particulièrement adaptées à notre analyse de fiabilité.
Voici comment importer et nettoyer les rapports d'accidents du DMV de Californie. À gauche, vous pouvez voir le portail public que vous avez vu précédemment. À droite, vous pouvez voir un rapport d'accident classique. Ouvrons-en un pour voir les champs qu'il contient. Pour chaque PDF, nous extrayons des champs clés tels que : le fabricant, la date et l'heure, l'année du véhicule, la marque et le modèle, le lieu et tous les autres détails de collecte. Ensuite, nous chargeons les données structurées dans JMP, attribuons les types appropriés et standardisons les noms. Nous obtenons ainsi un tableau clair et prêt à l'analyse pour une exploration plus approfondie.
Examinons la structure des ensembles de données sur les collisions après avoir extrait les champs clés des rapports de collision publics. Ce tableau présente les champs conservés, notamment le fabricant, la date, l'année, le modèle, la marque, le véhicule et les informations de base sur l'accident, mais n'inclut pas les identifiants uniques comme le NIV. Comme indiqué ci-dessous, les données sur les collisions ne sont disponibles qu'au niveau agrégé. Autrement dit, il n'existe pas d'informations sur le NIV. Nous en tiendrons compte lors de l'analyse finale.
Voici notre table JMP nettoyée pour Waymo, basée sur les champs extraits du rapport de collision. Au niveau mensuel, elle inclut les jours, le nombre de tests des véhicules autonomes, le kilométrage total mesuré en kilomètres-miles et le nombre de collisions. Il s'agit de chiffres globaux, sans détail au niveau du NIV. À partir de ces données, nous ajoutons les événements cumulés pour observer l'évolution des collisions au fil du temps. De plus, nous calculons une mesure du risque pour la sécurité des véhicules autonomes. En mesurant la fréquence de ces événements, nous obtenons le taux de récurrence des collisions, que nous utilisons comme indicateur de sécurité.
Cela soulève une autre question. Comment créer une colonne à partir des informations existantes dans JMP ? Le chemin d'accès détaillé est résumé ici. Tout d'abord, accédez à « Colonnes » et choisissez « Nouvelles colonnes ». Définissez ensuite le nom de la colonne sur « Taux de collisions ». Enfin, définissez l'onglet « Données » sur « Numérique » et l'onglet « Modélisation » sur « Continu ». Ouvrez ensuite les propriétés de la colonne, choisissez « Formule » et saisissez « Formule personnalisée » pour la nouvelle colonne. Par exemple, nous utilisons une somme cumulative pour créer la colonne des événements cumulés, et le taux de collisions est calculé comme le nombre d'événements de collision divisé par le kilométrage total.
Voici à quoi ressemble la table de données JMP après l'ajout des nouvelles informations. Grâce aux nouvelles formules, elle comprend désormais deux nouvelles colonnes : nombre cumulé de collisions et taux de collisions. Ces deux caractéristiques pilotent nos points de chute et alimentent les modèles de fiabilité que nous allons ajuster. En nous basant sur la nouvelle table JMP, explorons les données par analyse exploratoire. Le kilométrage étant l'exposition, un kilométrage plus important augmente les risques de collision.
Nous commencerons par visualiser le kilométrage via l'onglet Calendrier. Voici une procédure claire et détaillée pour tracer le graphique du kilométrage dans JMP. Ouvrez d'abord l'application Graphique et choisissez Générateur de graphiques. Ensuite, faites glisser la date sur l'axe des abscisses. Enfin, faites glisser le kilométrage total, mesuré en kilomètres-miles, sur l'axe des ordonnées. Choisissez ensuite l'élément de ligne parmi les deux barres supérieures. Ce graphique montre le kilométrage mensuel et l'exposition. Nous observons une augmentation initiale, une forte baisse en 2020, puis un rebond avec les pics de 2021 à 2022, suivi d'une baisse progressive et d'une légère reprise à la fin.
Deux points importants se dégagent. Premièrement, après 2020, certains mois sont sans kilométrage, ce qui implique un nombre beaucoup plus important de tests de véhicules autonomes après la COVID-19. Deuxièmement, le rééquilibrage du kilométrage après le travail montre des tests plus approfondis après la COVID-19. Allons plus loin en examinant le nombre cumulé de collisions et le nombre mensuel de collisions afin d'observer les tendances en matière de sécurité des véhicules autonomes. Pour créer cette visualisation dans JMP, pour le graphique cumulé de gauche, ouvrez d'abord l'outil de création de graphiques. Ensuite, faites glisser la date sur l'axe des abscisses. Troisièmement, faites glisser le nombre cumulé de collisions sur l'axe des ordonnées. Choisissez ensuite la ligne. Réduisez la valeur pour une tendance plus claire. La pente du graphique cumulé est révélatrice.
Une pente plus faible signifie moins d'événements. Une pente plus raide signifie plus d'événements par mois. Nous observons une lente augmentation au début, suivie d'un aplatissement vers 2020. Puis, une forte stagnation entre 2021 et 2022. Ensuite, la pente s'atténue avec des fluctuations. Pour le nombre mensuel de collisions, à droite, commençons par ouvrir le Générateur de graphiques. Ensuite, faisons glisser la date sur l'axe des X. Enfin, faisons glisser le nombre d'événements de collision sur l'axe des Y. Enfin, choisissons l'option Barre pour notre visualisation. La visualisation en rouge montre la même tendance mois après mois : des nombres faibles au début, une courbe plus prononcée en 2020, un pic plus élevé entre 2021 et 2022, et des niveaux variables par la suite. Cela nous donne une idée générale de l'évolution du nombre de collisions selon l'année qui nous intéresse.
Jusqu'à présent, nous avons examiné deux mesures séparément : le nombre de collisions et le kilométrage. Comment les combiner ? Passons du nombre de lignes à une mesure du risque ajusté à l'exposition, le taux de collisions. Cela nous permet de comparer équitablement les mois avec différents kilométrages. Premièrement, comment le créer dans JMP. Suivez toujours les mêmes schémas que ceux expliqués dans les diapositives précédentes. Ouvrons le générateur de graphiques et déposons les jours sur l'axe des abscisses. Troisièmement, déposons le taux de collisions sur l'axe des ordonnées. Choisissez ensuite une barre pour notre visualisation.
Dans cette visualisation, vous observerez des pics et des creux. Des barres plus hautes indiquent un risque de collision plus élevé par homme qu'un mois. Des barres plus basses indiquent un risque plus faible. Globalement, le taux de collision est relativement faible, ce qui indique que Waymo gère la sécurité des véhicules autonomes. Passons maintenant à l'analyse de fiabilité dans JMP, qui constitue le point clé de notre présentation d'aujourd'hui. Nous utiliserons d'abord des groupes de fiabilité avec la méthode Piecewise Weibull NHPP Change Point Detection pour déterminer quand et comment le risque de collision évolue au fil du temps. Cette méthode divise la chronologie en phases, chacune présentant sa propre tendance.
Comment procéder dans JMP ? Voici les instructions étape par étape dans JMP. Tout d'abord, ouvrons le module Analyse, puis le module Fiabilité et Survie. Choisissez Croissance de la fiabilité. Ensuite, concentrons-nous sur le format de date. Troisièmement, faites glisser la date vers l'horodatage. Ensuite, faites glisser le nombre d'événements de collision vers le nombre d'événements. Exécutez ensuite la plateforme. Dans le résultat, sélectionnez « Piecewise Weibull, NHPP Change Point Detection ». Sur le graphique de droite, les points représentent les collisions cumulées.
La bande verte représente la courbe ajustée avec incertitude, et la pente reflète le risque. Plus la pente est raide, plus le taux d'événements est élevé. Plus la pente est plate, plus la fiabilité est élevée. Un point de changement suggéré est visible près de la zone en surbrillance. Après ce point, la pente se déplace, indiquant un modèle de risque différent. Le tableau présente les estimations de Piecewise Weibull, NHPP Change Point Detection. Le modèle trouve un point de changement en août 2022. Avant ce point, bêta[1] est d'environ 2,09, ce qui signifie que le taux de collision augmentait rapidement. Après ce changement, bêta[2] est d'environ 1,17, beaucoup plus proche d'une valeur plate, ce qui signifie que le taux augmente plus lentement. Lambda définit l'échelle globale. Les intervalles de confiance à 95 % donnent l'incertitude autour de chaque estimation.
Cependant, en examinant attentivement le graphique des événements cumulés du modèle de croissance de la fiabilité, on constate que la chronologie se divise en phases. À chaque phase, la pente révèle une situation différente. On observe plusieurs variations de pente, suggérant une évolution du profil de risque au fil des périodes. Cette raison conduit à diviser le calendrier en différentes phases et à réajuster le modèle pour vérifier l'évolution des résultats. Suivant la logique expliquée précédemment, j'ai ajouté une nouvelle colonne intitulée « Phase » et réajusté le modèle de croissance de la fiabilité. Nous commençons par créer une étiquette « Phase ».
Comment procéder dans JMP ? Plus précisément, commençons par accéder aux Colonnes et choisir « Nouvelle colonne ». Ensuite, définissons le nom de la colonne sur « Phase ». Enfin, définissons l'onglet « Données » sur « Caractère » et l'onglet « Modélisation » sur « Nominal ». Ensuite, remplissez la colonne par plages de temps. Sélectionnez des lignes pour chaque plage de dates et saisissez le libellé, ou ajoutez une formule dans les propriétés de la colonne. Le graphique de droite délimite les phases par des lignes pointillées bleues. Au sein de chaque phase, la pente de la courbe cumulative indique la répartition des événements. Plus la pente est raide, plus le nombre de collisions par unité de temps est élevé, plus la pente est plate, plus l'amélioration est importante. Comparer les pentes entre les différentes phases permet de relier les variations de risque aux variations de récompense dans les opérations logicielles.
Relançons ensuite l'analyse de la croissance de la fiabilité avec Phase. Nous ajusterons le modèle à l'aide de Piecewise Weibull NHPP. Ce modèle segmente la chronologie en différentes phases, chacune avec sa propre tendance. Dans JMP, suivons les étapes. Tout d'abord, ouvrons Analyse, choisissons Modules Fiabilité et Survie, et spécifions le Modèle de croissance de la fiabilité. Ensuite, accédons à l'onglet Format des dates. Enfin, faites glisser Date vers Horodatage, Nombre d'événements de collision vers Nombre d'événements et « Phase » vers Phase. Cliquez ensuite sur OK pour tout relancer.
À droite, on peut voir que la courbe et la bande vertes représentent les événements cumulés ajustés et l'incertitude. Les lignes pointillées bleues marquent les limites des phases. Au sein de chaque phase, la pente indique la part des événements de collision. Ce tableau présente les estimations NHPP de Weibull par morceaux selon les différentes phases. Concentrons-nous sur le bêta. En général, si le bêta est supérieur à 1, le taux de collision augmente dans cette phase. Si le bêta est supérieur à 1, le taux est quasiment stable. Si le bêta est inférieur à 1, le taux diminue. Il s'agit d'une amélioration de la fiabilité.
Ici, les phases A, B, C, D, E, G et I ont un bêta supérieur à 1, indiquant une augmentation du risque durant ces périodes. En revanche, les phases F et H ont un bêta inférieur à 1, suggérant une amélioration de la fiabilité. C'est ainsi que ces deux modèles s'ajustent et que les résultats du modèle évoluent si l'on compare ces résultats à différents modes d'ajustement. N'oubliez pas que nous souhaitons également explorer la relation entre autonomie et sécurité. À une autonomie de substitution, nous examinerons les événements de désengagement. Nous utiliserons la même approche que précédemment. Nous collecterons les données mensuelles de désengagement les plus agrégées pour analyse. Pour relier autonomie et sécurité, j'ajoute un taux d'événements de désengagement.
Nous utiliserons ces informations en complément du taux de collisions pour déterminer si les mois avec moins de désengagements entraînent également moins de collisions. Pour créer le taux de désengagements dans JMP, voici les instructions étape par étape. Tout d'abord, dans « Colonnes », sélectionnez « Nouvelles colonnes ». Ensuite, définissez le nom de la colonne sur « Taux de désengagements ». Enfin, définissez l'onglet « Données » sur « Numérique » et choisissez « Continu » dans l'onglet « Modélisation ». Saisissez ensuite la formule personnalisée. Le nombre de désengagements est divisé par le kilométrage total. Cette formule permet d'obtenir le taux mensuel de désengagements.
À gauche se trouve le taux de collision, indicateur de la sécurité des véhicules autonomes. À droite se trouve le taux de désengagement. Nos indicateurs d'autonomie varient tous deux d'un mois à l'autre. L'idée clé est que lorsque le taux de désengagement diminue, le taux de collusion reste souvent plus faible, mais une comparaison directe est nécessaire pour s'en assurer. Je vais ensuite représenter ces deux taux sur un nuage de points avec un gradient afin de quantifier la relation entre ces deux mesures. Pour cette visualisation, l'axe des abscisses représente le taux de désengagement. L'axe des ordonnées représente le taux de collision. La ligne avec la bande ombrée représente l'ajustement avec un intervalle de confiance à 95 %.
À partir de là, on observe une légère tendance à la hausse. Les mois où le nombre de désengagements par kilomètre est plus élevé tendent à être associés à un nombre plus élevé de collisions par kilomètre. La relation est statistiquement significative, mais modeste, ce qui explique la forte dispersion des données. Cela indique une corrélation entre ces deux mesures. Le point essentiel à retenir est qu'à mesure que l'autonomie s'améliore, le taux de collision reste généralement plus faible en moyenne, du moins pour Waymo, le fabricant sur lequel nous nous intéressons actuellement.
Résumons rapidement notre travail d'exploration de la sécurité des véhicules autonomes. Nous avons commencé par la collecte et le nettoyage des données, en important les rapports du DMV dans JMP et en créant de nouvelles colonnes à partir du champ routier afin de garantir que la table de données JMP soit prête pour l'analyse. Nous sommes ensuite passés à l'exploration des données. Nous avons visualisé l'exposition, c'est-à-dire le kilométrage au fil du temps, et représenté graphiquement les collisions et leur risque afin d'obtenir une vue du risque ajustée à l'exposition. Enfin, lors de l'analyse des données, nous avons ajusté deux modèles de croissance de la fiabilité sur les données agrégées à l'aide de la détection de points de changement Piecewise Weibull NHPP afin d'identifier les phases et les variations de pente, puis nous avons utilisé Piecewise Weibull NHPP pour segmenter la chronologie en différentes phases. De plus, nous avons exploré le lien entre l'autonomie et la sécurité des véhicules autonomes en comparant le taux de désengagement au taux de collision.
Dernier point, mais non le moindre.
