Buongiorno a tutti. Grazie a tutti per essere qui oggi. Mi chiamo Simin. Sono dottoranda al quinto anno presso il Dipartimento di Statistica del Virginia Tech e ho anche svolto uno stage estivo presso il gruppo Design of Experiments & Reliability di JMP. Oggi illustrerò come JMP supporta l'analisi dell'affidabilità per valutare la sicurezza dei veicoli autonomi e un'area emergente dell'Intelligenza Artificiale. Il titolo del mio intervento di oggi è "Esplorare la sicurezza dei veicoli autonomi: un'analisi dell'affidabilità basata su JMP".
Prima di immergermi nella presentazione di oggi, vorrei condividere qualche informazione su di me, così che tutti possano conoscermi meglio. Mi chiamo Simin e sono uno studente di dottorato al quinto anno presso il Dipartimento di Statistica del Virginia Tech. Forza Hokies! La mia ricerca si concentra sull'affidabilità dei sistemi di intelligenza artificiale, sull'analisi statistica basata sull'intelligenza artificiale e sulla valutazione delle prestazioni dei modelli linguistici di grandi dimensioni. Sì, non sono io a costruire modelli linguistici di grandi dimensioni, ma sono io a testarne la robustezza e l'affidabilità. I miei interessi di ricerca sono strettamente in linea con la missione del nostro team, quindi far parte del DoE and Reliability Group è un'ottima scelta per me.
Oltre alla ricerca, sono attivamente coinvolto in diverse attività e organizzazioni professionali. Sono un collaboratore statistico leader presso lo Statistical Applications and Innovation Group, noto anche come SAIG, che fornisce servizi di consulenza statistica in tutto il campus del Virginia Tech. Faccio anche parte del comitato per gli eventi dei partner aziendali del Dipartimento di Statistica. Di recente, ho avuto l'onore di essere scelto come segretario del capitolo Mu Sigma Rho del Virginia Tech, dove contribuisco a supportare il coinvolgimento e le attività degli studenti.
So che questa presentazione è rivolta a un vasto pubblico di utenti JMP. Alcuni di voi potrebbero chiedersi: cos'è esattamente l'affidabilità? Quando pensiamo all'affidabilità, ci vengono in mente alcune idee chiave. Coerenza, robustezza, sicurezza, comprovato, testato, affidabile. Sono tutte parole che le persone associano naturalmente all'affidabilità e si applicano sia che si parli di un prodotto fisico, di un sistema software o persino di un modello di apprendimento automatico. In breve, l'affidabilità riguarda la fiducia attraverso prestazioni costanti.
Ora, diamo un'occhiata più da vicino a una definizione più formale del settore. Secondo Meeker (2021), l'affidabilità è stata informalmente descritta sia come capacità di evitare guasti che come qualità nel tempo. In altre parole, un sistema è considerato affidabile se evita guasti e continua a funzionare bene per tutta la sua vita utile.
Questa definizione si applica a tutti i domini del mining. Ad esempio, nell'affidabilità dei prodotti, ci riferiamo in genere a componenti o sistemi fisici. Nell'affidabilità dei sistemi di intelligenza artificiale, l'idea si estende all'affidabilità del software, assicurando che il codice e l'infrastruttura siano robusti e non si blocchino, e alla robustezza e alle prestazioni del modello, assicurando che il modello si comporti correttamente, anche in presenza di input imprevisti o rumorosi.
Ora che credo che tutti abbiano un'idea generale di affidabilità, passiamo ai sistemi di intelligenza artificiale. Con la crescente diffusione dei sistemi di intelligenza artificiale, l'affidabilità nell'IA sta emergendo come un'area nuova e importante. I sistemi di intelligenza artificiale, spesso chiamati in breve sistemi di IA, hanno una vasta gamma di applicazioni, tra cui veicoli autonomi (che chiamerei semplicemente "AV"), droni basati su IA, riconoscimento delle caratteristiche e IA conversazionale. Tra queste, i veicoli autonomi si distinguono come una delle applicazioni di maggiore impatto, in cui sicurezza e affidabilità sono essenziali, rendendo fondamentale comprenderne e modellarne il comportamento e l'incertezza nel mondo reale.
In molti studi, osserviamo eventi che si verificano ripetutamente nel tempo per ciascun soggetto. Questo è noto come processo di eventi ricorrenti e i dati risultanti sono chiamati dati di eventi ricorrenti. Nel campo dei veicoli autonomi, osserviamo non solo uno, ma più tipi di eventi ricorrenti. Esistono due diversi tipi di eventi coinvolti nei veicoli autonomi. Uno è chiamato evento di disimpegno, l'altro è chiamato evento di collisione. Un evento di disimpegno si verifica quando i sistemi di guida autonoma restituiscono il controllo al conducente umano, spesso a causa di limitazioni del sistema, situazioni stradali poco chiare e potenziali rischi. Un evento di collisione, invece, comporta un incidente effettivo durante la guida autonoma. Nel complesso, questo genere è ciò che chiamiamo dati di eventi ricorrenti multi-tipo.
Abbiamo anche pubblicato articoli relativi all'affidabilità dei sistemi AV. In primo luogo, "Planning Reliability Assurance Test for AVs" si concentra su questo evento di coinvolgimento, sviluppando metodi statistici per pianificare i test di affidabilità dei sistemi AV utilizzando dati di eventi ricorrenti. In secondo luogo, DR-AIR introduce un repository consolidato per i dati di affidabilità dell'IA e definisce misurazioni e tipologie di dati comuni, fornendo set di dati puliti e utilizzabili a supporto di quest'area di ricerca emergente. Nel complesso, questo articolo fornisce una direzione propositiva per l'analisi del campo emergente dell'affidabilità dell'IA.
Forse vi starete chiedendo da dove provengono i dati per l'analisi dell'affidabilità dei veicoli autonomi. Nel settore dei veicoli autonomi, il DMV della California ha avviato un programma di test per veicoli autonomi dal 2015. Nell'ambito di questo programma, le aziende che testano i veicoli autonomi in California sono tenute a presentare, in primo luogo, rapporti annuali di disattivazione e, in secondo luogo, a segnalare eventuali collisioni entro 10 giorni dall'incidente.
Questa diapositiva mostra due esempi. A sinistra, uno screenshot dei report di disattivazione e a destra, i report di collisione, che elencano gli incidenti in dettaglio per produttore e AI-AIR. Tornando ai due tipi di eventi AV, disattivazione e collisione, oggi ci concentreremo principalmente sulle coalizioni per dimostrare la sicurezza dei veicoli autonomi. Con l'avanzare dell'intelligenza artificiale, stabilire prestazioni AV affidabili è importante per la fiducia del pubblico. Questo porta alle seguenti domande. In primo luogo, come dovrebbe essere modellata la sicurezza dei veicoli autonomi? In secondo luogo, possiamo fidarci degli attuali livelli di sicurezza dei veicoli autonomi? In terzo luogo, in che modo JMP può aiutare ad analizzare i dati sugli eventi di collisione ricorrenti? E, soprattutto, qual è la relazione tra livello di autonomia e sicurezza?
Ecco il flusso di lavoro end-to-end per la presentazione di oggi. Inizieremo con la raccolta e la pulizia dei dati, importando la sorgente dei PDF ed estraendo i campi necessari per l'analisi dell'affidabilità. Successivamente, si passa all'esplorazione dei dati. Visualizziamo misurazioni basate sull'esposizione. Il chilometraggio funge da esposizione perché riflette la quantità di guida percorsa. Un chilometraggio maggiore significa maggiori probabilità o opportunità di collisione. Esaminiamo quindi l'andamento degli eventi di collisione nel tempo e visualizziamo una misura di rischio, il tasso di eventi di collisione, che quantifica la probabilità o la possibilità di una collisione indipendentemente dal chilometraggio del conducente. Un tasso più elevato significa una maggiore probabilità di collisione a parità di esposizione.
Infine, nell'analisi dei dati, applichiamo la modellazione dell'affidabilità ai dati aggregati, concentrandoci sui modelli di crescita dell'affidabilità, per poi esaminare la relazione tra il livello di autonomia e il livello di sicurezza. Esaminerò ogni fase di JMP per dimostrarne le potenzialità nell'analisi dell'affidabilità dei sistemi AV.
Dato che inizieremo con gli eventi di collisione, vorrei riassumere come appaiono i report del DMV della California. Il DMV registra ogni azienda di veicoli autonomi affinché presenti un report per qualsiasi incidente che causi danni alla proprietà, lesioni o persino morte. Sul sito web, questi report pubblici sono elencati per produttore e per anno, come mostrato sul lato sinistro della diapositiva. Oggi mi concentrerò solo su Waymo. Waymo nasce come progetto di guida autonoma di Google e ora gestisce un ampio servizio di chiamata con auto senza conducente in città selezionate. Waymo Driver combina telecamere, radar, timone, mappe e persino apprendimento automatico per comportarsi come un conducente attento e prevedibile. Waymo dispone di un'ampia operatività e di report dettagliati e coerenti, il che rende i suoi dati adatti alla nostra analisi di affidabilità.
Ecco come importiamo e puliamo i report di collisione del DMV della California. A sinistra è mostrato il portale pubblico che avete visto in precedenza. A destra è mostrato un tipico report di collisione. Apriamone uno per vedere i campi che contiene. Per ogni PDF, estraiamo campi chiave come: produttore, data e ora, anno del veicolo, marca e modello, posizione e tutti gli altri dettagli di confronto. Quindi carichiamo i dati strutturati in JMP, assegniamo i tipi corretti e standardizziamo i nomi. Questo ci fornisce una tabella pulita e pronta per l'analisi per ulteriori approfondimenti.
Diamo un'occhiata alla struttura dei set di dati degli eventi di collisione dopo aver estratto i campi chiave dai report pubblici sulle collisioni. Questa tabella mostra i campi che abbiamo mantenuto, inclusi produttore, data, anno, modello, marca, veicolo, modello e dettagli di base sull'incidente, ma non include identificatori univoci come i numeri di telaio (VIN). Come indicato in fondo, i dati sulle collisioni sono disponibili solo a livello aggregato. In altre parole, non ci sono informazioni a livello di VIN. Terremo presente questo aspetto mentre procediamo verso la fase di analisi finale.
Questa è la nostra tabella JMP pulita per Waymo, basata sui campi estratti del report sulle collisioni. A livello mensile, include i giorni, il numero di test dei veicoli autonomi, il chilometraggio totale misurato in chilometri-miglia e il numero di eventi di collisione. Si prega di notare che questi sono tutti conteggi aggregati, senza dettagli a livello di VIN. Sulla base di questi dati, aggiungiamo gli eventi accumulati per vedere come si verificano le collisioni nel tempo. Inoltre, calcoliamo anche una misura del rischio per la sicurezza dei veicoli autonomi. Misurando la frequenza con cui questi eventi si verificano nel tempo, otteniamo il tasso ricorrente di eventi di collisione, che utilizziamo come indicatore di sicurezza.
Questo solleva un'altra domanda. Come si crea una colonna basata sulle informazioni di colonna esistenti in JMP? Il percorso dettagliato è riassunto qui. Per prima cosa, andiamo su Colonne e selezioniamo Nuove colonne. Quindi impostiamo Nome colonna su Tasso di eventi di collisione. In terzo luogo, impostiamo la scheda Dati su Numerico e la scheda Modellazione su Continuo. Quindi apriamo Proprietà colonna, selezioniamo Formula e inseriamo Formula personalizzata per la nuova colonna. Ad esempio, utilizziamo una somma cumulativa per creare la colonna degli eventi cumulativi e il tasso di eventi di collisione viene calcolato come il numero di eventi di collisione diviso per il chilometraggio totale.
Ecco come appare la tabella dati JMP dopo l'aggiunta delle nuove informazioni. Con le nuove formule applicate, ora include due nuove colonne: numero cumulativo di eventi di collisione e frequenza di eventi di collisione. Queste due caratteristiche guidano i nostri plops e alimentano i modelli di affidabilità che adatteremo in seguito. Sulla base della nuova tabella JMP, esploriamo i dati con un'analisi esplorativa. Poiché il chilometraggio rappresenta l'esposizione, un chilometraggio maggiore significa maggiori opportunità o probabilità di collisione.
Inizieremo visualizzando il chilometraggio nella scheda Calendario. Ecco una chiara procedura passo passo per tracciare il grafico del chilometraggio in JMP. Innanzitutto, aprite Graph e selezionate Graph Builder. In secondo luogo, trascinate la data sull'asse X. In terzo luogo, trascinate il chilometraggio totale misurato in chilo-miglia sull'asse Y. Quindi selezionate l'elemento lineare dalle due barre superiori. Questo grafico mostra il chilometraggio mensile e l'esposizione. Osserviamo un aumento iniziale, un forte calo nel 2020 e una ripresa con i picchi nel 2021 e nel 2022, con un calo uniforme dei laureati e un modesto aumento alla fine.
Due cose che voglio sottolineare qui. Innanzitutto, dopo il 2020, ci sono mesi con zero chilometri percorsi, il che significa molti più test sui veicoli autonomi dopo il COVID-19. In secondo luogo, il chilometraggio si riequilibra dopo il lavoro, mostrando test più approfonditi dopo il COVID. Facciamo un ulteriore passo avanti osservando il numero cumulativo di eventi di collisione e il numero mensile di eventi di collisione per vedere le tendenze di sicurezza per i veicoli autonomi. Per creare questa visualizzazione in JMP, per il grafico cumulativo a sinistra, apriamo innanzitutto Graph Builder. In secondo luogo, trasciniamo la data sull'asse X. In terzo luogo, trasciniamo il numero cumulativo di eventi di collisione sull'asse Y. Quindi selezioniamo la linea. Aggiungi valori più piccoli se desideri un andamento più chiaro. La pendenza del grafico cumulativo è indicativa.
Una pendenza più piatta significa meno eventi. Una pendenza più ripida significa più eventi al mese. Osserviamo un lento aumento all'inizio e un appiattimento intorno al 2020. Poi un brusco collasso tra il 2021 e il 2022. Successivamente, la pendenza si attenua con alcuni alti e bassi. Per i conteggi mensili delle collisioni sulla destra. Per prima cosa, apriamo il Generatore di Grafici. Quindi, trasciniamo la Data sull'asse X. In terzo luogo, trasciniamo il numero di eventi di collisione sull'asse Y. Quindi, selezioniamo "Barra" per la nostra visualizzazione. Dalla visualizzazione in rosso, possiamo vedere lo stesso andamento mese per mese, conteggi bassi all'inizio, un round più profondo nel 2020, un picco più alto tra il 2021 e il 2022 e livelli misti in seguito. Questo ci dà solo un'idea generale di come avviene il numero di collisioni in base all'anno che ci interessa attualmente.
Finora, abbiamo esaminato due misure separatamente, il conteggio delle collisioni e il chilometraggio. Come possiamo combinarle? Passiamo dal conteggio delle righe alla misura del rischio corretto per l'esposizione, il tasso di eventi di collisione. Questo ci permette di confrontare equamente mesi con chilometraggi diversi. Innanzitutto, vediamo come costruirlo in JMP. Seguiamo ancora gli schemi simili a quelli appena spiegati nelle diapositive precedenti. Apriamo il Generatore di Grafici e trasciniamo i giorni sull'asse X. In terzo luogo, trasciniamo il tasso di eventi di collisione sull'asse Y. Quindi scegliamo la barra per la nostra visualizzazione.
In questa visualizzazione, vedrete picchi e cali. Le barre più alte indicano una maggiore probabilità di collisione per uomo rispetto a un mese. Le barre più basse indicano un rischio inferiore. Nel complesso, il tasso di collisione è relativamente basso, il che indica che Waymo gestisce la sicurezza dei veicoli autonomi. Ora, passiamo all'analisi dell'affidabilità in JMP, che sarà la parte chiave della nostra presentazione di oggi. Utilizzeremo prima i gruppi di affidabilità con il rilevamento dei punti di cambiamento NHPP a tratti Weibull per vedere quando e come il rischio di collisione varia nel tempo. Il metodo suddivide la sequenza temporale in fasi, ciascuna con un proprio andamento.
Come farlo in JMP? Ecco le istruzioni dettagliate in JMP. Per prima cosa, apriamo Analyze e poi andiamo al modulo Reliability and Survival. Seleziona Reliability Growth. In secondo luogo, concentriamoci sul formato della data. In terzo luogo, trasciniamo la data su Timestamp. Quindi, trasciniamo il numero di eventi di collisione su Event Count. Quindi, eseguiamo la piattaforma. Nell'output, selezioniamo Piecewise Weibull, NHPP Change Point Detection. Nel grafico a destra, possiamo vedere che i punti mostrano le collisioni cumulative.
La banda verde mostra la curva adattata con incertezza e la pendenza riflette il rischio. Più ripida significa un tasso di eventi più elevato. Più piatta significa un miglioramento dell'affidabilità. È possibile vedere un punto di variazione suggerito vicino alla regione evidenziata. Dopo di esso, la pendenza cambia, indicando un diverso modello di rischio. La tabella mostra le stime di Piecewise Weibull, NHPP Change Point Detection. Il modello trova un punto di variazione nell'agosto 2022. Prima di quel punto, beta[1] è intorno a 2,09, il che significa che il tasso di collisione stava aumentando rapidamente. Dopo la variazione, beta[2] è intorno a 1,17, molto più vicino a una pendenza piatta, quindi il tasso aumenta più lentamente. Lambda imposta la scala complessiva. Gli intervalli di confidenza al 95% forniscono l'incertezza attorno a ciascuna stima.
Tuttavia, osservando attentamente il grafico degli eventi cumulativi del modello di crescita dell'affidabilità, la cronologia si articola in fasi. In ogni fase, la pendenza racconta una storia diversa. Osserviamo diverse variazioni di pendenza, suggerendo che il modello di rischio cambia nel corso dei periodi. Questo scopo è quello di suddividere il calendario in diverse fasi e di riadattare il modello per verificare eventuali cambiamenti nei risultati. Seguendo la logica appena spiegata, ho aggiunto una nuova colonna chiamata "Fase" e ho riadattato il modello di crescita dell'affidabilità. Per prima cosa, creiamo un'etichetta "Fase".
Come si fa in JMP? Per essere più specifici, per prima cosa, andiamo su Colonne e selezioniamo Nuova Colonna. In secondo luogo, impostiamo Nome Colonna su Fase. In terzo luogo, impostiamo la Scheda Dati su Carattere e la Scheda Modellazione su Nominale. Quindi, riempiamo la colonna con intervalli di tempo. Selezionate le righe per ciascun intervallo di date e digitate l'etichetta oppure aggiungete una formula nelle proprietà della colonna. Il grafico a destra ora segna i confini delle fasi con linee tratteggiate blu. All'interno di ogni fase, la pendenza della curva cumulativa mostra la porzione di eventi. Più ripida significa più collisioni per unità di tempo, più piatta significa miglioramento. Il confronto delle pendenze tra diverse fasi aiuta a collegare le variazioni di rischio alle variazioni di ricompensa nelle operazioni del software.
Successivamente, eseguiamo nuovamente l'analisi di crescita dell'affidabilità con Phase. Adatteremo il modello utilizzando il metodo NHPP di Weibull a tratti. Questo modello segmenta la sequenza temporale in diverse fasi, ciascuna con un proprio andamento. In JMP, seguiamo i passaggi. Innanzitutto, apriamo Analyze, selezioniamo Reliability and Survival Modules e specifichiamo il Reliability Growth Model. In secondo luogo, andiamo alla scheda Dates Format. In terzo luogo, trasciniamo Date su Timestamp, Number of Collision Events su Event Count e "Phase" su Phase. Quindi clicchiamo su OK per rieseguire il tutto.
Dal lato destro, possiamo vedere che la curva e la banda verdi mostrano gli eventi cumulativi e l'incertezza stimati. Le linee tratteggiate blu indicano i confini di fase. All'interno di ogni fase, la pendenza indica la porzione di eventi di collisione. Questa tabella mostra le stime NHPP di Weibull a tratti per diverse fasi. Concentratevi sul beta. L'idea generale è che se il beta è maggiore di 1, il tasso di collisione è in aumento in quella fase. Se il beta è superiore a uno, il tasso è pressoché stabile. Se il beta è inferiore a uno, il tasso è in calo. Questo rappresenta un miglioramento dell'affidabilità.
Qui, le fasi A, B, C, D, E, G e I hanno un beta maggiore di 1, indicando un aumento del rischio in quei periodi. Tuttavia, le fasi F e H hanno un beta inferiore a 1, suggerendo un miglioramento dell'affidabilità. Ecco come si adattano questi due diversi modelli e come i risultati del modello cambiano se li confrontiamo con diverse modalità di adattamento. Ricorda, vogliamo anche esplorare la relazione tra autonomia e sicurezza. Per un'autonomia proxy, esamineremo gli eventi di disimpegno. Useremo lo stesso approccio di prima. Raccoglieremo i dati mensili più aggregati sul disimpegno per l'analisi. Per collegare l'autonomia alla sicurezza, aggiungo un tasso di eventi di disimpegno.
Utilizzeremo questo insieme al tasso di eventi di collisione per verificare se i mesi con meno disinserimenti presentano anche meno collisioni. Per creare il tasso di eventi di disinserimento in JMP, ecco le istruzioni dettagliate. Per prima cosa, andiamo su Colonne e selezioniamo Nuove colonne. In secondo luogo, impostiamo Nome colonna su Tasso di eventi di disinserimento. In terzo luogo, impostiamo la scheda Dati su Numerico e selezioniamo la scheda Modellazione su Continuo. Quindi inseriamo la formula personalizzata. Il numero di eventi di disinserimento viene diviso per il chilometraggio totale. In base a questa formula, possiamo ottenere il tasso di eventi di disinserimento mensile.
A sinistra è riportato il tasso di eventi di collisione, il proxy per la sicurezza nei veicoli autonomi. A destra è riportato il tasso di eventi di disimpegno. Entrambi i nostri proxy per l'autonomia variano di mese in mese. L'idea chiave qui è che quando il tasso di disimpegno diminuisce, il tasso di collusione spesso rimane inferiore, ma abbiamo bisogno di un confronto diretto per esserne certi. Successivamente, inserirò questi due tassi in un diagramma di dispersione con un indicatore di sovrapposizione per quantificare la relazione tra queste due misurazioni. Per questa visualizzazione, l'asse X è il tasso di disimpegno. L'asse Y è il tasso di collisione. La linea con la banda ombreggiata è la curva di adattamento con intervallo di confidenza del 95%.
Da qui, possiamo osservare una leggera tendenza al rialzo. I mesi con un tasso di disattivazione più elevato per miglio tendono ad avere più collisioni per miglio. La relazione è statisticamente significativa ma modesta, quindi c'è molta variabilità. Questo indica una correlazione tra queste due misurazioni. Il punto chiave è che, con il miglioramento dell'autonomia, il tasso di collisione rimane generalmente più basso in media, almeno per Waymo, il produttore specifico su cui ci stiamo attualmente concentrando.
Facciamo un breve riepilogo di ciò che abbiamo fatto per esplorare la sicurezza dei veicoli autonomi. Abbiamo iniziato con la raccolta e la pulizia dei dati, importando i report del DMV in JMP e creando nuove colonne dal campo stradale per assicurarci che la tabella dati di JMP fosse pronta per l'analisi. Poi siamo passati alla parte di esplorazione dei dati. Abbiamo visualizzato l'esposizione, ovvero il chilometraggio nel tempo, e abbiamo tracciato gli eventi di collisione e il relativo rischio per ottenere una visualizzazione del rischio corretta per l'esposizione. Infine, nell'analisi dei dati, abbiamo adattato due modelli di crescita dell'affidabilità ai dati aggregati utilizzando il rilevamento dei punti di cambiamento NHPP di Weibull a tratti per identificare fasi e variazioni di pendenza, e abbiamo ulteriormente utilizzato il metodo NHPP di Weibull a tratti per segmentare la sequenza temporale in diverse fasi. Inoltre, abbiamo esplorato il rapporto tra autonomia e sicurezza dei veicoli autonomi confrontando il tasso di disimpegno con il tasso di collisione.
Ultimo ma non meno importante.
