Siamo stati molto entusiasti di presentare Manya Mayes, esperta di elaborazione del linguaggio naturale (NLP) e Head of Data Science presso 1440 Consulting, come relatore plenario nel nostro primo Statisticamente parlando sull'analisi del testo . Siamo stati anche lieti di ospitarla come relatrice con altri due esperti esperti di analisi del testo: Weida Tong, direttore di bioinformatica e biostatistica presso la Food and Drug Administration; e Jeff Swartzel, scienziato presso Procter & Gamble.
L'esperienza pratica trasmessa da questi esperti di mentalità statistica e gli esempi interessanti che condividono sono fonte di ispirazione. Avevamo così tante domande per il panel durante il live streaming che non siamo riusciti a risponderle tutte. I nostri ospiti in primo piano hanno gentilmente accettato di rispondere tramite questo post sul blog.
Come misuri e dimostri il ROI per l'analisi del testo?
Molti: Come hai anticipato, misurare il ROI per l'analisi del testo non è sempre facile. Quando si identifica l'avviso preventivo di un problema del prodotto, potrebbe non essere mai possibile identificare il vero ROI per un problema che viene risolto prima che diventi un problema di Ford Explorer/Firestone Tire (che aveva un costo stimato di $7.5B ) o il problema dell'accelerazione improvvisa della Toyota (che si è verificato $ 1,2 miliardi di sanzioni dal Dipartimento di Giustizia e $ 2 miliardi nei costi di richiamo ). Se entrambe le società avessero preso provvedimenti sui risultati dell'analisi del testo (che erano facili da trovare utilizzando i dati della National Highway Traffic Safety Administration [NHTSA] e le buone capacità di analisi del testo), potrebbero non aver mai saputo veramente quanto hanno risparmiato. L'uso dell'analisi del testo in un modello di previsione etichettato e supervisionato fornisce un modo per convalidare il ROI, ma ciò non è sempre possibile. Inoltre, per l'analisi dei dati che informano le future decisioni e strategie di business dell'azienda, è possibile misurare il rendimento per dollaro investito tramite un'analisi di driver/sensibilità.
Jeff: Questo è complicato e spesso faccio fatica a rispondere a questa domanda perché l'impatto può essere incoerente. A volte un lavoro molto rapido e semplice fornisce informazioni preziose, mentre altre volte, un'analisi ad alto sforzo può produrre risultati che hanno un impatto minore. Le cose su cui in genere mi concentro come valore dell'analisi del testo sono: 1) tempo risparmiato, 2) la capacità di intervenire prima dei problemi, 3) l'unicità delle intuizioni che non sarebbero state possibili senza la tecnica e 4) maggiore capacità per concentrarsi su argomenti importanti.
Come è stato generato il grafico sullo schermo (whompy wheel vs. time) dalla finestra Text Explorer?
Molti: Utilizzando Text Explorer sul campione di reclami relativi ai veicoli elettrici, ho rimosso una serie di termini di scarsa informazione aggiungendoli all'elenco delle fermate, quindi ho rimosso i termini che sono apparsi una o due volte e l'ho seguito con un'analisi di classe latente. I risultati dell'analisi della classe latente (in JMP Pro ) includono una finestra Probabilità cluster per riga. In quella finestra, mostra il cluster più probabile per ogni documento. È possibile fare clic con il pulsante destro del mouse su Crea tabella dati. La finestra successiva contiene i risultati come una tabella di dati che può quindi essere ricollegata al campione originale dei reclami dei veicoli selezionando Tabelle > Unisci e quindi unendo questi risultati con i dati originali, facendo corrispondere il numero di riga. Ho selezionato solo le file per il gruppo ruote whopy. I dati originali hanno un campo faildate che può quindi essere tracciato utilizzando Graph > Graph Builder. In Graph Builder, ho utilizzato un istogramma, con faildate come variabile X e la scala di risposta impostata su Count. Il resto era principalmente cosmetici, dove ho cambiato il colore facendo clic sulla variabile faildate nella legenda (vedi immagine allegata per maggiori dettagli). Per ottenere le informazioni per modello, ho trascinato e rilasciato la variabile del modello del veicolo nella parte del grafico del Gruppo X e ho utilizzato il modello del veicolo come variabile di colore.
Perché i punteggi per i sentimenti negativi sono inferiori ai sentimenti positivi (98 v. 100)?
Molti: I punteggi del sentiment vanno da -100 a 100. Mi è capitato di scegliere termini negativi con punteggi di -98 e termini positivi con punteggi di 100.
Queste immagini mostrano che, nel complesso, c'erano più documenti positivi che negativi. I punteggi mostrano il sentiment calcolato sull'intero documento (revisione), quindi un documento potrebbe avere un punteggio complessivamente positivo, anche se ha parti negative e parti positive.
L'analisi del testo per il processo di revisione della FDA è più utilizzata per indirizzare gli sforzi di revisione o è complementare alla lettura dei documenti?
Weida : L'analisi del testo è stata ampiamente utilizzata dalla FDA, incluse sia la ricerca che la revisione. Tra questi, il recupero delle informazioni e la classificazione dei documenti hanno una forte presenza nel processo di revisione. Inoltre, abbiamo anche studiato il riepilogo del testo, il riconoscimento di entità denominate e l'analisi del sentiment, la maggior parte delle quali è uno sforzo incentrato sulla scienza normativa.
Quali sinergie ottieni con l'analisi del testo e altri metodi di analisi?
Molti: La combinazione di informazioni basate su testo in altri metodi di analisi è comune. Al testo viene data essenzialmente una rappresentazione strutturata. L'incorporazione del testo ora strutturato può aiutare ad aumentare l'accuratezza del modello per i modelli supervisionati dall'apprendimento automatico quando applicato a tutta una serie di casi d'uso (acquisizione di clienti, fidelizzazione, frode, rischio, ecc.). Può anche aiutare con la spiegazione del modello e può informare il linguaggio giusto da usare per il branding, la messaggistica, ecc. Può anche aiutare con la classificazione/raggruppamento non supervisionato, dove i termini, insieme a dati strutturati come informazioni transazionali e demografiche, possono aiutare a descrivere i cluster.
Jeff: JMP è ottimo per collegare direttamente l'output dell'analisi del testo ad altre variabili rilevanti (tempo, valutazione del cliente, categorie significative, ecc.) per la modellazione (selezione dei termini e analisi discriminante). Parole chiave e argomenti pertinenti possono anche fornire analisi più qualitative altrove.
Cosa ne pensi dell'approccio "bag-of-words" rispetto alla PNL più avanzata?
Molti: L'approccio della borsa delle parole non tiene conto del contesto o della direzionalità, anche se è possibile includere frasi, rendendo l'analisi più semplice e veloce, pur fornendo valore. La PNL più avanzata fornisce più contesto, sebbene richieda ancora modelli pre-addestrati e il contesto può essere molto più localizzato (è più probabile che sia all'interno di una frase, ad esempio). La PNL più avanzata fornisce una maggiore automazione, ma potenzialmente perde le sfumature coinvolte quando uno scienziato dei dati conosce i dati in dettaglio. Essenzialmente entrambe le tecniche hanno i loro pro e contro.
Jeff: Sembro un disco rotto, ma dico sempre: "Collega la tecnica di analisi alla domanda". Spesso sono in grado di ottenere informazioni rapide e utili con metodi di base (soprattutto quando la domanda è chiaramente definita). La gente verrà da me e mi chiederà qualcosa sulla falsariga di “Non sappiamo cosa stiamo cercando, ma vogliamo sapere tutto di tutto. Possiamo PNL la nostra strada verso l'onniscienza?" :faccia_ghignante_con_sudore: Li aiuterò a concentrarsi sulla definizione della domanda o ad esplorare il testo con l'analisi delle classi latenti, l'analisi semantica latente o l'analisi del sentiment. Inoltre, l'approccio "bag-of-words" ha il vantaggio di essere facilmente concettualizzato e interpretabile, ed è un ottimo punto di partenza. Nella mia limitata esperienza, metodi come BERT sono ottimi per le domande di classificazione con modelli di apprendimento automatico ben addestrati.
Cosa significa andare verso una "scienza regolatoria avanzata"?
Weida: La FDA definisce la scienza normativa come "la scienza dello sviluppo di nuovi strumenti, standard e approcci per valutare la sicurezza, l'efficacia, la qualità e le prestazioni dei prodotti regolamentati dalla FDA". In un certo senso, scienza regolatoria avanzata significa adottare tecnologie e metodologie emergenti per migliorare il funzionamento della FDA.
In che modo JMP facilita la collaborazione con gli altri e in particolare con l'analisi del testo?
Molti: La community JMP è un'eccellente piattaforma per collaborare con gli altri. L'analisi del testo fa parte della comunità JMP, così come SKP (il JMP Portale della conoscenza delle statistiche ), che sta per diventare più attivo con contenuti di analisi del testo e collaborazione.
Jeff: In P&G abbiamo una base di utenti JMP molto ampia e molte persone hanno familiarità con le basi. È facile condividere l'output di un'analisi JMP e avere una sessione di lavoro con qualcuno che utilizza Text Explorer. La condivisione di script e diari lo rende molto semplice.
Pensi che abbiamo appena scalfito la superficie di cosa si può fare con tutti i dati testuali che stiamo raccogliendo?
Molti: Di recente, l'analisi del testo e la PNL hanno fatto enormi passi avanti nelle capacità, ma c'è ancora molto da fare. C'è un buon graffio sulla superficie, ma con funzionalità aggiuntive, il testo non sarà considerato in modo diverso dai dati strutturati. Per ora, l'elemento umano è ancora molto prezioso.
Jeff: Sì, e penso che costruire una cultura di persone che hanno familiarità con i fondamenti di questo tipo di lavoro sia il miglior punto di partenza per costruire una comprensione dell'analisi dei dati di testo
Cos'altro condividi con le persone con cui analizzi i dati di testo?
Jeff: A volte mi impegnerò a ricordare loro che non è più intelligente di noi, il che significa che le tecniche di analisi non saranno in grado di guardare una frase come "Ho smesso di usare il tuo prodotto perché aveva un odore strano" e capirlo su un livello umano. L'odore strano potrebbe essere un'indicazione di un grosso problema, o qualcosa che la gente dice di solito su questo prodotto, o anche parte di un cambiamento intenzionale che si pensava fosse ricevuto in questo modo, o anche qualcosa di sarcastico e ironico. L'analisi del testo e la PNL devono sempre essere abbinate alla conoscenza del dominio e alla curiosità intorno alle domande a cui vogliamo rispondere. Non possiamo (ancora) premere un pulsante e sapere tutto ciò che vogliamo sapere (e anche ciò che non sappiamo che potremmo voler sapere).
Se ti sei perso l'evento live, puoi guardarlo su richiesta per ulteriori approfondimenti. Oltre alle domande di cui sopra, abbiamo ricevuto molte altre eccellenti domande dal nostro pubblico di spettatori. Scopri di più su ruote "whompy", odori divertenti e altre informazioni che potresti ottenere da alcuni dei dati di testo che hai raccolto.
