Siamo stati molto entusiasti di ospitare Manya Mayes, esperta di elaborazione del linguaggio naturale (NLP) e responsabile della Data Science presso 1440 Consulting, come relatrice plenaria del nostro primo incontro "Statistically Speaking" sull'analisi del testo . Siamo stati inoltre lieti di ospitarla come relatrice insieme ad altri due esperti di analisi del testo: Weida Tong, Direttore di Bioinformatica e Biostatistica presso la Food and Drug Administration; e Jeff Swartzel, Ricercatore presso Procter & Gamble.
La competenza pratica di questi esperti di statistica e gli esempi interessanti che condividono sono fonte di ispirazione. Avevamo così tante domande per il panel durante la diretta streaming che non siamo riusciti a rispondere a tutte. I nostri ospiti speciali hanno gentilmente accettato di rispondere tramite questo post del blog.
Come si misura e si dimostra il ROI dell'analisi del testo?
Manya: Come hai previsto, misurare il ROI per l'analisi del testo non è sempre facile. Quando si individua un allarme tempestivo di un problema di un prodotto, potrebbe non essere mai possibile identificare il vero ROI per un problema risolto prima che si trasformi in un problema con gli pneumatici Ford Explorer/Firestone (che ha avuto un costo stimato di 7,5 miliardi di dollari ) o nel problema di accelerazione improvvisa di Toyota (che ha comportato 1,2 miliardi di dollari di sanzioni da parte del Dipartimento di Giustizia e 2 miliardi di dollari di costi di richiamo ). Se entrambe le aziende avessero preso provvedimenti in base ai risultati dell'analisi del testo (facili da reperire utilizzando i dati della National Highway Traffic Safety Administration [NHTSA] e buone capacità di analisi del testo), non avrebbero mai saputo realmente quanto avrebbero risparmiato. L'utilizzo dell'analisi del testo in un modello di previsione etichettato e supervisionato fornisce un modo per convalidare il ROI, ma questo non è sempre possibile. Inoltre, per l'analisi dei dati che informano le future decisioni aziendali e la strategia, è possibile misurare il ritorno per dollaro investito tramite un'analisi dei driver/della sensibilità.
Jeff: È una domanda difficile, e spesso mi trovo in difficoltà con questa domanda perché l'impatto può essere incoerente. A volte un lavoro molto rapido e semplice fornisce spunti preziosi, mentre altre volte un'analisi impegnativa può produrre risultati meno incisivi. Gli aspetti su cui in genere mi concentro come valore dell'analisi del testo sono: 1) il risparmio di tempo, 2) la possibilità di intervenire prima dei problemi, 3) l'unicità degli spunti che potrebbero non essere stati possibili senza la tecnica e 4) una maggiore capacità di concentrarsi su argomenti importanti.
Come è stato generato il grafico sullo schermo (ruota oscillante rispetto al tempo) dalla finestra Esplora testo?
Adulti: Utilizzando Text Explorer sul campione di reclami sui veicoli elettrici, ho rimosso un set di termini a bassa informazione aggiungendoli all'elenco dei termini da eliminare, quindi ho rimosso i termini che apparivano una o due volte e ho proseguito con un'analisi delle classi latenti. I risultati dell'analisi delle classi latenti (in JMP Pro ) includono una finestra "Probabilità di cluster per riga". In questa finestra, viene mostrato il cluster più probabile per ciascun documento. È possibile fare clic con il pulsante destro del mouse su "Crea in tabella dati". La finestra successiva contiene i risultati come tabella dati che può quindi essere ricongiunta al campione originale di reclami sui veicoli selezionando "Tabelle > Unisci" e quindi unendo questi risultati ai dati originali, abbinandoli per numero di riga. Ho selezionato solo le righe per il cluster di ruote Whompy. I dati originali hanno un campo "faildate" che può quindi essere tracciato utilizzando "Grafico > Generatore di grafici". In Generatore di grafici, ho utilizzato un istogramma, con "faildate" come variabile X e la scala di risposta impostata su "Conteggio". Il resto era principalmente un aspetto estetico, dove ho cambiato il colore cliccando sulla variabile "faildate" nella legenda (vedere l'immagine allegata per maggiori dettagli). Per ottenere le informazioni per modello, ho trascinato e rilasciato la variabile del modello del veicolo sulla porzione del Gruppo X del grafico e ho utilizzato il modello del veicolo come variabile colore.
Perché i punteggi per i sentimenti negativi sono inferiori a quelli per i sentimenti positivi (98 contro 100)?
Adulti: I punteggi del sentiment variano tra -100 e 100. Mi è capitato di scegliere termini negativi con punteggi di -98 e termini positivi con punteggi di 100.
Queste immagini mostrano che, nel complesso, i documenti positivi erano più numerosi di quelli negativi. I punteggi mostrano il sentiment calcolato sull'intero documento (recensione), quindi un documento potrebbe avere un punteggio complessivamente positivo, anche se presenta parti negative e parti positive.
L'analisi del testo per il processo di revisione della FDA viene utilizzata maggiormente per indirizzare gli sforzi di revisione o è un'integrazione alla lettura dei documenti?
Weida : L'analisi del testo è stata ampiamente utilizzata dalla FDA, sia in ambito di ricerca che di revisione. Tra queste, il recupero delle informazioni e la classificazione dei documenti hanno una forte presenza nel processo di revisione. Inoltre, abbiamo anche studiato la sintesi del testo, il riconoscimento delle entità denominate e l'analisi del sentiment, la maggior parte delle quali è un'attività incentrata sulla scienza normativa.
Quali sinergie si ottengono con l'analisi del testo e altri metodi di analisi?
Adulti: L'integrazione di informazioni testuali in altri metodi di analisi è comune. Al testo viene essenzialmente fornita una rappresentazione strutturata. L'incorporazione del testo ora strutturato può contribuire ad aumentare l'accuratezza dei modelli supervisionati di apprendimento automatico quando applicati a una vasta gamma di casi d'uso (acquisizione clienti, fidelizzazione, frode, rischio, ecc.). Può anche aiutare nella spiegazione del modello e può suggerire il linguaggio corretto da utilizzare per il branding, la messaggistica, ecc. Può anche essere utile nella classificazione/clustering non supervisionato, dove i termini, insieme a dati strutturati come informazioni transazionali e demografiche, possono aiutare a descrivere i cluster.
Jeff: JMP è ottimo per collegare direttamente l'output dell'analisi del testo ad altre variabili rilevanti (tempo, valutazione del cliente, categorie significative, ecc.) per la modellazione (selezione dei termini e analisi discriminante). Parole chiave e argomenti pertinenti possono anche fornire informazioni per analisi più qualitative in altre sedi.
Cosa ne pensi dell'approccio bag-of-words rispetto alla PNL più avanzata?
Adulti: L'approccio "bag of words" non tiene conto del contesto o della direzionalità, sebbene sia possibile includere frasi, rendendo l'analisi più semplice e rapida, pur fornendo valore. L'NLP più avanzata fornisce più contesto, sebbene richieda comunque modelli pre-addestrati e il contesto possa essere molto più localizzato (ad esempio, più probabilmente all'interno di una frase). L'NLP più avanzata offre una maggiore automazione, ma potenzialmente perde di vista le sfumature coinvolte quando un data scientist conosce i dati in dettaglio. Essenzialmente entrambe le tecniche hanno i loro pro e contro.
Jeff: Sembro un disco rotto, ma dico sempre: "Collega la tecnica di analisi alla domanda". Spesso riesco a ottenere informazioni rapide e utili con metodi di base (soprattutto quando la domanda è chiaramente definita). Le persone vengono da me e mi chiedono qualcosa del tipo: "Non sappiamo cosa stiamo cercando, ma vogliamo sapere tutto di tutto. Possiamo usare la PNL per raggiungere l'onniscienza?" :grinning_face_with_sweat: Li aiuto a concentrarsi sulla definizione della domanda o a iniziare a esplorare il testo con l'analisi delle classi latenti, l'analisi semantica latente o l'analisi del sentiment. Inoltre, l'approccio "bag-of-words" ha il vantaggio di essere molto facilmente concettualizzato e interpretabile, ed è un ottimo punto di partenza. Nella mia limitata esperienza, metodi come BERT sono ottimi per le domande di classificazione con modelli di apprendimento automatico ben addestrati.
Cosa significa procedere verso una “scienza regolatoria avanzata”?
Weida: La FDA definisce la scienza normativa come "la scienza che sviluppa nuovi strumenti, standard e approcci per valutare la sicurezza, l'efficacia, la qualità e le prestazioni dei prodotti regolamentati dalla FDA". In un certo senso, la scienza normativa avanzata significa adottare tecnologie e metodologie emergenti per migliorare il funzionamento della FDA.
In che modo JMP facilita la collaborazione con gli altri e in particolare con l'analisi del testo?
Adulti: La community JMP è un'eccellente piattaforma per collaborare con altri. L'analisi del testo fa parte della community JMP, così come SKP (il portale di conoscenza delle statistiche JMP), che sta per diventare più attivo con contenuti e collaborazioni sull'analisi del testo.
Jeff: In P&G abbiamo una base utenti JMP molto ampia e molte persone hanno familiarità con le basi. È facile condividere l'output di un'analisi JMP e avviare una sessione di lavoro con qualcuno che utilizza Text Explorer. La condivisione di script e journal semplifica notevolmente le cose.
Pensi che abbiamo appena scalfito la superficie di ciò che si può fare con tutti i dati testuali che stiamo raccogliendo?
Adulti: Di recente, l'analisi del testo e l'elaborazione del linguaggio naturale hanno fatto enormi progressi, ma c'è ancora molto da fare. Si è ancora in fase di sviluppo, ma con funzionalità aggiuntive, il testo non sarà considerato in modo diverso dai dati strutturati. Per ora, l'elemento umano è ancora molto prezioso.
Jeff: Sì, e penso che costruire una cultura di persone che abbiano familiarità con i fondamenti di questo tipo di lavoro sia il miglior punto di partenza per sviluppare una comprensione dell'analisi dei dati di testo.
Cos'altro condividi con le persone con cui analizzi i dati di testo?
Jeff: A volte mi preme ricordare loro che non è più intelligente di noi, il che significa che le tecniche di analisi non saranno in grado di analizzare una frase come "Ho smesso di usare il tuo prodotto perché aveva un odore strano" e comprenderla a livello umano. L'odore strano potrebbe essere l'indicazione di un grosso problema, o qualcosa che le persone dicono tipicamente di questo prodotto, o anche parte di un cambiamento intenzionale che si è pensato di recepire in questo modo, o anche qualcosa di sarcastico e ironico. L'analisi del testo e la PNL devono sempre essere abbinate alla conoscenza del dominio e alla curiosità riguardo alle domande a cui vogliamo rispondere. Non possiamo (ancora) premere un pulsante e sapere tutto ciò che vogliamo sapere (e anche ciò che non sappiamo di voler sapere).
Se vi siete persi l'evento in diretta, potete guardarlo on demand per ulteriori approfondimenti. Oltre alle domande precedenti, abbiamo ricevuto molte altre interessanti domande dal nostro pubblico. Scoprite di più sulle ruote "wow", sugli odori strani e su altri spunti che potreste trarre da alcuni dei dati testuali che avete raccolto.
