ChatGPT, e i modelli linguistici su larga scala (LLM) in generale, sono diventati una fonte di informazioni sempre più importante. Tuttavia, è fondamentale valutare le risposte prima di utilizzarle, spostando così l'attenzione dalla generazione di informazioni alla valutazione della loro qualità.
In questa presentazione, spostiamo nuovamente l'attenzione sulla progettazione dei prompt utilizzati per l'apprendimento dalle piattaforme LLM. Applichiamo JMP per implementare metodi di esperimenti progettati statisticamente al fine di impostare una sequenza di prompt e utilizziamo un'analisi delle risposte derivata da metodi di analisi testuale come l'analisi semantica latente. Applichiamo quindi la regressione generalizzata per modellare l'effetto dei fattori utilizzati nel prompt sui punteggi degli argomenti derivati da Text Explorer.
È notevole come JMP offra la possibilità di combinare agevolmente la progettazione di esperimenti con l'analisi del testo e la regressione penalizzata, al fine di migliorare l'apprendimento derivante dai modelli lineari logici (LLM). Questo approccio può essere applicato in qualsiasi ambito e, da questo punto di vista, è ampiamente generalizzabile.
