Mike Clayton ha scritto:
Grazie. Penso che il blog JMP potrebbe utilizzare una buona discussione delle storie di "processo" che tipicamente generano ciascuno dei principali tipi di distribuzione. Ad esempio, la misurazione di particelle su wafer di vetro o di silicio tende ad essere una distribuzione molto distorta, senza valori negativi. Tuttavia, misurare le particelle aggiunte o rimosse con i dati precedenti e successivi, ha valori sia positivi sia negativi. E semplicemente le distribuzioni di Poisson o le distribuzioni Log-Normal potrebbero non essere applicabili in alcuni casi per i dati particolati. Un ricercatore ha suggerito la distribuzione di Reynolds per esempio. Ogni storia di processo può generare un elenco di possibili distribuzioni. I dati di fabbrica possono essere per lo più continui, mentre i dati di servizio tendono a mescolare dati spesso categorici o di conteggio, a volte percentuali.
Una penalità può rovinare seriamente la tua giornata. Dimentica di pagare una bolletta in tempo e una penalità tardiva ti costerà ancora qualche dollaro. Quando una bandiera gialla colpisce il campo di calcio, una penalità può costare alla tua squadra preferita posizione sul campo, slancio e forse anche alcuni punti. Ma una penalità non è sempre una cosa così brutta. In effetti, quando si costruisce un modello di regressione, una penalità è una cosa molto buona. Questo post introduce la piattaforma di regressione generalizzata (nuovo in JMP Pro 11 ), che ci consente di adattare i modelli di regressione penalizzati. Abbiamo visto come montare modelli simili utilizzando un componente aggiuntivo , ma la piattaforma di regressione generalizzata offre molte più funzionalità integrate in JMP Pro.
Massima verosimiglianza è uno dei cavalli di battaglia della statistica ed è un modo popolare per stimare i parametri in un modello di regressione. La funzione di probabilità ci dice la probabilità delle risposte osservate per un dato insieme di parametri. Quindi lo stimatore di massima verosimiglianza ci fornisce i parametri di regressione che massimizzano la probabilità dei dati osservati. La teoria della verosimiglianza ci fornisce anche la teoria per fare inferenze sui nostri parametri di regressione. Abbastanza attraente, vero? La massima verosimiglianza è estremamente potente, ma è più appropriata quando sappiamo in anticipo quali predittori appartengono al nostro modello.
Evitare il sovradattamento
Quando abbiamo decine di predittori o più e non sappiamo quale includere nel nostro modello, la massima probabilità tende a sovraffaticare e non è più una scelta così grande. Il sovradimensionamento significa che ci adatteremo bene ai nostri dati osservati, ma faremo uno scarso lavoro di previsione di nuove osservazioni. Le tecniche di regressione penalizzata possono aiutarci a evitare il sovradattamento quando siamo sopraffatti da una vasta serie di predittori. Con regressione penalizzata intendiamo che invece di massimizzare la nostra normale funzione di verosimiglianza, ottimizzeremo una funzione della verosimiglianza più una penalità sulla grandezza dei parametri. Ottimizzare la verosimiglianza penalizzata ha un senso intuitivo: vogliamo inserire bene i dati, ma non vogliamo che il modello diventi troppo grande. La piattaforma di regressione generalizzata in JMP Pro ci consente di adattare tre modelli di regressione penalizzati popolari: Ridge Regression, the laccio , e il Rete elastica . Queste tre tecniche di stima ci permettono di costruire modelli di predizione che predicono bene per nuove osservazioni. Anche il Lasso e la Rete elastica eseguono la selezione delle variabili in modo da ottenere un modello più facile da interpretare.
Piuttosto che cercare di coprire tutte le tecniche di stima disponibili nella piattaforma di regressione generalizzata, concentriamoci su Elastic Net. La rete elastica effettua la selezione variabile e la stima dei parametri simultaneamente. E come bonus aggiuntivo, gestisce i predittori correlati ( multicollinearità ) bene. Grandi insiemi di dati osservativi spesso soffrono di multicollinearità, quindi l'Elastic Net è una buona scelta quando si lavora con dati osservativi. La rete elastica penalizza la probabilità utilizzando un mix di L1 e L2 norme :
dove i beta sono i nostri coefficienti di regressione. Il pezzo L1 della penalità porta a una selezione variabile mentre il pezzo L2 della penalità aiuta ad affrontare la collinearità. Qui alpha e lambda sono chiamati parametri di ottimizzazione e ciascuna combinazione dei due porta a un diverso insieme di stime dei parametri di regressione. JMP offre diverse opzioni per la scelta della migliore combinazione dei parametri di sintonizzazione basata sulla bontà delle misure di adattamento come convalida incrociata o il BIC .
Esempio di film di Hollywood
Proviamo la piattaforma di regressione generalizzata con un esempio della cartella dei dati di esempio di JMP. Il set di dati di Hollywood Movies ci fornisce informazioni sulla redditività di un campione di film del 2011. Il nostro obiettivo è prevedere la redditività di un film basato su diversi fattori: Pomodori marci Punteggio, Punteggio del pubblico, Lead Studio (33 diversi studi in totale) e Genere (romanticismo, horror, commedia e così via). Sembra molto improbabile che tutti questi predittori possano davvero avere un impatto sulla redditività, quindi vogliamo fare una selezione variabile. E dovremmo essere preoccupati che il punteggio del pubblico e il punteggio dei pomodori marci siano altamente correlati, dal momento che il pubblico tende ad essere d'accordo con i critici. Pertanto, l'Elastic Net è una scelta perfetta per l'adattamento di questi dati poiché gestisce i predittori correlati e seleziona le variabili. Mia moglie e io ci piace andare al cinema e spesso controllare i punteggi dei Rotten Tomatoes prima di scegliere un film, quindi questo è uno dei miei set di dati preferiti per mostrare JMP.
Per accedere alla piattaforma di regressione generalizzata, lanciamo Fit Model e scegli Regressione generalizzata dal menu Personality (come in Figura 1). Dopo aver specificato le nostre colonne e aver completato la finestra di avvio, scegliamo i metodi di stima e validazione come in Figura 2. Continueremo con le impostazioni predefinite: Rete elastica con convalida BIC.
Figura 1: avvio della piattaforma generalizzata
Figura 2: finestra di dialogo di avvio del modello
La figura 3 mostra una parte del rapporto di regressione generalizzata, con la tabella di stima dei parametri ordinata in modo che sia più facile individuare i coefficienti diverso da zero. Il tracciato del percorso della soluzione fornisce informazioni su come diverse variabili sono entrate nel modello di regressione. Ogni linea nel percorso rappresenta una variabile nel nostro modello e man mano che la penalità viene ridotta (spostandosi da sinistra a destra nel grafico), sempre più variabili entrano nel modello.
Il rapporto sulle stime dei parametri ci mostra che solo tre predittori hanno coefficienti diversi da zero nel nostro modello finale. Apparentemente, è stato un brutto anno per i drammi e un buon anno per i film realizzati da Sony. E i film che erano popolari con la critica tendevano ad essere più redditizi, il che è probabilmente ciò che ci aspetteremmo. Abbiamo iniziato con circa 40 termini nel nostro modello e ridotto a tre. Questo ci lascia con un modello che è facile da interpretare e che predice bene per nuove osservazioni.
Figura 3: report parziale per l'esempio dei film di Hollywood
Sono molto entusiasta della piattaforma di regressione generalizzata in JMP 11. La selezione delle variabili è uno dei problemi più importanti nelle statistiche, e ora JMP Pro ha strumenti più potenti per attaccare quel problema. E hai notato in Figura 1 che abbiamo scelto la distribuzione Gamma? Come suggerisce il nome della piattaforma, la piattaforma di regressione generalizzata ci consente di adattare modelli lineari generalizzati. Ciò significa che possiamo fare una selezione variabile anche quando la variabile di risposta non è normalmente distribuita. Per l'esempio dei dati del film, la distribuzione gamma è una buona scelta perché ci aspettiamo che la redditività abbia una distribuzione distorta. La piattaforma di regressione generalizzata supporta una varietà di distribuzioni sulla risposta: normale, binomiale (regressione logistica), Poisson, binomio negativo e altro. Quindi la prossima volta che devi fare la selezione delle variabili, prova la rete elastica o il laccio nella piattaforma di regressione generalizzata.
