Molte persone sentono di aver partecipato a così tanti corsi di formazione e di aver accumulato molta esperienza nel lavoro reale, ma perché i risultati del mio modello non sono ideali? Oggi parleremo dei metodi e delle idee della modellazione predittiva nell'analisi dei dati e utilizzeremo piccoli casi per aiutarti a comprendere possibili malintesi e pregiudizi nella metodologia, in modo da poter eseguire la modellazione e l'analisi più facilmente.
Cos'è la modellazione predittiva?
Quando si tratta di modelli predittivi, gli amici che non ne sanno molto potrebbero trovarli imperscrutabili. In effetti, i modelli di previsione sono ovunque nella vita: ad esempio, quando ci svegliamo la mattina e vediamo che il tempo è nuvoloso, prevediamo che oggi potrebbe piovere. Questa è una previsione semplice. In altre parole, quando un medico vede un paziente con vari sintomi, prevede quale percentuale del paziente potrebbe avere il raffreddore e quale percentuale del paziente è affetto dalla malattia. Anche questa è una previsione.
Quali sono i principi fondamentali e i metodi della modellazione predittiva?
Esistono molti metodi di modellazione predittiva. I metodi tradizionali includono l'analisi di regressione, come la regressione lineare, la regressione polinomiale, la regressione logistica, ecc.; i modelli di penalità, come la regressione ridge, la regressione Lasso, ecc. I metodi di modellazione basati sull'apprendimento automatico, come le reti neurali, le macchine a vettori di supporto (SVM), gli alberi decisionali, le foreste casuali, gli alberi potenziati e altri metodi, senza eccezioni, offrono molte scelte agli analisti di dati.
Ma non importa quale tipo di modellazione predittiva venga effettuata, si tratta essenzialmente di trovare il modello migliore che possa veramente ripristinare la situazione reale e scoprire un modello reale. Ma nella maggior parte dei casi, forse il problema più importante che dobbiamo affrontare è: come giudicare se il modello è buono o meno? C'è un eccesso di adattamento? Vale a dire, la questione centrale più critica del modello di previsione è se può raggiungere l’equilibrio ottimale tra variazione e deviazione.
Qual è l’equilibrio tra variazione e deviazione? In parole povere, il modello non deve solo funzionare bene con i dati del set di addestramento utilizzati per la modellazione, ma anche funzionare meglio se vengono utilizzati i dati raccolti da un diverso gruppo di persone. Ad esempio, se lo stesso medicinale viene assunto dal primo gruppo di persone, l'efficacia può raggiungere l'80%, il che sembra essere molto buono, ma se il medicinale viene assunto da un altro gruppo di persone, l'efficacia del medicinale potrebbe essere solo del 30%. . Ciò dimostra che l'effetto non è così buono. L'effetto reale dovrebbe essere così: se (teoricamente) facciamo innumerevoli campionamenti e campioniamo un centinaio di persone ogni volta, l'effetto dovrebbe essere molto stabile in questi innumerevoli campionamenti, e l'effetto di ogni campionamento sarà molto buono. Il cosiddetto effetto buono significa che l’effetto di previsione del modello è buono, il cosiddetto effetto stabile significa che il numero di variazioni è piccolo e la cosiddetta instabilità significa che il numero di variazioni è elevato.
Sembra facile da capire, ma in pratica non è possibile ottenere innumerevoli campionamenti. Nella maggior parte dei casi, esiste un solo campionamento. Quindi, come utilizzare un campionamento per valutare la stabilità del modello? Ciò richiede l'uso di metodi di convalida incrociata.
Cos'è la convalida incrociata? Ad esempio, supponiamo di dividere la folla in più parti, di conservarne alcune come dati di addestramento, quindi di conservare una parte come dati di verifica e quindi di estrarre alcune delle altre da utilizzare come dati di addestramento. In breve, ogni dato viene prelevato per la verifica, operazione chiamata convalida incrociata. Tutti i dati per la verifica non sono dati utilizzati per la modellazione, quindi i risultati sono più convincenti.
Ad esempio, se ci sono due punti, è molto facile costruire un modello ottimo: questa linea retta è un modello ottimo (la deviazione è piccola, infatti la sua deviazione qui è 0).
Come si può vedere dalla figura, in questi dati la linea verde ovviamente non si comporta così bene come la linea rossa (grande deviazione). Tuttavia, quando aggiungi i dati di verifica, se quello blu è i dati di verifica, scoprirai che quello rosso potrebbe non essere necessariamente buono come quello verde. Quindi in questo caso la linea rossa presenta una piccola deviazione ma una grande variazione. Perché sembra che tu abbia solo l'effetto di adattamento migliore nei dati di addestramento, ma se passi a un altro batch di dati (dati di convalida), scoprirai che l'effetto di adattamento peggiora immediatamente. Sembra che la deviazione sia molto piccola, ma la variazione è troppo grande, quindi non è questo ciò che stiamo perseguendo. Ciò che in realtà stiamo perseguendo è una variazione che deve essere piccola e la deviazione deve essere piccola, o almeno trovarne una tra i due.Un compromesso, che è ciò su cui si basa la modellazione predittiva. Come trovare un tale compromesso, generalmente utilizzare la convalida incrociata. Pertanto, se si desidera costruire un buon modello di previsione, che si tratti di una rete neurale, di un albero decisionale, di una SVM, ecc., in realtà si sta cercando un punto di compromesso.
Da un punto di vista pratico, la modellazione predittiva riguarda principalmente la determinazione di due punti.
- Determinare quali variabili influenzano i risultati . Perché la previsione deve trovare variabili da prevedere. Ad esempio, se ci sono cento variabili, tutte queste cento variabili contribuiscono alla previsione? Quindi dovresti prima determinare quali indicatori contribuiscono ad esso.
- Qual è la relazione tra questi indicatori contributivi e i risultati? ?
In effetti, nella maggior parte dei casi, molti di noi si concentrano sulla prima, ovvero quale variabile influenza il risultato, ma in realtà poche persone prestano attenzione all'effettiva relazione tra queste variabili e il risultato, soprattutto nei modelli di previsione tradizionali. non prestare attenzione a questi, scoprirai che molti modelli costruiti non sono effettivamente validi. A questo proposito, i metodi di apprendimento automatico saranno migliori, perché l’apprendimento automatico può aiutarti a trovare un punto di divisione ottimale indipendentemente dal fatto che le variabili siano lineari o non lineari.
Tuttavia, i modelli tradizionali sono leggermente inferiori a questo riguardo, perché la maggior parte dei modelli tradizionali sono modelli lineari e non possono gestire direttamente la non linearità. I modelli tradizionali, come la regressione lineare, la regressione logistica, ecc., generalmente perseguono solo piccole deviazioni, ma metodi come la regressione Lasso e la rete elastica non solo perseguono piccole deviazioni, ma perseguono anche piccole variazioni, che possono trovarsi tra le due. equilibrio, quindi questi metodi sono spesso molto popolari ora perché tengono conto dell’equilibrio tra deviazione e variazione.
Quindi, i tradizionali metodi di modellazione predittiva sono obsoleti? la risposta è negativa.
Reti neurali, macchine a vettori di supporto, alberi decisionali, foreste casuali, alberi potenziati e altri metodi sono effettivamente metodi all'avanguardia che molte persone amano perseguire, ma per questo la modellazione tradizionale non verrà eliminata. In realtà ha ancora i suoi vantaggi.
Innanzitutto, a patto che le variabili siano trasformate opportunamente, i modelli lineari tradizionali possono anche fare previsioni non lineari. I metodi di modellazione tradizionali utilizzano principalmente alcuni modelli lineari, la maggior parte dei quali possono essere attribuiti a modelli lineari generalizzati, operando principalmente alcune distinzioni lineari. I metodi di apprendimento automatico possono avere maggiori vantaggi nella distinzione non lineare. Ma ciò non significa che i modelli tradizionali non debbano essere in grado di operare queste distinzioni non lineari. Naturalmente, per costruire modelli di previsione tradizionali, se si inseriscono semplicemente le variabili direttamente nel software, non si sarà mai in grado di fare una distinzione non lineare, perché il modello stesso è lineare, ovvero è stato definito. Tuttavia, con una certa esplorazione e trasformazione di queste variabili, è ancora possibile ottenere una distinzione non lineare.
In secondo luogo, il modello di regressione tradizionale è molto intuitivo. Nel modello di regressione tradizionale, possiamo vedere stime molto chiare dei parametri, valori P e altri indicatori che preoccupano tutti. Se vuoi elencare il modello, è molto semplice. Puoi elencare direttamente tutti i modelli.
Al contrario, per il machine learning, in particolare il deep learning, ecc., è quasi impossibile elencare un modello (ovviamente, questo non significa che questi modelli non abbiano formule, è solo che sono troppo complicati da elencare). Quindi in realtà è più simile a un processo di scatola nera. La cosiddetta scatola nera può essere immaginata come una macchina: qui metti la carne e da lì esce la salsiccia. Ma non sai come elaborarlo a metà. Magari a volte vuoi capire il processo di lavorazione intermedia, e scoprirai che solo la macchina può capire le cose al suo interno. La macchina sa benissimo come eseguire i passaggi intermedi passo dopo passo, ma noi non riusciamo a capirlo perché è troppo complicato. Pertanto, spesso vediamo solo un processo a scatola nera, quindi non possiamo fornire una formula chiara.
A volte non ci interessa la formula e ci interessa solo l'effetto di previsione, ma a volte quando devi elencare il modello (ad esempio, devi richiedere un brevetto), se non puoi descriverlo chiaramente, lo farà sarà difficile richiedere il brevetto. In questo momento, potresti spesso aver bisogno di una formula chiara per aiutarti.
In sintesi, non esiste la possibilità di dire se un metodo è obsoleto: un metodo non è obsoleto o obsoleto, ma solo se è adatto o meno. È solo che alcuni metodi hanno alcune condizioni applicabili quando applicati. Quando utilizzare quale metodo dipende principalmente dalla situazione reale: ad esempio, il machine learning offre spesso maggiori vantaggi quando ci sono molte variabili.
Successivamente, utilizzeremo due piccoli casi per esaminare effettivamente l'applicazione comparativa dei metodi tradizionali e dell'apprendimento automatico.
Logistica ritorno VS rete neurale
Caso: uno studio ha analizzato i fattori che influenzano l'ipertensione (variabile binaria, sì o no) e ha indagato il sesso, l'età e 4 indicatori sierologici, rappresentati rispettivamente da A, B, C e D. Il ricercatore intende costruire un modello di previsione utilizzando le tre variabili età, B e C. Per lo stesso insieme di dati, utilizziamo rispettivamente la regressione logistica e la rete neurale per modellare, quindi osserviamo i risultati finali.
Innanzitutto, utilizziamo la regressione logistica per costruire un modello di previsione e incorporare direttamente queste tre variabili continue nel modello. I risultati mostrano che l'area sotto la curva ROC è 0,6023, che in realtà è un risultato relativamente basso, indicando che il modello che potrebbe essere costruito non ha molto significato pratico.
Quindi, abbiamo utilizzato la tecnologia della rete neurale a due strati per incorporare direttamente queste tre variabili (sulla base dei risultati del set di addestramento), e quindi abbiamo ottenuto anche una curva ROC, che alla fine è risultata essere intorno a 0,86.
A giudicare dai risultati, potresti ritenere che le reti neurali siano migliori delle previsioni di regressione logistica. In realtà, questa conclusione non è molto affidabile. Perché? Questo ha molto a che fare con l'analista. Se inserisci i dati direttamente nel software, poiché il metodo di regressione tradizionale menzionato sopra è un modello lineare, il software ovviamente funzionerà in modo lineare. Ma l’apprendimento automatico può, alla fine, trovare l’effetto più adatto e il miglior effetto di previsione. In effetti, la maggior parte del machine learning è un processo di continui tentativi ed errori, che confronta costantemente i risultati e si adatta costantemente. Proprio come continuiamo a provare a commettere errori, possiamo lentamente ottenere risultati migliori attraverso un processo di tentativi ed errori.
Prendendo i dati proprio ora, se li rianalizziamo come statistici, sembra che questi tre indicatori siano effettivamente privi di significato, quindi quando includiamo direttamente questi tre dati continui nell'analisi, sembra che non ci siano davvero statistiche. significato scientifico, quindi la curva ROC è relativamente bassa.
Ma cosa trovi se guardi più da vicino? Poiché le tre variabili non sono correlate in modo lineare, i risultati non avranno naturalmente alcuna significatività statistica. Se usi la classificazione, puoi vederlo molto chiaramente.
Pertanto, se si inseriscono direttamente queste variabili che non sono correlate linearmente nella regressione logistica per costruire un modello lineare, si può immaginare che i risultati di previsione ottenuti non siano sicuramente ideali.
Se non inseriamo le variabili originali, ma reimmettiamo i risultati della classificazione come variabili nel modello, e utilizziamo comunque la regressione logistica per rioperare, vedrete che la curva ROC diventa immediatamente 0,86, che è molto più alta della curva ROC 0,6 proprio ora.
Perché? Poiché abbiamo trovato la sua legge, le variabili non sono una relazione lineare, ma non lineare e, dopo tale classificazione non lineare, scoprirai che questa è in realtà la sua relazione reale. E una volta trovata la relazione, scoprirai che i risultati del modello diventeranno molto più ideali e l'effetto di previsione sarà molto migliore.
Pertanto, quando si utilizzano modelli di regressione tradizionali per costruire modelli predittivi, dobbiamo avere una maggiore esperienza analitica, altrimenti si potrebbe concludere che "i modelli tradizionali non sono altrettanto validi quanto l'apprendimento automatico e altre nuove tecnologie, e non sono altrettanto validi quanto le macchine". Studia bene" è una tale illusione. Infatti, in molti casi, la cosa più importante nella costruzione di un modello non è il metodo, ma l'analista stesso.Molte volte i problemi che riscontriamo non sono problemi del modello stesso, ma piuttosto il fatto che non ne abbiamo scoperto le vere leggi.
Logistica ritorno VS albero decisionale
Allo stesso modo, confrontiamo la regressione logistica e gli alberi decisionali.
Sempre lo stesso caso sopra. Prendiamo ad esempio la variabile età: se viene utilizzato un albero decisionale, l'età viene inclusa direttamente nel modello come variabile continua e l'albero decisionale la dividerà automaticamente in tre categorie.
Dopo l'esplorazione, abbiamo scoperto che è più ragionevole dividerlo in tre categorie. Infine, abbiamo scoperto che i risultati della nostra esplorazione erano simili a quelli dell’albero decisionale.
Naturalmente, questo tipo di analisi richiede un certo accumulo di esperienza da parte dell'analista: una volta svolto un lavoro sufficiente di analisi dei dati, avrai naturalmente esperienza in tale modellazione e analisi. Pertanto, gli analisti di dati devono avere la capacità di distinguere chiaramente i modelli e determinare se sono giusti o sbagliati, altrimenti, se perseguono ciecamente i cosiddetti metodi avanzati e sono separati dalla realtà, solo per perseguire l’effetto appropriato sui dati, essere privo di significato. Tutti i modelli devono basarsi sulla situazione reale della ricerca e, infine, devono tornare al lavoro di analisi reale e servire al lavoro reale.
basato su JMP modellazione predittiva interattiva
Cos'è l'interazione? In generale, l'interazione nell'analisi dei dati fa sì che il computer possa rispondere in qualsiasi momento al contenuto che l'operatore modifica in qualsiasi momento. Il software tradizionale generalmente scrive un comando e poi restituisce il risultato. Se vuoi ottenere altri risultati, devi scrivere un altro comando, che è un modello comando-risultato.
Ma JMP non solo può passare dai comandi ai risultati, ma anche dai risultati ai comandi: queste due sono vere e proprie interazioni. Qualsiasi operazione sui dati si rifletterà direttamente nei risultati interattivi e, viceversa, qualsiasi aggiustamento ai risultati si rifletterà direttamente anche nella tabella dei dati. Inoltre, JMP non solo fornisce varie piattaforme per l'analisi di regressione tradizionale, come la regressione logistica, ma include anche piattaforme di machine learning attualmente comunemente utilizzate come reti neurali, foreste casuali, alberi decisionali, alberi di potenziamento, ecc., e può fornire una visualizzazione interattiva Questo metodo, senza programmazione, può soddisfare le diverse esigenze del mondo accademico e industriale per l'analisi di base, l'analisi esplorativa dei dati e la modellazione predittiva.
JMP Starter options for Predictive Modeling.. From JMP Pro VIEW>JMP STARTER.JMP Starter options for Predictive Modeling.. From JMP Pro VIEW>JMP STARTER.JMP Starter options for Predictive Modeling.. From JMP Pro VIEW>JMP STARTER.JMP Starter options for Predictive Modeling.. From JMP Pro VIEW>JMP STARTER.Opzioni di JMP Starter per la modellazione predittiva. Da JMP Pro VISUALIZZA>JMP STARTER.
Se desideri saperne di più su come la modellazione predittiva interattiva di JMP può servire meglio il tuo lavoro reale e su come stabilire meglio il pensiero dell'analisi dei dati scientifici, Benvenuto da scaricare Provalo tu stesso con una prova gratuita di un giorno di JMP.
