Variazione dei parametri dei minimi quadrati parzialiSperiamo che questa domanda abbia un senso. Sto facendo la regressione logistica con N = 2000 osservazioni e p = 160 covariate. C'è una struttura di correlazione evidente nella matrice di progettazione e posso vedere che semplicemente osservando i VIF quando eseguo una regressione logistica semplice. Poi ho fatto PLS e ottenuto un diverso insieme di coefficienti, anche se ce ne sono ancora 160, poiché PLS non riduce le variabili. C'è un posto nel report PLS per trovare le varianze del nuovo set di coefficienti per vedere che sono ridotti? Ha senso che mi piacerebbe guardarli dal momento che potrei scambiare pregiudizi per la varianza.
Ri: varianza dei parametri dei minimi quadrati parzialiGrazie Peter,
Una cosa che mi disturba è la grande differenza nei modelli quando è selezionato il lasso adattivo. Nel modello adattativo è possibile vedere che il valore Scaled-LogLikelihood non ha un minimo ben definito. Un altro problema è che hai modellato Y = 0 e ottieni 59 termini nel modello. Se scegli come target Y = 1 ottieni un modello completamente diverso con 71 termini. Non capisco questo. Senza il set adattivo non importa se io scelgo come target 0 o 1, i modelli sono gli stessi eccetto che i termini hanno segni diversi. Dal momento che trovo i risultati adattivi difficili da capire, per non parlare di spiegare ai miei clienti, mi attengo con il lazo alla vaniglia.
Con il lazo della vaniglia possiamo ottenere prestazioni ragionevoli nelle matrici di confusione con una soglia di 0,122. Dico ragionevoli nel senso che la sensibilità e la specificità richieste possono forse essere soddisfatte.
Detto questo, abbiamo ancora la domanda se abbiamo bisogno di fare la regolarizzazione. Anche la regressione logistica vanilla risulta in una AUC leggermente vicina. Ma non vorremmo usare LR perché sappiamo che esiste una correlazione seria. Quindi, senza significative prove di sovradattamento, mi trasferirei a PLS per affrontare solo il problema di correlazione. Ma dal momento che JMP modella l'obiettivo come continuo non otteniamo tutte le matrici ROC, AUC e di confusione nel report. Posso ottenerli applicando il logit al predittore lineare e penso che sia legittimo ... e questo torna alla mia domanda iniziale su come trattare i risultati PLS per il confronto tra modelli quando gli altri modelli si basano strettamente sulla trasformazione logit predittori lineari.
A proposito, apprezzo molto la tua immersione in queste domande, dal momento che la mia completa comprensione di ciò che diamine sto facendo è molto importante per me.
Ho incluso la stessa tabella dati con alcuni altri modelli.
Ri: varianza dei parametri dei minimi quadrati parzialiUna tecnica comunemente utilizzata per il controllo del sovradattamento quando si dispone di sufficienti osservazioni consiste nel suddividere il set di dati originale in un training, una convalida e, facoltativamente, un raggruppamento di test utilizzando la piattaforma secondaria Make Validation nella raccolta della piattaforma Predictive Modeling. Per i problemi di classificazione è consigliabile creare un campione stratificato su Y in modo da avere le stesse proporzioni di tutti i livelli di risposta in ciascun allenamento, convalida e gruppi di test facoltativi. Hai uno squilibrio abbastanza consistente tra i livelli 1 e 0 per la tua risposta. Quindi potresti provare alcuni scenari in cui il saldo è più vicino a 50/50? Una volta che si è adattato il modello, esaminare le curve ROC per ogni raggruppamento ... se le AUC associate a ciascun raggruppamento sono ragionevolmente vicine ... allora non vi è evidenza di sovradattamento. Controllate anche le matrici della confusione ... Sono un po 'preoccupato per i risultati ottenuti con i set di allenamento / convalida che ho creato nella vostra tabella dati originale ... il modello fa un lavoro piuttosto scarso, classificando erroneamente gli 1 effettivi come 0 quando il target = 0 indipendentemente dall'approccio di modellazione che ho usato. Vedi i tre diversi script di analisi ... logistico, Gen Reg / Lasso e Neural Net nella tabella dei dati allegata. Se questo è problematico da un punto di vista pratico, la tua modella NON si adatta bene ... dimentica il sovrasfruttamento ... è solo un mediocre classificatore.
Ri: varianza dei parametri dei minimi quadrati parzialiGrazie Peter,
Nel mio caso si tratta davvero della struttura di correlazione dei predittori. Non sono convinto che la riduzione variabile sia giustificata nella mia domanda. In realtà, questa è una domanda alla quale non ho ancora risposto e sto cercando un modo definitivo per verificare se si verifica un sovradattamento anche quando utilizzo tutti i miei predittori. Ho osservazioni N = 1839 con p = 148 covariate. Ho incluso il tavolo. Se usiamo solo la regressione regolare (trattiamo l'output nominale come continuo) possiamo vedere che ci sono molti VIF molto grandi. Quindi sappiamo che avremo anche un problema quando facciamo la regressione logistica. Abbiamo problemi di correlazione per la cura, ma forse non un problema di sovradattamento. Ecco perché sono andato con PLS. Se si raggruppano le variabili, si ottengono solo 35 cluster, suggerendo che ci sono solo 35 o più funzioni informative all'interno delle 148 covariate. Quindi, perché concentrarsi sull'eliminazione di nessuno di essi invece di utilizzare solo un metodo robusto per la correlazione.
Quando eseguo la regressione logistica ottengo una AUC di soli .815. Quindi anche l'uso di tutte le covariate non mi dà una misura perfetta. L'AUC <1 è un modo legittimo per affermare che il sovradattamento non è il problema.
Accolgo con favore qualsiasi pensiero tu abbia.
Ri: varianza dei parametri dei minimi quadrati parzialiGene:
Le tue domande hanno senso ... comunque posso offrire un pensiero alternativo? Se la riduzione variabile è la chiave per il tuo problema pratico, hai considerato l'utilizzo delle subpersonalità Lasso o Rete elastica dal modello di adattamento -> personalità / piattaforma di regressione generalizzata? Queste tecniche sono adatte alla multicollinearità tra i predittori ... ma hanno anche alcune importanti caratteristiche da considerare ... queste sono spiegate nella documentazione di JMP. Entrambi possono essere utilizzati con una risposta categoriale ... e gli intervalli di confidenza dei parametri "finali" vengono riportati insieme alla tabella delle stime dei parametri.
