54316_it-IT

liliconcom

Validazione e ponderazione

Sto lavorando con un file di circa 8500 record in cui approssimativamente 100 hanno un valore variabile di risposta Y e il resto un valore di N. Sto eseguendo un modello di partizione sulla variabile di risposta Y e quindi aggiungo in vari X, fattori.  Dato il numero relativamente basso di "risposte", ho due domande quando uso questo modello.

1) devo pesare le variabili di risposta usando la formattazione condizionale (aggiungendo una nuova colonna)?

2) quale percentuale devo usare per la parte di validazione (20%, 30% ...)?

Ri: Validazione e ponderazioneSensibilità e specificità sono probabilmente metriche migliori.Ri: Validazione e ponderazione

Grazie.  E quando dici un accordo relativo, quanto meglio lo giudicheresti? Valori R2 di Simlar per allenamento e convalida?

 

Tom

Ri: Validazione e ponderazione

Non cercare di ottimizzare troppo o ti adatterai al tuo set di convalida.  Basta selezionare un'impostazione che si traduca in un accordo relativo tra la formazione e il set di convalida e seguirla.

Ri: Validazione e ponderazione

Grandi informazioni, incorporeranno quello.  Ora che ho eseguito varie proporzioni di convalida e sia ponderato che non ponderato, ottengo risultati leggermente variabili come ci si aspetterebbe.  Quali fattori statistici suggeriresti di prestare la massima attenzione per quanto riguarda la scelta dei migliori risultati dalla modellazione?

Ri: Validazione e ponderazione

@chris_kirchberg , È davvero fantastico ed è esattamente il tipo di cosa che avevo in mente.  Ho imparato qualcosa di nuovo oggi.

Ri: Validazione e ponderazione

Si potrebbe anche voler includere la matrice di profitto come schema di ponderazione. Dai un'occhiata a questo link per saperne un po 'di più:

https://www.jmp.com/support/help/13-2/Specify_Profit_Matrix.shtml

 

Spero che sia d'aiuto.

Chris

 

 

Ri: Validazione e ponderazione

Probabilmente lo farei, anche se suppongo che dipenda un po 'da cosa sia un buon classificatore per la tua situazione.  Se vuoi assicurarti che ci sia un'enorme penalità per la mancanza delle risposte "Y" per assicurarti di fare un lavoro adeguato nel predire quelle, sarebbe una buona idea.  Non sono un esperto in questo settore, ma probabilmente giocheremo con pesi diversi e osserverò l'impatto sulla matrice di confusione.

Ri: Validazione e ponderazione

Grazie Cameron,

Ho 8 fattori da cui partire per restringere il campo.  Consiglieresti anche la ponderazione?

Ri: Validazione e ponderazione

Per quella dimensione totale, farei una suddivisione 70/30 ro 60/40.  Potresti provare entrambi.  Quanti fattori hai?