Miglior approccio e alternativa alla semplice regressione logistica per modellare la probabilità di appartenenza a un gruppoCiao
Ho bisogno di un piccolo aiuto per scegliere l'approccio giusto per risolvere il mio problema.
Ho una variabile continua X che può assumere qualsiasi valore compreso tra [-45 0].
Ho un set di dati di valori X per 12 gruppi distinti, vedi sotto il loro istogramma.
Sto cercando di costruire due modelli:
1) Un modello che, per un dato nuovo valore di X, mi dà la probabilità di appartenere a ciascun gruppo e mi dà il gruppo più probabile.
2) Un modello che, per Una nuova voce di X che si suppone appartenga a un dato gruppo, mi dà la probabilità che questa voce non sia per quel detto gruppo.
Inizialmente pensavo che la regressione logistica fosse l'approccio migliore, almeno per 1) ma per 2) non ne sono sicuro. In particolare per i gruppi con una distribuzione molto ristretta come ad esempio K.
Grazie in anticipo!
Modellazione statistica avanzataAnalisi e modellazione dei dati di baseModellazione predittiva e machine learningRe: Miglior approccio e alternativa alla semplice regressione logistica per modellare la probabilità di appartenenza a un gruppoA seconda della dimensione del set di dati, potresti dare un'occhiata ai metodi dell'albero decisionale. Nello specifico Bootstrap Forest (foresta casuale in letteratura).
Re: Miglior approccio e alternativa alla semplice regressione logistica per modellare la probabilità di appartenenza a un gruppoGrazie @MikeD_Anderson . Darò un'occhiata!
Ho circa 800 voci ma alcuni gruppi hanno meno di 20 osservazioni.
Tuttavia ho solo accesso a JMP (non Pro), quindi sono ancora interessato ad altre alternative con formula di previsione continua. L'ANN funzionerebbe?
Grazie
Re: Miglior approccio e alternativa alla semplice regressione logistica per modellare la probabilità di appartenenza a un gruppoCiao @KarlA026 . Potresti provare anche l'analisi discriminante.
https://www.jmp.com/support/help/en/18.0/index.shtml#page/jmp/overview-of-the-discriminant-platform.shtml#
Re: Miglior approccio e alternativa alla semplice regressione logistica per modellare la probabilità di appartenenza a un gruppoGrazie @MRB3855 . Ottengo risultati migliori con ANN. Ma posso comunque fare a meno di pensare che sto utilizzando strumenti sofisticati quando ho un solo predittore (continuo).
Per l'approccio 2) Cosa succede se adatti un modello di distribuzione a un gruppo (Normale o altro) e utilizzo la formula del modello come formula di previsione?
Re: Miglior approccio e alternativa alla semplice regressione logistica per modellare la probabilità di appartenenza a un gruppoCiao @ KarlA026 Cosa intendi con ANN "migliore" di LR?
E, rispetto a (2), stai invertendo ciò che è casuale da (1). In (1), il gruppo è casuale. In (2), come l'hai espresso, X è casuale. Ecco perché ti ho suggerito di prendere in considerazione il procuratore distrettuale.
Non sono sicuro di cosa intendi con " adattare un modello di distribuzione a un gruppo (normale o altro) e utilizzare la formula del modello come formula di previsione?". Puoi chiarire?
Re: Miglior approccio e alternativa alla semplice regressione logistica per modellare la probabilità di appartenenza a un gruppoGrazie @MRB3855 e @MikeD_Anderson
Per ANN, intendo che quando utilizzo X per prevedere il gruppo, ho meno risultati erroneamente classificati rispetto a LDA. Questo perché LDA fornisce semplicemente un modello simile a quello con logit, non consentendo un modello non lineare (vedere le differenze dei profiler nelle immagini allegate in un esempio per il Gruppo K).
Come puoi vedere, i profiler per il modello ANN sono vicini alla distribuzione del Gruppo K. Il mio suggerimento di adattare una distribuzione potrebbe non essere rilevante. È solo che quando ho provato ad adattare un modello di distribuzione normale al gruppo K, ad esempio, sono riuscito a salvare la formula del modello come una nuova colonna e usarla come colonna indicatore per qualsiasi nuova voce per valutare la probabilità di questa nuova voce di appartenente al gruppo K.
Voglio solo stimare, per un dato valore X fisso, la probabilità che quel punto appartenga ad un dato Gruppo.
Spero di essere stato chiaro adesso!
Grazie!
Re: Miglior approccio e alternativa alla semplice regressione logistica per modellare la probabilità di appartenenza a un gruppo@MRB3855 , @MikeD_Anderson ,
Qualche idea? Grazie in anticipo!
Re: Miglior approccio e alternativa alla semplice regressione logistica per modellare la probabilità di appartenenza a un gruppoCiao @ KarlA026 : Sfortunatamente, non sono sicuro di avere un'ottima soluzione. E, nel caso in cui uno dei miei commenti sopra sia sfuggito al radar, lo espanderò di seguito.
Sopra, qualche post più su, dicevo:
"E, rispetto a (2), stai invertendo ciò che è casuale da (1). In (1), il gruppo è casuale. In (2), per come l'hai espresso, X è casuale.".
(1) Nella regressione logistica o ANN stai stimando la Prob(di essere in un gruppo dato un valore di X), che, per brevità, può essere scritta P(G|X) e leggere "Probabilità di appartenenza a un gruppo dato X". Quindi qui il gruppo è la componente casuale. X è fisso (cioè scelto).Quindi, per un dato X, stimi la probabilità di far parte di ciascun gruppo.
(2) Ciò che "vuoi solo stimare" è molto diverso. Per come hai esposto il problema, stai chiedendo Prob(X appartiene a un gruppo, dato un gruppo) = Prob(X|G) leggi "probabilità che X appartenga a un dato gruppo".. Qui, X è casuale e il gruppo è fisso. Quindi, qual è la probabilità che X faccia parte di un dato gruppo. Qui stai scegliendo il gruppo e chiedi qual è la probabilità che X sia in quel gruppo.
P(G|X) è molto diverso da P(X|G), proprio come Prob(La persona A ha la malattia, dato che la Persona A è risultata positiva alla malattia) è molto diverso da Prob(La persona A è risultata positiva alla malattia, data la persona A che ha la malattia).
Detto questo: guardando il grafico in alto, se scegli un valore x, dì -30 e traccia una linea dritta verso l'alto. Puoi vedere che la percentuale dell'area sotto la curva a sinistra di -30 per il gruppo M è circa il 50%. Per il gruppo D è circa il 20%, ecc. È questo il genere di cose a cui stavi pensando quando hai detto "adatta un modello di distribuzione a un gruppo (normale o altro) e usa la formula del modello come formula di previsione?"
Re: Miglior approccio e alternativa alla semplice regressione logistica per modellare la probabilità di appartenenza a un gruppo@MRB3855 grazie per il chiarimento.
Immagino di averlo in mente, ma l'ho formulato non era molto rigoroso.
Comunque, sapendo cosa consiglieresti per valutare/modellare P(G|X) o P(X|G)?
In effetti quello che descrivi nell'ultimo paragrafo sembra vicino a quello che avevo in mente.Re: Miglior approccio e alternativa alla semplice regressione logistica per modellare la probabilità di appartenenza a un gruppoCiao @ KarlA026 : non ne sono sicuro. Perché è necessario "stimare, per un dato valore X fisso, la probabilità che quel punto appartenga a un dato Gruppo."? cioè, come osservi X? Il valore preciso di X è imprevedibile (forse l'output di qualche processo che ha qualche fonte di variabilità incontrollata) o puoi selezionare X come preferisci? E come deve essere utilizzato nella pratica questo modello, qualunque esso sia? Puoi fornire alcuni dettagli?
Re: Miglior approccio e alternativa alla semplice regressione logistica per modellare la probabilità di appartenenza a un gruppoGrazie @MRB3855 !
Avrei dovuto iniziare con quello. X è una proprietà materiale intrinseca di una materia prima che può essere ottenuta attraverso un'analisi specifica. I gruppi sono diversi fornitori di questa materia prima.
I due scenari corrispondono ai casi:
1) Abbiamo un materiale di cui non è noto il fornitore e dobbiamo valutare il fornitore (gruppo) più probabile in base a X.
2) Un fornitore della materia prima sta fornendo un campione e vogliamo valutare qual è la probabilità che questo materiale provenga effettivamente da quel fornitore o, al contrario, la probabilità che quel materiale provenga da qualche altra parte. Tutto ciò in base al valore di X per quel campione sul database di riferimento mostrato in figura.
Spero che questo ti aiuti!Re: Miglior approccio e alternativa alla semplice regressione logistica per modellare la probabilità di appartenenza a un gruppoCiao @ KarlA026 : Sì, è utile. Grazie!
L'idea, a quanto ho capito, è quella di costruire un modello probabilistico basato sui dati nella figura. Tale modello può quindi essere utilizzato per stimare la probabilità che il campione provenga rispettivamente da ciascuno dei fornitori (in base al valore osservato della proprietà materiale X).
Caso 1 (materiale da fornitore sconosciuto): misuri X. Quindi, una volta ottenuto il valore osservato di X, applica semplicemente il modello che hai già creato (logistica/ANN/qualunque cosa) per prevedere il fornitore più probabile (fornitore con la massima probabilità ).
Caso 2 (materiale da un fornitore noto): se conosci il fornitore e conosci X, la probabilità che questo materiale provenga da quel fornitore (o meno) è irrilevante (sebbene possa essere calcolata, come nel caso 1 sopra). Ecco un esempio. Supponiamo che guardi fuori e stia piovendo. Ma un'ora fa hai controllato le previsioni del tempo e dicevano che la probabilità che piova oggi è del 10%. Tutto quello che si può veramente dire, dal punto di vista della previsione binaria, è che il modello ha sbagliato; da un punto di vista probabilistico, tuttavia, il modello non era sbagliato (non diceva che la probabilità di pioggia era pari allo 0%). Ma in ogni caso piove...la probabilità non c'entra. Quindi, una volta che qualcosa è accaduto o è noto, non può esserci alcuna probabilità ad esso associata. Nel tuo caso, una volta che conosci il fornitore, non può esserci alcuna probabilità ad esso associata... anche se puoi calcolarla (proprio come nel caso 1 sopra) per vedere quanto bene prevede il modello. Quindi, se il modello prevede il fornitore M, ma sai che in realtà proviene dal fornitore F... tutto quello che puoi dire, dal punto di vista della previsione, è che il modello ha sbagliato. Detto questo, hai qualche motivo per diffidare di un fornitore? ad esempio, esiste la possibilità che tu riceva un campione dal fornitore D che in realtà proviene dal fornitore B? Se è così, si tratta di una situazione diversa, con una soluzione semplice (non utilizzare più il fornitore D!).
Re: Miglior approccio e alternativa alla semplice regressione logistica per modellare la probabilità di appartenenza a un gruppo@MRB3855 Molte grazie!
Per rispondere alla tua domanda. Sì, nel nostro scenario presumiamo che alcune materie prime possano provenire da un altro fornitore indicato (o potrebbero essere mescolate con un'altra fonte). Lo scopo qui è ottenere una sorta di certificazione basata su X.
Inoltre, poiché qui ho un solo predittore, l'ANN è un metodo accettabile? Ho sempre pensato che questo fosse solo per problemi multivariati.
Re: Miglior approccio e alternativa alla semplice regressione logistica per modellare la probabilità di appartenenza a un gruppoCiao @ KarlA026 : Ah, capisco. Buona fortuna!
Certamente, se X = -5 ed è "dal fornitore D", allora sarei molto sospettoso in base al grafico sopra riportato. Ma cosa succede se X = -24? Allora forse sono plausibili diversi fornitori con scarsa capacità di discriminarli accuratamente. Penso che X da solo non sia, in generale, un buon discriminatore. Forse ci sono altre proprietà materiali?
Certo, ANN va bene; da un punto di vista puramente statistico, non vedo alcun motivo per cui non sia possibile utilizzare 1 predittore. Tuttavia, come ho detto sopra, la X che stai misurando non è, in generale, adeguata per discriminare tra i gruppi.
