Ho avuto conversazioni con Peter Bartell e mi ha suggerito di iniziare una discussione su questo concetto.
Spero che alcune delle persone molto intelligenti là fuori avrebbero visto questo risultato se fosse stato pubblicato. Sto preparando un breve corso sulla regressione logistica. Come matematico posso facilmente visualizzare il concetto di minimizzazione della distanza tra l'intervallo di una matrice di progetto e il vettore di risposta (approccio dello spazio vettoriale), che viene utilizzato in OLS. Nella regressione logistica cercavo una nozione analoga di distanza tra un vettore di probabilità e una risposta consistente nel dire Vero e Falso ... senza codificare le risposte come 0 e 1. Ho avuto un grande momento ahaaa e ho trovato un modo per riaffermare il problema. Invece di massimizzare una probabilità, potrei minimizzare una distanza. Ma lo "span" della matrice del design è ora uno spazio di funzioni di massa probabilistiche, ma non uno spazio vettoriale, e la risposta è ancora un altro pmf, e questo spazio ha una metrica naturale su di esso. È interessante notare che il pmf che riduce al minimo la distanza tra l'intervallo della matrice di progettazione risulta essere lo stesso del pmf MLE. Ho gestito la proposta da alcuni eccellenti matematici e la matematica sembra solida e abbastanza generalizzabile. Ma non erano statisti e non sapevano dire se il risultato fosse nuovo. Da parte mia, ho cercato e cercato la leteratura e non ho visto glm / MLE unificato in questo modo.
Quando poniamo il glm / MLE in uno spazio metrico, ora abbiamo la struttura aggiuntiva che viene avanti per il viaggio. Vale a dire gli insiemi aperti e chiusi così come la nozione di convergenza. In particolare, ora possiamo vedere esattamente perché, nella regressione logistica, certe risposte producono una soluzione con coefficienti instabili. Il problema è che l'estensione della matrice di progettazione è un insieme aperto in questo spazio metrico e la risposta è un punto sul bordo di questo set. Quindi, anche se esiste una sequenza di pmf che convergono alla risposta pmf, non possono raggiungerla.
Ho allegato un breve documento espositivo e sarei felice di ricevere qualsiasi feedback.
