Ich hatte Gespräche mit Peter Bartell und er schlug vor, eine Diskussion über dieses Konzept zu beginnen.
Ich hoffe, einige der klugen Leute dort draußen hätten dieses Ergebnis gesehen, wenn es veröffentlicht wurde. Ich bereite einen kurzen Kurs zur logistischen Regression vor. Als Mathematiker kann ich leicht das Konzept der Minimierung des Abstandes zwischen der Spanne einer Entwurfsmatrix und dem Antwortvektor (Vektorraum-Ansatz) veranschaulichen, der in OLS verwendet wird. Bei der logistischen Regression suchte ich nach einem analogen Begriff der Entfernung zwischen einem Vektor von Wahrscheinlichkeiten und einer Antwort, die aus Wahr und Falsch besteht, ohne die Antworten als 0 und 1 zu codieren. Ich hatte einen großartigen ahaaa-Moment und fand einen Weg, um das Problem zu lösen. Anstatt die Wahrscheinlichkeit zu maximieren, könnte ich die Entfernung minimieren. Aber die "Spanne" der Design-Matrix ist jetzt ein Raum mit Wahrscheinlichkeits-Massenfunktionen, nicht jedoch ein Vektorraum, und die Antwort ist ein weiterer pmf, und dieser Raum hat eine natürliche Metrik. Interessanterweise stellt sich heraus, dass die pmf, die den Abstand zwischen den Abschnitten der Designmatrix minimiert, der MLE pmf entspricht. Ich habe den Vorschlag von einigen hervorragenden Mathematikern ausgeführt und die Mathematik scheint solide und ziemlich verallgemeinerbar. Sie waren aber keine Statistiker und konnten nicht sagen, ob das Ergebnis neu ist. Ich für meinen Teil habe die Zeitschrift gesucht und durchsucht und habe glm / MLE auf diese Weise nicht vereint gesehen.
Wenn wir den glm / MLE in einem metrischen Raum einstellen, haben wir jetzt die zusätzliche Struktur, die für die Fahrt kommt. Nämlich offene und geschlossene Mengen sowie der Begriff der Konvergenz. Insbesondere können wir jetzt genau sehen, warum bestimmte Reaktionen bei logistischer Regression eine Lösung mit instabilen Koeffizienten ergeben. Das Problem ist, dass die Spanne der Designmatrix eine offene Menge in diesem Metrikraum ist und die Antwort ein Punkt am Rand dieser Menge ist. Obwohl es eine Folge von PMFs gibt, die mit der Antwort PMF konvergiert, können sie sie nicht erreichen.
Ich habe ein kurzes Expositionspapier beigefügt und würde mich über Feedback freuen.
