Bester Ansatz und Alternative zur einfachen logistischen Regression zur Modellierung der Wahrscheinlichkeit der Zugehörigkeit zu einer GruppeHallo
Ich brauche ein wenig Hilfe bei der Auswahl des richtigen Ansatzes zur Lösung meines Problems.
Ich habe eine kontinuierliche Variable X, die jeden Wert zwischen [-45 0] annehmen kann.
Ich habe einen Datensatz mit X-Werten für 12 verschiedene Gruppen, siehe unten ihr Histogramm.
Ich versuche zwei Modelle zu bauen:
1) Ein Modell, das mir für einen gegebenen neuen X-Wert die Wahrscheinlichkeit angibt, zu jeder Gruppe zu gehören, und mir die wahrscheinlichste Gruppe liefert.
2) Ein Modell, das mir für einen neuen Eintrag von X, der zu einer bestimmten Gruppe gehören soll, die Wahrscheinlichkeit angibt, dass dieser Eintrag nicht zu dieser Gruppe gehört.
Ich dachte zunächst, die logistische Regression sei der beste Ansatz, zumindest für 1), aber bei 2 bin ich mir nicht sicher. Insbesondere für Gruppen mit einer sehr engen Verteilung wie beispielsweise K.
Dank im Voraus!
Erweiterte statistische ModellierungGrundlegende Datenanalyse und ModellierungPrädiktive Modellierung und maschinelles LernenBetreff: Bester Ansatz und Alternative zur einfachen logistischen Regression zur Modellierung der Wahrscheinlichkeit der Zugehörigkeit zu einer GruppeAbhängig von der Größe des Datensatzes können Sie sich die Entscheidungsbaummethoden ansehen. Insbesondere Bootstrap Forest (in der Literatur „Random Forest“).
Betreff: Bester Ansatz und Alternative zur einfachen logistischen Regression zur Modellierung der Wahrscheinlichkeit der Zugehörigkeit zu einer GruppeDanke, @MikeD_Anderson . Werde mal nachschauen!
Ich habe ungefähr 800 Einträge, aber einige Gruppen haben weniger als 20 Beobachtungen.
Da ich jedoch nur Zugriff auf JMP (nicht Pro) habe, bin ich immer noch an anderen Alternativen mit kontinuierlicher Vorhersageformel interessiert. Würde ANN funktionieren?
Danke
Betreff: Bester Ansatz und Alternative zur einfachen logistischen Regression zur Modellierung der Wahrscheinlichkeit der Zugehörigkeit zu einer GruppeHallo @KarlA026 . Vielleicht möchten Sie auch eine Diskriminanzanalyse versuchen.
https://www.jmp.com/support/help/en/18.0/index.shtml#page/jmp/overview-of-the-discriminant-platform.shtml#
Betreff: Bester Ansatz und Alternative zur einfachen logistischen Regression zur Modellierung der Wahrscheinlichkeit der Zugehörigkeit zu einer GruppeDanke @MRB3855 . Ich erziele mit ANN bessere Ergebnisse. Trotzdem kann ich mir nicht helfen, zu denken, dass ich zu ausgefeilte Tools verwende, wenn ich nur einen (kontinuierlichen) Prädiktor habe.
Zu Ansatz 2) Was passiert, wenn ich ein Verteilungsmodell an eine Gruppe (normal oder andere) anpasse und die Modellformel als Vorhersageformel verwende?
Betreff: Bester Ansatz und Alternative zur einfachen logistischen Regression zur Modellierung der Wahrscheinlichkeit der Zugehörigkeit zu einer GruppeHallo @KarlA026, was meinst du mit „besser“ von ANN als LR?
Und in Bezug auf (2) vertauschen Sie das, was zufällig ist, mit dem, was (1) ist. In (1) ist die Gruppe zufällig. In (2), so wie Sie es formuliert haben, ist X zufällig. Deshalb habe ich vorgeschlagen, dass Sie DA in Betracht ziehen sollten.
Ich bin nicht sicher, was Sie mit „ ein Verteilungsmodell an eine Gruppe (normal oder eine andere) anpassen und die Modellformel als Vorhersageformel verwenden“ meinen. Können Sie das klarstellen?
Betreff: Bester Ansatz und Alternative zur einfachen logistischen Regression zur Modellierung der Wahrscheinlichkeit der Zugehörigkeit zu einer GruppeDanke @MRB3855 und @MikeD_Anderson
Mit ANN meine ich, dass ich bei Verwendung von X zur Vorhersage der Gruppe weniger Fehlklassifizierungsergebnisse habe als mit LDA. Dies liegt daran, dass LDA nur ein ähnliches Modell wie Logit liefert und kein nichtlineares Modell zulässt (siehe Unterschiede bei den Profilern in den beigefügten Bildern in einem Beispiel für Gruppe K).
Wie Sie sehen, liegen die Profiler für das ANN-Modell nahe an der Verteilung der Gruppe K. Mein Vorschlag, eine Verteilung anzupassen, ist möglicherweise nicht relevant. Als ich beispielsweise versuchte, ein Normalverteilungsmodell an die Gruppe K anzupassen, konnte ich die Modellformel als neue Spalte speichern und diese als Indikatorspalte für jeden neuen Eintrag verwenden, um die Wahrscheinlichkeit zu bewerten, dass dieser neue Eintrag zur Gruppe K gehört.
Ich möchte lediglich für einen gegebenen festen X-Wert die Wahrscheinlichkeit schätzen, dass dieser Punkt zu einer gegebenen Gruppe gehört.
Hoffe, das ist jetzt klar!
Danke!
Betreff: Bester Ansatz und Alternative zur einfachen logistischen Regression zur Modellierung der Wahrscheinlichkeit der Zugehörigkeit zu einer Gruppe@MRB3855 , @MikeD_Anderson ,
Irgendwelche Ideen? Danke im Voraus!
Betreff: Bester Ansatz und Alternative zur einfachen logistischen Regression zur Modellierung der Wahrscheinlichkeit der Zugehörigkeit zu einer GruppeHallo @KarlA026 : Leider bin ich mir nicht sicher, ob ich eine gute Lösung habe. Und falls einer meiner obigen Kommentare unbemerkt geblieben ist, werde ich weiter unten näher darauf eingehen.
Oben, ein paar Beiträge weiter oben, sagte ich:
"Und in Bezug auf (2) vertauschen Sie das, was zufällig ist mit dem, was (1) ist. In (1) ist die Gruppe zufällig. In (2), so wie Sie es formuliert haben, ist X zufällig.“
(1) Bei der logistischen Regression oder ANN schätzen Sie die Wahrscheinlichkeit (in einer Gruppe zu sein, wenn ein bestimmter Wert von X gegeben ist), die der Kürze halber als P(G|X) geschrieben werden kann und als „Wahrscheinlichkeit der Gruppenzugehörigkeit bei gegebenem Wert von X“ gelesen werden kann. Die Gruppe ist hier also die Zufallskomponente. X ist fest (d. h. gewählt).Anschließend schätzen Sie für ein gegebenes X die Wahrscheinlichkeit, zu jeder Gruppe zu gehören.
(2) Was Sie „nur schätzen wollen“, ist etwas ganz anderes. So wie Sie das Problem formuliert haben, fragen Sie Prob(X gehört zu einer Gruppe, gegebene Gruppe) = Prob(X|G), also „Wahrscheinlichkeit, dass X zu einer gegebenen Gruppe gehört“. Hier ist X zufällig und die Gruppe festgelegt. Wie hoch ist also die Wahrscheinlichkeit, dass X zu einer gegebenen Gruppe gehört? Hier wählen Sie die Gruppe aus und fragen, wie hoch die Wahrscheinlichkeit ist, dass X zu dieser Gruppe gehört.
P(G|X) ist ganz anders als P(X|G), genau wie Prob(Person A hat die Krankheit, da Person A positiv auf die Krankheit getestet wurde) ganz anders ist als Prob(Person A wurde positiv auf die Krankheit getestet, da Person A die Krankheit hat).
Alles gesagt: Wenn Sie sich Ihr Diagramm oben ansehen, einen x-Wert wählen, sagen wir -30, und eine Linie gerade nach oben ziehen, können Sie sehen, dass der prozentuale Anteil der Fläche unter der Kurve links von -30 für Gruppe M etwa 50 % beträgt. Für Gruppe D sind es etwa 20 % usw. Ist das die Art von Dingen, an die Sie gedacht haben, als Sie sagten: „Passen Sie ein Verteilungsmodell an eine Gruppe (normal oder eine andere) an und verwenden Sie die Modellformel als Vorhersageformel?“
Betreff: Bester Ansatz und Alternative zur einfachen logistischen Regression zur Modellierung der Wahrscheinlichkeit der Zugehörigkeit zu einer Gruppe@MRB3855, danke für die Klarstellung.
Ich glaube, das hatte ich im Sinn, aber die Art und Weise, wie ich es formulierte, war nicht sehr präzise.
Was würden Sie jedenfalls zur Auswertung/Modellierung von P(G|X) oder P(X|G) empfehlen?
Tatsächlich scheint das, was Sie im letzten Absatz beschreiben, dem nahe zu kommen, was ich im Sinn hatte.Betreff: Bester Ansatz und Alternative zur einfachen logistischen Regression zur Modellierung der Wahrscheinlichkeit der Zugehörigkeit zu einer GruppeHallo @KarlA026 : Da bin ich mir nicht sicher. Warum müssen Sie „für einen gegebenen festen X-Wert die Wahrscheinlichkeit schätzen, dass dieser Punkt zu einer gegebenen Gruppe gehört.“? Das heißt, wie beobachten Sie X? Ist der genaue Wert von X unvorhersehbar (vielleicht das Ergebnis eines Prozesses, der eine unkontrollierte Variabilitätsquelle hat) oder können Sie X beliebig auswählen? Und wie soll dieses Modell, was auch immer das Modell ist, in der Praxis verwendet werden? Können Sie einige Einzelheiten liefern?
Betreff: Bester Ansatz und Alternative zur einfachen logistischen Regression zur Modellierung der Wahrscheinlichkeit der Zugehörigkeit zu einer GruppeDanke @MRB3855 !
Damit hätte ich anfangen sollen. X ist eine intrinsische Materialeigenschaft eines Rohstoffs, die durch eine spezielle Analyse ermittelt werden kann. Die Gruppen sind unterschiedliche Lieferanten dieses Rohstoffs.
Die beiden Szenarien entsprechen den Fällen:
1) Wir haben ein Material, dessen Lieferant unbekannt ist, und müssen den wahrscheinlichsten Lieferanten (die wahrscheinlichste Lieferantengruppe) auf der Grundlage von X ermitteln.
2) Ein Lieferant des Rohmaterials stellt eine Probe zur Verfügung und wir möchten ermitteln, wie hoch die Wahrscheinlichkeit ist, dass dieses Material tatsächlich von diesem Lieferanten stammt oder umgekehrt, wie hoch die Wahrscheinlichkeit ist, dass das Material von woanders herkommt. All dies basiert auf dem Wert von X für diese Probe in der in der Abbildung gezeigten Referenzdatenbank.
Hoffe das hilft!Betreff: Bester Ansatz und Alternative zur einfachen logistischen Regression zur Modellierung der Wahrscheinlichkeit der Zugehörigkeit zu einer GruppeHallo @KarlA026 : Ja, das ist hilfreich. Danke!
Die Idee besteht meines Wissens darin, ein Wahrscheinlichkeitsmodell zu erstellen, das auf den Daten in der Abbildung basiert. Dieses Modell kann dann verwendet werden, um die Wahrscheinlichkeit abzuschätzen, mit der diese Probe von den jeweiligen Lieferanten stammt (basierend auf dem beobachteten Wert der Materialeigenschaft X).
Fall 1 (Material von unbekanntem Lieferanten): Sie messen X. Sobald Sie den beobachteten Wert von X haben, wenden Sie ihn einfach auf das bereits erstellte Modell (Logistik/KNN/was auch immer) an, um den wahrscheinlichsten Lieferanten (Lieferant mit der höchsten Wahrscheinlichkeit) vorherzusagen.
Fall 2 (Material von bekanntem Lieferanten): Wenn Sie den Lieferanten kennen und X kennen, ist die Wahrscheinlichkeit, dass dieses Material von diesem Lieferanten stammt (oder nicht), irrelevant (sie kann jedoch berechnet werden, genau wie in Fall 1 oben). Hier ist ein Beispiel. Nehmen wir an, Sie schauen nach draußen und es regnet. Aber vor einer Stunde haben Sie die Wettervorhersage überprüft und dort stand, dass die Regenwahrscheinlichkeit heute 10 % beträgt. Aus der Sicht einer binären Vorhersage können Sie eigentlich nur sagen, dass das Modell falsch lag; aus der Sicht der Wahrscheinlichkeitsrechnung lag das Modell jedoch nicht falsch (es hat nicht gesagt, dass die Regenwahrscheinlichkeit 0 % beträgt). Aber so oder so regnet es... die Wahrscheinlichkeit spielt dabei keine Rolle. Wenn also etwas einmal passiert ist oder bekannt ist, kann keine Wahrscheinlichkeit damit verbunden sein. In Ihrem Fall kann, wenn Sie den Lieferanten einmal kennen, keine Wahrscheinlichkeit damit verbunden sein... Sie können sie jedoch berechnen (genau wie in Fall 1 oben), um zu sehen, wie gut das Modell vorhersagt. Wenn das Modell also Lieferant M vorhersagt, Sie aber wissen, dass es eigentlich von Lieferant F stammt, können Sie aus Sicht der Vorhersage nur sagen, dass das Modell falsch lag. Haben Sie also einen Grund, einem Lieferanten zu misstrauen? Besteht beispielsweise die Möglichkeit, dass Sie eine Probe von Lieferant D erhalten, die eigentlich von Lieferant B stammt? Wenn ja, ist das eine andere Situation mit einer einfachen Lösung (verwenden Sie Lieferant D nicht mehr!).
Betreff: Bester Ansatz und Alternative zur einfachen logistischen Regression zur Modellierung der Wahrscheinlichkeit der Zugehörigkeit zu einer Gruppe@MRB3855 Vielen Dank!
Um Ihre Frage zu beantworten. Ja, in unserem Szenario gehen wir davon aus, dass einige Rohstoffe von einem anderen als dem angegebenen Lieferanten stammen (oder mit einer anderen Quelle gemischt sein könnten). Das Ziel besteht hier darin, eine Art Zertifizierung basierend auf X zu erhalten.
Da ich hier nur einen Prädiktor habe, ist ANN eine akzeptable Methode? Ich dachte immer, dies sei nur für multivariate Probleme.
Betreff: Bester Ansatz und Alternative zur einfachen logistischen Regression zur Modellierung der Wahrscheinlichkeit der Zugehörigkeit zu einer GruppeHallo @KarlA026 : Ah, ich verstehe. Viel Glück!
Wenn X = -5 und es „von Lieferant D“ ist, wäre ich aufgrund Ihrer obigen Darstellung sicherlich sehr misstrauisch. Aber was ist, wenn X = -24? Dann sind vielleicht mehrere Lieferanten plausibel, die kaum genau unterschieden werden können. Ich denke, X allein ist im Allgemeinen kein gutes Unterscheidungsmerkmal. Vielleicht gibt es andere Materialeigenschaften?
Sicher, ANN ist in Ordnung; aus rein statistischer Sicht sehe ich keinen Grund, warum Sie nicht 1 Prädiktor verwenden können. Allerdings ist, wie ich oben sage, das von Ihnen gemessene X im Allgemeinen nicht ausreichend, um zwischen Gruppen zu unterscheiden.
