Anpassen gekürzter Daten an eine kontinuierliche VerteilungAngenommen, ich habe eine Stichprobe von Daten, die meiner Meinung nach einer Cauchy-Verteilung entnommen sind. Nehmen wir an, sie ist symmetrisch um 0.
Nehmen wir jedoch an, dass meine Beobachtungen auf den Bereich (0,2) beschränkt sind. Ich sehe also nur eine relativ eingeschränkte Datenansicht. Ich habe einige Cauchy-Zufallsvariablen (0,2) generiert und die Datentabelle so gekürzt, dass nur die Werte zwischen 0 und 2 angezeigt werden:
Gibt es eine Möglichkeit, diese Daten an einen Cauchy-Wert (0, Gamma) anzupassen, um eine optimale Schätzung von Gamma zu erhalten? Allgemeiner: Unterstützt JMP die Anpassung gekürzter Daten?
Erweiterte statistische ModellierungBetreff: Anpassen gekürzter Daten an eine kontinuierliche VerteilungIch bin mir nicht sicher, ob Sie das meinen, aber ich glaube, Sie sprechen von zensierten Daten. JMP muss wissen, wie viele Datenpunkte abgeschnitten wurden, um eine bessere Schätzung vornehmen zu können. Indem Sie die Spalteneigenschaft „Erkennungsgrenzen“ hinzufügen, können Sie JMP mitteilen, dass diese Daten abgeschnitten wurden:
Wenn Sie dann Ihre Verteilung anpassen, können die Werte anhand dieser Informationen besser geschätzt werden:
Das Problem besteht derzeit darin, dass dies nicht zu funktionieren scheint, wenn Sie eine Distribution vorab auswählen. Sie müssen eine neue Distribution in die Plattform einbauen.
Betreff: Anpassen gekürzter Daten an eine kontinuierliche VerteilungDanke für die Antwort, aber meine Daten werden nicht zensiert. In Ihrem Beispiel haben Sie eine bekannte Anzahl von Beobachtungen, die größer oder gleich einem bestimmten Wert sind (in Ihrem Fall 1900). Das ist nicht meine Situation.
In meinem Beispiel weiß ich nicht , wie viele über 2 liegen. Ich habe nur Beobachtungen, die zwischen 0 und 2 liegen, und weiß nicht, wie viele Beobachtungen außerhalb dieses Bereichs liegen (weil mein Datenerfassungsmechanismus sie nicht erfassen kann oder sie nicht einmal kennt). Ich habe also keine Menge zensierter Beobachtungen.
Wenn Sie meinen Datengenerierungsmechanismus betrachten, sollte dies klarer sein. Angenommen, ich habe einen Sprengsatz, der Fragmente in alle Richtungen mit gleichmäßigem Winkel aussendet. Die Daten zum Aufprallort wurden von einem flachen Panel in der xy-Ebene gesammelt, wobei x lateral und y vertikal ist. Ich habe keine Ahnung, wie viele Fragmente die Grenzen meines Datenerfassungspanels überschritten haben. Aber es ist nicht unangemessen anzunehmen, dass die Verteilung von x Cauchy ist. Ich versuche, die Parameter dieser Cauchy-Verteilung aus meinem begrenzten Beobachtungsbereich abzuschätzen. Mit dieser Schätzung könnte ich die Verteilung der Fragmente über eine größere Oberfläche charakterisieren.
Betreff: Anpassen gekürzter Daten an eine kontinuierliche VerteilungHallo @GregChesterton : Das ist vielleicht nicht sehr zufriedenstellend, aber es könnte eine Untersuchung wert sein. Vorausgesetzt, die Verteilung ist Cauchy, wie Sie es beschreiben, kennen Sie die Funktionsform der pdf = f(x| 0, Gamma). Sie könnten also die nichtlineare Plattform verwenden, um Gamma abzuschätzen?
Betreff: Anpassen gekürzter Daten an eine kontinuierliche VerteilungBeim nächsten Versuch werden die zensierten Datenpunkte von 1 bis 200 hinzugefügt und die Abweichungen von der Normalverteilung zur ECDF zusammengefasst.
Der Minimalwert wird am Ende mit der Minimaleinstellung angezeigt.
simulierte Daten: Norm(0,10)
fehlen: 163 Datenpunkte über 10
Skriptschätzung:
Mittelwert: 0,015
Std: 9.166
Vermisst: 133
Jetzt müssen Sie es an Ihre Bedürfnisse (Ihre eigene Distribution) anpassen.
Führen Sie einfach das Tabellenskript „search n_mising“ in der Datei Cut_Normal.jmp oder im JSL selbst aus.
Ich habe die Originalsimulation als Cut_Normal_original.jmp hinzugefügt.
Das ist die Idee dahinter:
Ich passe zunächst eine Normalverteilung mit einem zusätzlichen zensierten Datenpunkt an und fasse alle Unterschiede zur ECDF zusammen:
Dann iteriere ich durch alle weiteren zensierten Datenpunkte und passe die Normalverteilung erneut an, bis ich zum letzten komme:
Dies ist die Summe der absoluten Differenzen der zusätzlichen Punkte:
Der unterste Punkt gibt mir nun eine Einschätzung, wie viele Punkte noch fehlen:
Dadurch erhalte ich die „beste“ Anpassung für die Verteilung:
Ich hoffe das hilft.
Betreff: Anpassen gekürzter Daten an eine kontinuierliche VerteilungHallo @Mauro_Gerber : Ihre vorgeschlagene Methode ist sehr interessant. Können Sie bitte nähere Einzelheiten dazu geben?
Und wenn ich Ihr Skript ausführe, erhalte ich die folgende Fehlermeldung. Der Datensatz für das erste Diagramm wird generiert, aber der zweite Datensatz hat 200 Zeilen und ist voller fehlender Werte.
Betreff: Anpassen gekürzter Daten an eine kontinuierliche VerteilungHallo @MRB3855
Das Skript innerhalb von Cut_Normal sollte funktionieren, aber JMP könnte Probleme mit der Sprache oder den PES-Sets haben.
Ich arbeite mit der englischen JMP-Version 18.0.1 und habe möglicherweise andere Voreinstellungen (z. B. habe ich meine Diagramme immer gestapelt).
Ich habe nicht nach der Anzeigebox mit einem festen Wert gesucht, da die Zensurgrenze im Titel steht. Vielleicht können Sie nach dem Titel suchen, wenn Sie wissen, wie JMP ihn im Titel analysiert:
Daher können diese beiden Zahlen in Ihrem JMP unterschiedlich sein:
Wenn ich meine internen Statistikkurse unterrichte, versuche ich hervorzuheben, wie wichtig es ist, dass die Verteilungskurve (PDF) zu den Daten passt, d. h. zu einem Histogramm.
Dasselbe können Sie über die ECDF- und die CDF-Funktion der Verteilung sagen und darüber, wie stark sie voneinander abweichen.
@GregChesterton hat nur einen Teil der Kurve, also passe ich eine unterschiedliche Anzahl fehlender Werte an und vergleiche, wie gut die Schätzung zu den vorhandenen Daten passt.
Dies ist die beste Anpassung (kleinste Summenabweichung) an den normalen Datensatz:
--> 
In JMP können Sie sich unter der Anpassung auch das PP-Diagramm ansehen, das den direkten Vergleich darstellt.
Ich iteriere durch mögliche fehlende Werte und schreibe die Summe der Differenz zwischen ECDF und der angepassten CDF der Wahrscheinlichkeitsfunktion auf.
Das ist „rohe Gewalt“ und nicht sehr elegant, aber das Ergebnis ist OK.
Eine weitere Möglichkeit besteht darin, einen einfachen numerischen Optimierer mit dem ECDF-Ende und der Funktion mit der Summendifferenz als Ziel zu erstellen und diese dann zu minimieren.
Betreff: Anpassen gekürzter Daten an eine kontinuierliche VerteilungWenn Sie die nichtlineare Plattform verwenden möchten, um die Daten mit der Maximum-Likelihood-Methode anzupassen, benötigen Sie die folgenden Teile.
Zunächst die Dichtefunktion Ihres gekürzten Cauchy(0, Gamma).
Siehe die PDF-Formel auf dieser Seite https://en.wikipedia.org/wiki/Truncated_distribution
In Ihrem Fall ist b = 2 und a = 0.
Im Zähler ist es in Ihrem Fall die Dichtefunktion Cauch(0, gamma). Sie finden sie im JMP-Skriptindex:
Im Nenner ist die F-Funktion in Ihrem Fall die Cauchy(0, Gamma)-Verteilung. Suchen Sie sie im Index:
Jetzt müssen Sie die Informationen zusammenfügen, um eine Formelspalte für die negative Log-Likelihood-Verlustfunktion zu erstellen.
Die Formel sieht ungefähr wie folgt aus. (Nehmen wir an, Ihre Datenspalte heißt „Y“.)
Es handelt sich um eine JSL-Funktion „Parameter“. Das erste Argument ist eine Liste von Parametern, die wir anpassen müssen. In diesem Fall gibt es hier nur einen: Gamma. Und der Wert 1 ist ein Anfangswert. Er sollte so nah wie möglich an der endgültigen Schätzung liegen. Verlassen Sie sich also auf Ihr Urteilsvermögen. Oder Sie können es durch Ausprobieren herausfinden. Machen Sie sich keine Sorgen, wenn es anfangs nicht nahe genug ist. Die nichtlineare Plattform ermöglicht es Ihnen, nach dem Start verschiedene Werte auszuprobieren.
Das zweite Argument des Funktionsaufrufs „Parameter“ ist diese negative Loglikelihood-Funktion. Sehen Sie sich diese an und finden Sie heraus, wie sie aus der Dichtefunktion Ihrer Trunkierungs-Cauchy hervorgeht.
Nennen Sie die neue Spalte „Verlust“. Und konfigurieren Sie den nichtlinearen Startdialog. Klicken Sie auf „OK“.
Nach dem Start können Sie auf „Los“ klicken oder den Wert von „gamma“ ändern und dann auf „Los“ klicken. Wenn dies fehlschlägt, können Sie „gamma“ ändern und erneut auf „Los“ klicken.
Hier sind die Links zu einigen relevanten Dokumenten:
https://www.jmp.com/support/help/en/18.0/index.shtml#page/jmp/create-formulas-in-jmp.shtml#ww96570
https://www.jmp.com/support/help/en/18.0/index.shtml#page/jmp/nonlinear-regression.shtml#
https://www.jmp.com/support/help/en/18.0/index.shtml#page/jmp/create-formula-columns-for-multiple-columns.shtml
https://www.jmp.com/support/help/en/18.0/index.shtml#page/jmp/create-a-formula-column.shtml
