Betreff: Breite Konfidenzintervalle im Profiler für binomiale verallgemeinerte RegressionenWillkommen in der Community. Ich bin mir nicht sicher, ob ich Ihnen in diesem Forum alle Ratschläge geben kann, die Sie zum Modellieren benötigen. Welche Version von JMP verwendest du? Es ist auch sehr schwierig, Ratschläge mit so wenig Kontext zu geben. Was ist die Antwort? Wie sicher sind Sie bei der Messung der Reaktion? Wie hast du den Datensatz bekommen?
Es gibt eine Reihe von Statistiken, die zur Bewertung der Überanpassung verwendet werden können (vergleichen Sie z. B. den RSquare mit dem RSquare Adj. Wenn dieses Delta zunimmt, ist dies ein Beweis dafür, dass Sie unwichtige Terme im Modell haben, negative RSQuadrate von a Validierungsdatensatz ). Wenn Sie sich das von Ihnen gesendete pdf ansehen (es ist viel einfacher für uns, zu sehen, was Sie haben, wenn Sie die Datentabelle anhängen), ist dies schwierig zu beurteilen. Der RSquare gibt an, dass Ihr Modell <30 % der Variation in den Daten erklärt. Gen 4 scheint das einzige interessante Gen zu sein (relativ signifikanter p-Wert). Standardfehler erscheinen groß.
Vielleicht finden Sie diese Links hilfreich
https://www.jmp.com/support/help/en/17.0/?os=mac&source=application#page/jmp/estimation-method-options.shtml
https://www.jmp.com/support/help/en/17.1/index.shtml#page/jmp/example-of-the-model-comparison-table-in-generalized-regression.shtml#
Betreff: Breite Konfidenzintervalle im Profiler für binomiale verallgemeinerte RegressionenSie können eine Form der Kreuzvalidierung verwenden, um Verzerrungen und Abweichungen von einer Unter- oder Überanpassung der Daten zu bewerten.
Binomiale oder dichotome Antworten weisen im Allgemeinen einen höheren Grad an Unsicherheit in den Vorhersagen auf als quantitative Antworten.
Die Frage, was erwartet oder akzeptiert wird, ist subjektiv. Es gibt keine externen Regeln oder Anleitungen.
Große Konfidenzintervalle im Profiler für binomiale verallgemeinerte RegressionenHallo zusammen,
Ich arbeite an prädiktiven Modellen und würde mich über Feedback dazu freuen, wie gut mein Modell passt, da ich neu in der Modellierung bin und bei der Modellauswahl keine Fehler machen möchte. Ich habe eine binomiale kategorische Antwort und kontinuierliche Prädiktoren (n=54, p=15). Ich habe ein bestraftes Modell, Elastic Net, gewählt und mein Modell scheint ganz okay zu passen (RSquare = .28, ROC = .7888, PDF-Datei angehängt).
Ich bin besorgt über die großen Konfidenzintervalle, die in den Profiler-Diagrammen angezeigt werden, und möchte sicherstellen, dass mein Modell nicht überangepasst ist. Davon abgesehen weist das Beispiel einer binomialen allgemeinen Regression in der JMP-Dokumentation ebenfalls große Konfidenzintervalle auf, daher frage ich mich, was bei einer binomialen allgemeinen Regression akzeptabel/erwartet ist ( https://www.jmp.com/support/help/en/17.1/index.shtml#page/jmp/example-of-binomial-generalized-regression.shtml# ).
Können Sie mir mitteilen, ob mein Modell Anzeichen von Überanpassung zeigt oder ob es sicher erscheint, fortzufahren? Gibt es andere Kennzahlen, die ich bei der Bewertung meiner Anpassung berücksichtigen sollte?
Vielen Dank im Voraus, dass Sie sich das ansehen!
Datenexploration und -visualisierungBetreff: Breite Konfidenzintervalle im Profiler für binomiale verallgemeinerte RegressionenHallo Mark,
Danke für die Antwort!! Ich verwende AICc als Validierung, was meiner Meinung nach angesichts meiner kleinen Stichprobengröße von n = 54 die beste Option war. Würden Sie stattdessen die Verwendung von K-Fold oder Leave-One-Out empfehlen?
Was die Ungewissheit angeht: Eines meiner Ziele ist es, aufzeigen zu können, welche Gene eine positive Korrelation mit der Reaktion haben (dh die Wahrscheinlichkeit einer Reaktion ist höher, wenn die Genzahlen höher sind). Wäre mir das bei diesen großen Konfidenzintervallen nicht möglich? Ist meine Entscheidung, bestrafte Regressionsmodelle zu verwenden, der beste Weg, oder gibt es eine andere Methode, die Sie empfehlen würden, die bei kleinen Stichprobenumfängen mehr Sicherheit bieten könnte? Ich habe mir viele Methoden angesehen, und es scheint, dass ein bestraftes Modell für Fälle bevorzugt wird, in denen die Anzahl der Prädiktoren größer als n/10 ist (gemäß Dr. Frank Harrels Buch über verallgemeinerte Regressionen und anderen Quellen). Aber wenn es nicht gut passt, sollte ich andere Methoden in Betracht ziehen. Außerdem habe ich gerade meine Datentabelle an meine Frage angehängt.
Ich bin mir nicht sicher, was der Umfang dieses Forums ist, also entschuldige ich mich, wenn meine Fragen außerhalb davon liegen! Keine Sorge, wenn Sie sie nicht beantworten können 
Danke!
Betreff: Breite Konfidenzintervalle im Profiler für binomiale verallgemeinerte RegressionenHallo Statmann,
Danke für Ihre Antwort!! Ich habe die Datentabelle an meine ursprüngliche Frage angehängt. Ich muss ein gewisses Maß an Vertraulichkeit wahren, aber ich kann sagen, dass die Antwort eine medizinische Diagnose ist und nach medizinischen Richtlinien bestimmt wird. Ich bin mir sicher, dass die Diagnosen nach diesen Richtlinien richtig sind. Die Prädiktoren werden aus Deep-Sequencing-Daten abgeleitet, die wir generiert haben. Wir haben mit 6.000 gemessenen Antworten begonnen, und ich habe eine Datenreduktion durchgeführt (blind für diese Proben); Nachdem ich so weit wie möglich reduziert hatte, landete ich bei 15 Prädiktoren.
Es ist möglich, dass der JMP-Prädiktorfinder bessere Prädiktoren hervorheben würde als die 15, die ich letztendlich erhalten habe, aber die Literatur scheint sich in Richtung verblindeter Datenreduktionsmethoden für klinische Zwecke zu bewegen. Ich stimme zu, dass es so aussieht, als wäre Gen 4 der einzige signifikante Prädiktor für sich aus dieser Charge.
Vielen Dank für den Tipp zum Betrachten von Overfitting-Indikationen im R^2 adj. Wert. Dieser Wert scheint nicht in meiner Ausgabe enthalten zu sein. Weißt du, dass ich es produzieren kann? Danke!!
Betreff: Breite Konfidenzintervalle im Profiler für binomiale verallgemeinerte RegressionenBei AICc geht es um die Modellauswahl unter den Kandidaten. Es geht nicht um die Validierung. JMP bietet verschiedene Methoden zur Kreuzvalidierung, je nachdem, ob Sie JMP oder JMP Pro verwenden. K-fach XV ist im Allgemeinen eine gute Wahl für kleine Datensätze. Vergleichen Sie AICc zwischen den Trainings- und Validierungs-Holdout-Sets. Sie sollten nicht sehr unterschiedlich sein.
Betreff: Breite Konfidenzintervalle im Profiler für binomiale verallgemeinerte RegressionenIch verstehe die Sensibilität der Daten, aber die Antwort fehlt in der Tabelle und ist daher unmöglich zu modellieren. Alles, was ich tun kann, ist multivariat für die Gene (und es gibt einige Ausreißer).
Tut mir leid, ich konnte nicht widerstehen (sollte nicht antagonistisch sein, also gib mir bitte einen Gefallen):
Bei diesem Kommentar musste ich lachen. "T Die Reaktion ist eine medizinische Diagnose und wird nach medizinischen Richtlinien bestimmt. Ich bin mir sicher, dass die Diagnosen nach diesen Richtlinien korrekt sind." Nicht lachen wie in haha, sondern lachen in Bezug auf basierend auf Richtlinien . Richtlinien sind per Definition nicht endgültig. Ich habe eine seltene Autoimmunerkrankung, die von mehreren Ärzten mehrfach falsch diagnostiziert wurde. mit medizinischen Leitlinien (klinischen Leitlinien) ...
R-Quadrate:
https://www.jmp.com/support/help/en/17.0/?os=mac&source=application#page/jmp/statistical-details-for-the-summary-of-fit-report.shtml
