Regression mit absoulten ResiduenIch habe jährliche Niederschlags-Extremdaten (Daten in Häufigkeit, 0 bis 15) von 1989 bis 2019. Meine Hypothese ist, dass die Klimaextreme (Niederschläge) in den letzten 16 Jahren (2004 bis 2019) zugenommen haben als in den letzten 15 Jahren (1980 bis 2003).
Ich habe mit diesen Daten eine Regression durchgeführt und meine Ergebnisse zeigen, dass die Regressionslinie nach unten verläuft. Dann habe ich eine Regression unter Verwendung der absoluten Residuen durchgeführt und diesmal zeigen die Ergebnisse, dass die Regressionslinie der absoluten Residuen nach oben zeigt.
Mache ich es richtig
Warum zwei Arten von Ergebnissen?
Welcher ist richtig?
Betreff: Regression mit absoulten ResiduenIch bin nicht sicher, ob die lineare Regression die richtige Methode ist, um zwei Zeiträume zu vergleichen. Für die Regression muss ein X- und Y-Wert wie Niederschlag gegen Jahr für einen Trend abgeglichen werden. Was ist Ihre Antwort und was ist Ihr Regressor?
Wie haben Sie beide Regressionen in JMP durchgeführt? Wenn Sie die von Ihnen verwendeten Methoden kennen, können wir Ihnen bei der richtigen Antwort helfen.
Wenn Sie Zählungen als Antwort verwenden, ist eine loglineare Poisson-Regression möglicherweise zufriedenstellender. Aber ich sehe immer noch nicht, wie Sie die beiden Zeiträume verglichen haben. Nur durch Vergleichen der Parameterschätzungen? In diesem Fall gibt es umfassendere Methoden für einen solchen Fall. Angenommen, der Trend ist über die Zeit linear, dann haben Sie möglicherweise einen linearen Prädiktor wie Niederschlag = Konstante + Beta (1) * Jahr + Beta (Periode) + Beta (2) * Periode * Jahr. Auf diese Weise können Sie testen, ob zwischen den beiden Perioden ein durchschnittlicher Unterschied besteht und ob der Trend zwischen den beiden Perioden unterschiedlich ist.
Betreff: Regression mit absoulten ResiduenHör auf Mark. Ich habe noch einige andere Kommentare:
1. Sie regressieren was? Extreme Niederschläge vs. Zeit? Oder fehlen in Ihrer Erklärung andere Variablen?
2. Residuen (tatsächlich vorhergesagt) sind das Delta zwischen dem Vorhersagemodell und den tatsächlichen Ergebnissen. Wenn dies mit der Zeit zunimmt, weist das Modell möglicherweise ein Problem mit ungleicher Varianz auf (es fällt mit zunehmender Zeit auseinander). Sie sind sich nicht sicher, warum Sie den absoluten Wert der Residuen (OK, Größe) nehmen würden, aber warum interessiert Sie das Vorzeichen nicht? NID (0, Varianz) Grundannahme der quantitativen Analyse.
3. Die Realisierung des Regressionsmodells hängt davon ab, welches Y Sie anpassen, welche Begriffe im Modell enthalten sind und wie Sie Ihre Daten erhalten haben.
Betreff: Regression mit absoulten ResiduenHallo Mark,
Vielen Dank. Ich habe eine Excel-Datei hinzugefügt, die Ihnen zeigt, wie ich die Daten analysiert habe. Ihre Antwort wird sehr geschätzt.
Betreff: Regression mit absoulten ResiduenVielen Dank. Ich habe eine Datei mit Daten und Ausgabedateien angehängt.
Dies erklärt Ihnen, wie die Daten aussehen, und ich bin sicher, dass Sie mir die richtige Analyse vorschlagen können.
Betreff: Regression mit absoulten Residuen- Sie vergleichen die Anzahl der extremen Niederschläge in zwei Zeiträumen. Der Permutationstest ist ein guter Weg, um den beobachteten Unterschied zu berücksichtigen.
- Ein Permutationstest oder eine ANOVA sollte Ihre Frage beantworten. Andere nicht parametrische Tests sind gültig, wenn Sie Bedenken hinsichtlich eines Unterschieds zwischen den beiden Zeiträumen haben.
- Die einfache lineare Regression testet, ob die mittlere Antwort vom Prädiktorjahr abhängt.
- Der Trend ist nicht signifikant, weil die ersichtlich Eine Zunahme der Vorkommen im Laufe der Zeit ist nicht ungewöhnlich, wenn man davon ausgeht, dass es keinen Trend gibt.
- Die Regression der abs (Residuen) gegenüber den ursprünglichen Zählungen ist eine völlig andere Analyse. Sie können die beiden Regressionen nicht vergleichen.
- Die zweite Regression zeigt an, dass Ihre Antwort möglicherweise homoskedastisch ist. Es gibt keinen mittleren Trend, es gibt einen Variationstrend.
- Ja, der Permutationstest eignet sich für einen einfachen Vergleich der beiden Perioden.
- Die Aussage, die auf dem einseitigen Permutationstest basiert (die Anzahl ist in der zweiten Periode höher), ist einfach, dass geschätzt wird, dass 15% der Proben einen Unterschied hatten, der mindestens so groß war wie der beobachtete Unterschied.
- Woher kommt die operative Definition für das Zählen? Dies ist das Auftreten von mehr als 40 mm Regen an 4 aufeinander folgenden Tagen.
Ich habe meinen eigenen Permutationstest mit den von Ihnen angegebenen Daten durchgeführt. Ich bekomme immer ein anderes Ergebnis. Hier ist einer von ihnen:
Mein einseitiger p-Wert wäre also 1185/2501 = 0,4738. Das heißt, es wird geschätzt, dass 47% der Proben einen Unterschied erzeugen, der mindestens so groß ist wie der beobachtete Unterschied, vorausgesetzt, die Nullhypothese ist kein Unterschied (Basis für Permutationen).
Betreff: Regression mit absoulten ResiduenAußerdem wird von einer linearen Regression ausgegangen, dass die Antwort unbegrenzt ist und zwischen negativer Unendlichkeit und positiver Unendlichkeit variieren kann. Die Anzahl ist durch Null begrenzt. Die von ihm durchgeführte Regression ist nicht das beste Modell.
Betreff: Regression mit absoulten ResiduenWarum hängen Sie die JMP-Datei nicht an?Betreff: Regression mit absoulten ResiduenHallo Mark,
Vielen Dank für Ihre freundliche Unterstützung und Beratung. Die von Ihnen angegebenen Informationen sind sehr nützlich. Ich habe einige Analysen durchgeführt und nach zusätzlichen Ratschlägen gesucht. Erfreut siehe die angehängte Datei. Ich würde mich über Ihren Rat freuen. Grüße
Betreff: Regression mit absoulten ResiduenStatman,
Ich habe die JMP-Datei angehängt. In meinem vorherigen Anhang habe ich eine Datei mit einigen Analysen und Fragen als Antwort auf Marks Rat hinzugefügt.
Vielen Dank
Betreff: Regression mit absoulten ResiduenIhre Restanalyse zeigt, dass das log Y besser für die Regression geeignet ist, da die Varianz jetzt konstant ist. Kennen Sie die integrierte Box-Cox-Transformation? Dieses automatisierte Verfahren ist eine Verallgemeinerung der Ad-hoc-Leistungstransformationen. Das Spektrum der Parameterwerte enthält das Protokoll. Ein Box-Cox-Transformationsparameter gleich Null ist derselbe wie das Protokoll. Wenn ich dasselbe sage, liefert diese Transformation nicht den gleichen Wert wie das Protokoll oder die Leistung, aber sie können als solche interpretiert werden. Ein Parameterwert von 2 wird also als Quadrat von Y und ein Wert von -1 als Kehrwert interpretiert.
Achtung: Ihre Formulierung (Denken) ist etwas gefährlich. Ich würde nicht sagen, dass es "keine Beweise" gibt, wenn der p-Wert nicht unter einem subjektiv gewählten Schwellenwert (ɑ) liegt. Ich würde sagen, dass es nicht genügend Beweise dafür gibt, dass ich die Nullhypothese im Test ablehnen würde.
Wie auch immer, ich bin froh, dass Sie mit Ihrer Analyse fortfahren können.
Betreff: Regression mit absoulten ResiduenHallo Mark,
Vielen Dank für Ihre Unterstützung.
Ich habe gerade die Box Cox-Transformation ausprobiert und die Fehlermeldung "Box-Cox kann wegen negativen oder Null-Y-Werts 0 nicht ausgeführt werden" erhalten.
Können Sie mir bitte einen Ratschlag geben. Außerdem wollte ich sicherstellen, dass ich die Box Cox-Transformation auf die ursprünglichen Frequenzdaten und nicht auf die Residuen anwende.Betreff: Regression mit absoulten ResiduenJa, ich wollte die ursprüngliche Antwort transformieren. Ich habe vergessen, dass Sie eine Anzahl von 0 haben, daher funktioniert dieser Ansatz nicht. Es war nur eine alternative Idee.
Betreff: Regression mit absoulten ResiduenHallo Mark,
Ich habe den Permutationstest einige Male erneut durchgeführt. Bitte beachten Sie die angehängte Datei. Meine Ergebnisse sind völlig anders als Ihre, das heißt, ich mache einen Fehler. Ich führe Permutation durch, während ich denke, dass Sie Bootstarap gemacht haben. Bitte beraten.
Bevor ich Sie kontaktierte, schlug mir ein Mathematikprofessor vor, Permutation als Bootstrap zu verwenden. Deshalb habe ich permutationt verwendet. Außerdem habe ich keinen Zugriff auf Bootstarap.
Außerdem, wie Sie den Wert 1185/2501 = 0,4738 erhalten haben.
Grüße
Betreff: Regression mit absoulten ResiduenMein Ergebnis von 1185/2501 = 0,4738 stammt von 1185 Proben von insgesamt 2501 Bootstrap-Proben, die einen größeren Unterschied aufwiesen als Ihr beobachteter Unterschied.
Soweit ich weiß, führt JMP den Permutationstest nicht durch. Wie haben Sie diesen Test mit JMP durchgeführt?
Betreff: Regression mit absoulten ResiduenZuerst entschuldige ich mich. Ich habe den Bootstrap in einem früheren Beitrag missbraucht. Ignoriere das p -Wert, den ich zuvor angegeben habe.
Der Bootstrap für die geschätzte Differenz erzeugt zweiseitige Konfidenzintervalle. Hier ist der Bericht:
Der Bootstrap wurde anhand der in der Tabelle angegebenen Differenz erstellt t -Test, der nicht die gleiche Varianz voraussetzt, sondern nur, dass die Stichprobenmittel normal verteilt sind. Diese Daten werden gezählt und verzerrt, aber möglicherweise ergibt die CLT eine ungefähr normale Summe. Hier ist dieser Bericht zusammen mit den nicht parametrischen exakten Tests.
Ich sehe eine allgemeine Übereinstimmung zwischen den Konfidenzintervallen und den zweiseitigen p -Werte über diese Methoden. Das p -Werte reichen von 0,16 bis 0,28. Die nichtparametrischen Tests sollten mehr Leistung haben, wenn die Verteilungsannahme des parametrischen Tests verletzt wird, aber sie scheinen in diesem Fall die gleiche Schlussfolgerung zu suggerieren.
JMP hat keinen Permutationstest. Sie haben ein Add-In verwendet, das im akademischen JMP-Benutzerbereich bereitgestellt wird. Ich habe meine eigenen geschrieben. Es entsteht einseitig p -Wert von 0,07-0,08, der nahe am liegt p -Wert für den oberen T-Test (0,08).
Die Box-Cox-Transformation ist für streng positive kontinuierliche Reaktionen gedacht. Sie können jeder Beobachtung 1 hinzufügen und sie dann von allen Vorhersagen abziehen. Aber das ist der Punkt der Permutationstests und nichtparametrischen Tests.
Betreff: Regression mit absoulten ResiduenPermutationstest für zwei Mittelwerte oder Mediane
Hallo Markus, ich habe diesen Link verwendet, um die Permutation durchzuführen. Vielen Dank
Eine weitere Frage für Sie - da einige der Zählungen = 0 sind, kann ich Box-Cox nicht verwenden. Was ist eine Alternative?
Betreff: Regression mit absoulten ResiduenVielen Dank,
Ich verstehe also, dass ein Add-In im akademischen JMP-Benutzerbereich (das ich verwendet habe) dem ähnelt, das Sie geschrieben haben, oder?
In einigen meiner Standortfrequenzdaten haben 18 von 31 Datenpunkten Nullen. Bei dieser Art von Frequenzdaten kann also keine Transformation die Daten normalisieren. Also, irgendein Hinweis, welche Methode sollte verwendet werden? Ich habe eine JMP-Datei angehängt. Vielen Dank für Ihre Zeit.
Betreff: Regression mit absoulten ResiduenIch bin mit dem von Ihnen verwendeten Add-In nicht vertraut, aber ich bin sicher, dass es vor dem Veröffentlichen überprüft wurde. Der Vergleich zweier Beispiele ist so einfach, dass ich ein Skript geschrieben habe, das ich validiert habe.
Warum müssen Sie die Daten mit der Protokollfunktion transformieren? Was ist der nächste Schritt?
Wenn Sie das Protokoll anwenden müssen, dann einfach bei einer kleinen positiven Zahl. Wenn die Antwort in der Größenordnung von 10 ^ 6 liegt, könnte ich 1 hinzufügen. Wenn die Antwort in der Größenordnung von 10 oder 100 liegt, kann ich 0,01 oder 0,001 hinzufügen. Ich kann den Versatzwert immer subtrahieren, wenn ich die Vorhersagen von einem Modell oder einer Analyse zurücktransformiere.
Betreff: Regression mit absoulten ResiduenHallo Mark,
Ich danke dir sehr. In der angehängten Datei habe ich noch einige Fragen an Sie. JMP-Datei ist ebenfalls angehängt.
Grüße
Betreff: Regression mit absoulten ResiduenGeben Sie Ihre Fragen zunächst direkt ein, anstatt sie in eine Excel-Arbeitsmappe einzufügen, die wir öffnen müssen.
Zweitens gibt es keine JMP-Datentabelle. Ich könnte eine aus den Spalten in der Excel-Arbeitsmappe erstellen, aber Sie scheinen JMP nicht zu verwenden. Dieses Diskussionsforum richtet sich an JMP-Benutzer.
Hier ist meine Antwort auf Ihre Fragen.
- Verwendung des Permutationstests. Ich habe diese Frage bereits zuvor beantwortet.
- Verwendung der "absoluten" Regression für nicht normale Daten. Ich habe diese Frage bereits zuvor beantwortet.
- Vergleichen Sie die Verteilung von zwei Zeiträumen. Ich habe diese Frage bereits zuvor beantwortet.
- Schlagen Sie eine andere Methode vor. Ich habe diese Frage bereits zuvor beantwortet.
Wir scheinen uns im Kreis zu bewegen.
Betreff: Regression mit absoulten ResiduenKennzeichen,
Danke für deine Antwort. Ich benutze JMP regelmäßig. Entschuldigung, mein Fehler, dass ich vergessen habe, eine JMP-Datei anzuhängen. Ich habe es jetzt angehängt, das zeigt, dass ich es benutze:)
Die Abteilung. Ich arbeite mit drei Lizenzen / Benutzern und sie sind häufige Benutzer.
