Keine JMP-Frage, aber ich hoffe, jemand kann helfen – Schätzung von StdDev aus Min, Max, AvgErstens handelt es sich hierbei nicht um eine JMP-Frage, sondern um eine allgemeine Statistikfrage. Ich entschuldige mich daher, wenn es unangemessen ist, sie hier zu veröffentlichen.Aber ich hoffe, dass jemand in der JMP-Community dabei helfen kann.
Ich habe eine Reihe von Datenproben, bei denen für jede Probe Min, Avg (Mittelwert) und Max aufgezeichnet sind.Die Daten sind probiert jede Sekunde, aber nur verzeichnet alle 15 Minuten.Jeder meiner 15-Minuten-Datenpunkte hat also das Minimum der 1-Sekunden-Abtastwerte, das Maximum der 1-Sekunden-Abtastwerte und den Durchschnitt der 1-Sekunden-Abtastwerte über das 15-Minuten-Intervall.
Ich habe eine Reihe dieser 15-Minuten-Datenpunkte, sagen wir im Wert von 24 Stunden (96 Datenpunkte).Ich möchte versuchen, die StdDev des Werts über den Zeitraum von 24 Stunden zu schätzen, als ob ich tatsächlich alle 1-Sekunden-Proben über den Zeitraum von 24 Stunden hätte.Ich denke, wenn jeder meiner 15-Minuten-Datenpunkte auch die StdDev der 1-Sekunden-Proben hätte, wäre das einfacher, aber das tue ich nicht; nur MIn, Max und Avg.
Jede Anleitung wäre dankbar.
Betreff: Keine JMP-Frage, aber ich hoffe, jemand kann helfen – Schätzung von StdDev aus Min, Max, AvgHallo @wsande ,
Ich bin einverstanden mit @gzmorgan0 Und @P_Bartell Vorschläge, aber lassen Sie mich auf einige Ihrer spezifischen Fragen eingehen:
„Die StdDev der 15mAvg-Werte beträgt 0,00513... das würde eine Populations-StdDev von 0,1538 (= 0,00513 * 30) bedeuten.Allerdings beträgt der Gesamtbereich meiner Daten über die mehr als 80 Stunden nur 0,05 Max(15mMax) - Min(15mMin).Ich hätte erwartet, dass die Reichweite mehrere SDs und nicht nur einen Bruchteil einer SD beträgt.“
Ich kann verstehen, dass das seltsam erscheinen mag, aber was Sie haben, ist die Reichweite des mittels Stichproben der Größe 900, nicht der Bereich der Originaldaten. Wenn Sie sich mein vorheriges Beispiel ansehen, lag der Bereich meiner Mittelwerte bei Größe 900 bei etwa 20. Der Bereich der Originaldaten betrug über 1000. Durch das Zusammenfassen von Beobachtungen und die Berechnung eines Mittelwerts liegen die resultierenden Zahlen, von denen jede ein Mittelwert aus 900 Beobachtungen ist, tendenziell näher beieinander, als die ursprünglichen Datenpunkte nahe beieinander liegen (und deshalb können wir die Standardabweichung angeben der Stichprobenmittelwerte werden um den Faktor sqroot(n) kleiner als die Standardabweichung der Originaldaten sein. Also zurück zu Ihrem Fall, der Reichweite Ihres bedeutet beträgt 0,05, was bei einer Stichprobe von 900 unseres Wissens wesentlich kleiner ist als der Bereich der Originaldaten. Daher sollte es nicht überraschen, dass die Standardabweichung, die wir für die ursprünglich generierten Daten schätzen, größer ist.
„Ich frage mich, ob ich auf ein „Quantisierungsproblem“ stoße.Die Auflösung meiner Proben beträgt 0,01, was dem Doppelten der SD entspricht, die ich an den Probendurchschnitten messe.
Angesichts dessen, was wir hier aus den Beispielwerten wissen, sollten wir davon ausgehen, dass der Datenbereich in den ursprünglichen 1-Sekunden-Proben größer ist. Hoffentlich befinden Sie sich nicht in einer Situation, in der Ihr Messgerät das Phänomen nicht genau messen kann von Interesse.Allerdings kann ich dazu nicht wirklich etwas sagen.
„Ich weiß nicht, ob das die Ergebnisse irgendwie verzerrt.Ich habe tatsächlich > 200 dieser Datensätze für verschiedene „Kanäle“, und normalerweise beträgt der Bereich das 3- bis 5-fache der StdDev der Stichprobenmittelwerte.“
Ich stimme zu, dass wir damit rechnen sollten, dass die Reichweite der Probe bedeutet ist größer als die Standardabweichung des Probe bedeutet.Aber das gilt sogar für das erste Diagramm, das Sie gezeigt haben: Range = 0,05 und StDev = 0,0051. Bei einer Stichprobengröße von bis zu 900 sollten wir jedoch nicht damit rechnen, dass der Bereich der Probe bedeutet größer ist als die Standardabweichung der ursprünglichen Variablen, aus der die Stichproben gezogen werden.
„Eines frage ich mich...Wenn die Grundgesamtheit statt 1-Sekunden-Stichproben aus 10-Sekunden-Stichproben bestünde, gäbe es nur 90 Stichproben pro 15-Minuten-Intervall und die Berechnung der Populations-SD würde sich um den Faktor 3 ändern. ( SQRT(90) statt SQRT(900) ).Der zugrunde liegende kontinuierliche Prozess hätte sich jedoch nicht geändert.Es fällt mir schwer, mich damit zu befassen ...“
Fantastische Frage! Es scheint zunächst verwirrend, aber ich möchte es hoffentlich anders erklären. Wenn Sie in den Originaldaten die Daten alle 10 Sekunden und nicht alle 1 Sekunde erfasst hätten, würden die Stichprobenmittelwerte in Ihrer endgültigen Tabelle aus Stichproben der Größe 90 und nicht 900 bestehen. Die Standardabweichung der Originaldaten würde sich nicht ändern , aber die Standardabweichung von Ihnen Probe bedeutet würde ändern. Lassen Sie uns einige reelle Zahlen verwenden, um dies zu verdeutlichen:
Nehmen Sie mein ursprüngliches Beispiel, eine Grundgesamtheit mit einer Standardabweichung von 120. Als wir Stichproben von 900 hatten, stellten wir fest, dass die Standardabweichung der Verteilung dieser Stichprobenmittelwerte 4 betrug. Wir haben dies empirisch gemacht, hätten aber auch einfach die Formel Sigma / Wurzel(n), 120/30 = 4, anwenden können. Wenn wir nur die Mittelwerte von Stichproben der Größe 900 hätten und die Standardabweichung dieser Mittelwerte ermitteln würden, hätten wir das tun können rückwärts gearbeitet, Sigma*Wurzel(n), 4*30 = 120.
Was ist mit dem Fall, dass die Daten alle 10 Sekunden erfasst und dann gemittelt werden? Nun, wie Sie sagten, hätten Sie für jeden Mittelwert 90 Beobachtungen. Dies bedeutet, dass die Standardabweichung Ihrer Stichproben von 90 Beobachtungen 120 / Quadratwurzel(90) = 12,65 wäre. Beachten Sie, dass diese Standardabweichung größer ist als bei Stichprobenmittelwerten der Größe 900. Je weniger Beobachtungen in jedem Mittelwert vorhanden sind, desto größer ist die Standardabweichung der Mittelwerte – sie variieren stärker von Stichprobe zu Stichprobe, weil es weniger Beobachtungen gibt, die den Ausgleich ausgleichen (das Gesetz der großen Zahlen in Aktion, auch bekannt als Konsistenz des Schätzers), wird besser mit mehr Daten). Also, lasst uns andersrum vorgehen. Wenn das die Art von Daten wäre, auf die Sie Zugriff hätten, Mittelwerte von Stichproben der Größe 90 aus Beobachtungen, die alle 10 Sekunden durchgeführt werden, müsste die Standardabweichung, mit der Sie arbeiten müssten, 12,65 sein, und Sie würden 12,65*sqroot(90) nehmen. = 120. An der Population ändert sich also nichts ... Was sich geändert hat, ist der Prozess, durch den Sie die Natur gemessen haben, und die Auswirkungen dieses Prozesses auf die Variabilität der Beobachtungen, zu denen Sie Zugang haben.
Allerdings setzt dies alles unabhängige und identisch verteilte Beobachtungen voraus. Wenn es systematische Effekte/Autokorrelation/usw. gibt @gzmorgan0 Wie bereits erwähnt, beschreiben diese einfachen Formeln nicht mehr ausreichend, was passiert, wenn wir diese Mittel ergreifen.
Ich hoffe, das klärt ein paar Dinge!
@julianisch
Betreff: Keine JMP-Frage, aber ich hoffe, jemand kann helfen – Schätzung von StdDev aus Min, Max, Avg@wsande ,
Ein paar Vorschläge/Kommentare:
- Aus meiner Erfahrung mit Halbleitern können unterschiedliche Kanäle unterschiedliche Verteilungen haben, daher ist bei der Verallgemeinerung über mehrere Populationen hinweg Vorsicht geboten.
- Dieser Vorschlag stimmt mit überein @P_Bartell 's mündliche Prüfung. Ich schlage vor, dass Sie sich für jeden Kanal die Verteilung und ein Trenddiagramm der 15-Minuten-Bereiche (15 Min. Max. – 15 Min. Min.) ansehen.Geben Sie die Auflösung Ihrer Daten an, ich fürchte, Sie könnten viele Nullen haben. Vor langer Zeit, als Rechenleistung und Datenspeicher noch teuer waren, waren aggregierte Daten noch alltäglich. Ein einfacher Ansatz bestand darin, anzunehmen, dass 95 % der Bereiche der Stichprobe 4 Standardabw. darstellen würden, d.Dies könnte einen Einblick in Ihre Daten geben.
- Wenn die Analyse Nr. 2 viele Nullbereiche aufweist, kann dies daran liegen, dass keine Rohdaten gemeldet werden und 15-Minuten-Intervalle mit Bereichen > 0 auf eine Verschiebung/Änderung des Werts hinweisen. Wenn dies der Fall ist, ist die Anzahl der Verschiebungen/Übergänge pro Zeitraum möglicherweise ein besserer Messwert für die Stabilität des Kanals (oder die Zeit zwischen Übergängen) als die Standardabweichung.
Ich bin mir Ihres Ziels nicht sicher, aber befolgen Sie Peters mündlichen Prüfungsratschlag und zeichnen Sie die Mittelwerte und Bereiche nach Reihenfolge auf und schauen Sie sich die Verteilungen an.Oftmals beschreiben zusammenfassende Statistiken von Zeitreihendaten das Verhalten der überwachten Einheit nicht ausreichend.
JMP macht dies mit ein paar Klicks ganz einfach.
Betreff: Keine JMP-Frage, aber ich hoffe, jemand kann helfen – Schätzung von StdDev aus Min, Max, AvgVielen Dank für die ausführliche Erklärung.Es ist jedoch etwas mit meinen Daten los, sodass ich Ergebnisse erhalte, die keinen Sinn ergeben.
Ich habe einen Datensatz von >80 Stunden, nicht nur 24 Stunden.Also > 300 Proben.Die StdDev der 15mAvg-Werte beträgt 0,00513. Bei 900 1-Sekunden-Datenpunkten pro 15-Minuten-Zeitraum würde dies einen Populations-StdDev von 0,1538 (= 0,00513 * 30) bedeuten.Allerdings beträgt der Gesamtbereich meiner Daten über die mehr als 80 Stunden nur 0,05 Max(15mMax) - Min(15mMin).Ich hätte erwartet, dass die Reichweite mehrere SDs und nicht nur einen Bruchteil einer SD beträgt.
Ich frage mich, ob ich auf ein „Quantisierungsproblem“ stoße.Die Auflösung meiner Proben beträgt 0,01, was dem Doppelten der SD entspricht, die ich an den Probendurchschnitten messe.
Ich weiß nicht, ob das die Ergebnisse irgendwie verzerrt.
Ich habe tatsächlich > 200 dieser Datensätze für verschiedene „Kanäle“, und normalerweise beträgt der Bereich das 3- bis 5-fache der StdDev der Stichprobenmittelwerte.
Eines frage ich mich...Wenn die Grundgesamtheit statt 1-Sekunden-Stichproben aus 10-Sekunden-Stichproben bestünde, gäbe es nur 90 Stichproben pro 15-Minuten-Intervall und die Berechnung der Populations-SD würde sich um den Faktor 3 ändern. ( SQRT(90) statt SQRT(900) ).Der zugrunde liegende kontinuierliche Prozess hätte sich jedoch nicht geändert.Es fällt mir schwer, mich damit auseinanderzusetzen ...
Betreff: Keine JMP-Frage, aber ich hoffe, jemand kann helfen – Schätzung von StdDev aus Min, Max, AvgUm beiden etwas Perspektive zu verleihen @julianisch Und @gzmorgan0 Als ich mit dem Abteilungsleiter Dr. John Hromi und Professor Mason Wescott an der abschließenden mündlichen Prüfung meines MS-Programms in angewandter Mathematik und Statistik am Rochester Institute of Technology saß, wurde mir zuerst diese Frage gestellt:
„Ihr Chef gibt Ihnen einen Stapel Daten, die im Laufe der Zeit gesammelt wurden, und möchte, dass Sie diese analysieren. Was wirst du als nächstes tun?" Ich glaube, meine Antwort lautete in etwa: „Ich würde ein Histogramm der Daten erstellen und dann, da es sich bei den Daten um Zeitreihen handelt, entweder ein Laufdiagramm oder ein Kontrolldiagramm, wenn ich aus den Daten rationale Untergruppen erstellen kann.“ Dann suche ich nach der Mitte, der Streuung, nach irgendetwas Ungewöhnlichem oder Verdächtigem im Histogramm und schließlich drüben im Laufdiagramm oder Kontrolldiagramm nach der Stabilität des Mittelwerts und der Streuung.
Natürlich ging ich voller Nervosität in die Prüfung. Zwei A-Listen-Industriestatistiker, die mehr über Statistik vergessen haben, als ich jemals erfahren werde.
Dr. Hromi lächelte und sagte so etwas wie: „Gute Antwort ... machen wir weiter.“
Betreff: Keine JMP-Frage, aber ich hoffe, jemand kann helfen – Schätzung von StdDev aus Min, Max, AvgDass es ein so wichtiger Punkt ist, den ich nicht erwähnt habe, @gzmorgan0 ! Ich bin von unabhängigen und identisch verteilten Beobachtungen ausgegangen, aber das ist sicherlich nicht der Fall.Betreff: Keine JMP-Frage, aber ich hoffe, jemand kann helfen – Schätzung von StdDev aus Min, Max, Avg@wsande ,
@julianisch 's Antwort ist eine perfekte Antwort wenn die zugrunde liegenden Daten zufällig sind und keine starken systematischen Effekte aufweisen . Das folgende Gegenbeispiel ist extrem, zeigt aber, wie ein systematischer Effekt zu einem sehr stabilen Mittelwert führen kann und daher die Standardabweichung des Mittelwerts eine Unterschätzung des Standardfehlers darstellt.
Erstellen Sie anhand der Tabelle von Julian eine Spalte namens „Systematic“ mit der Formel:
If(
Row() == 1, Random Integer( 850, 1150 ),
Modulo( Row(), 100 ) == 1, Random Integer( 850, 1150 ),
Modulo( Row(), 100 ) == 51, Lag( :Systematic, 1 ) * -1,
Lag( :Systematic, 1 )
)
Unten sehen Sie einen Screenshot der einzelnen Sekundendaten für einen ausgewählten 15-Minuten-Block
Sie können sehen, dass es Abweichungen in den Rohdaten gibt. Bei den zusammengefassten 15-Minuten-Blockdaten sind jedoch alle Mittelwerte Null, da dieses Beispiel absichtlich als Extremfall angelegt ist. Selbst wenn die systematischen Effekte nicht so extrem wären, kann ein starkes systematisches Muster den Mittelwert künstlich stabilisieren.
Dieses Gegenbeispiel soll nicht untergraben @julianisch ist die Lösung, sollte aber als Vorsichtsmaßnahme dienen. Wenn möglich, sollten Sie versuchen, eine Methode zu finden, um zu einigen zufälligen Intervallen der Rohdaten zu gelangen, um starke systematische, zyklische Ereignisse auszuschließen.
Betreff: Keine JMP-Frage, aber ich hoffe, jemand kann helfen – Schätzung von StdDev aus Min, Max, AvgHallo @wsande ,
Ich denke, du hast Glück. Mit den Daten, die Sie haben, können Sie die Standardabweichung der Variablen bei der ursprünglichen 1-Sekunden-Stichprobe problemlos schätzen. Sie benötigen lediglich die Standardabweichung (oder Varianz) der Mittelwerte selbst (die Mindest- und Höchstwerte werden nicht benötigt).
Varianzen verhalten sich bei der Bearbeitung auf vorhersehbare Weise. In diesem Fall besteht die Operation zwischen den Originaldaten und den zusammengefassten Daten, die Sie haben, aus der Division durch eine Konstante (die Anzahl der Beobachtungen, 900, die Anzahl der Sekunden in 15 Minuten). Die Grundlage für die Formel für den Standardfehler ist eigentlich das, was wir hier anwenden werden. Denken Sie daran, dass die Standardabweichung der Stichprobenverteilung des Mittelwerts Sigma / SqRoot(n) ist, wobei Sigma die Standardabweichung der Grundgesamtheit und n die Stichprobengröße ist. In Bezug auf die Varianz ist dies nur Varianz/n – was Formeln betrifft, ist das ziemlich einfach!
Wie hilft das? Wir wissen, dass Sie 900 Beobachtungen haben, die in jeden Mittelwert Ihrer Datentabelle eingehen (60 Proben/Minute * 15 Minuten pro Aufzeichnung). In der Tabelle, die Sie haben, haben Sie 96 Beobachtungen (Mittelwerte für alle 15 Minuten, 4 pro Stunde x 24 Stunden = 96). Nehmen wir zur Veranschaulichung jetzt an, wir wissen, dass die Standardabweichung der bedeutet, dass du es getan hast ist 4. Welche Standardabweichung in der ursprünglichen 1-Sekunden-Auflösung würde sich ergeben, wenn wir die Formel Sigma / Quadratwurzel(n) angewendet hätten? Drehen wir es um.
Standardabweichung der Mittelwerte = Sigma/Quadratwurzel(n)
4 = Sigma/Quadratwurzel(900)
4*sqroot(900) = Sigma
Sigma = 120.
Violla!
Die Verteilungsform der Bevölkerung spielt keine Rolle. Varianzen funktionieren auf diese Weise unabhängig von der zugrunde liegenden Form. Wir müssen der Mathematik auch nicht vertrauen. Lassen Sie uns dies in JMP tun und sehen, was passiert. Hier ist eine Tabelle mit 86.400 Beobachtungen, Ihre 1-Sekunden-Auflösungstabelle:
Dies ist die Verteilung der ursprünglichen Variablen, die mit einer Random Normal()-Funktion erstellt wurde: Mittelwert von 1000, Standardabweichung von 120 (naja, das ist eine Zufallsfunktion, also liegt sie nahe beieinander). 
Fassen wir mit Tabellen > Zusammenfassung im 15-Minuten-Block zusammen:
Dies ergibt die unten stehende zusammenfassende Tabelle mit dem Mittelwert für jeden Block.
Werfen wir einen Blick auf die Verteilung der Mittelwerte (die im Wesentlichen Ihre Abschlusstabelle darstellt):
Und los geht's: Die Standardabweichung der Stichprobenverteilung des Mittelwerts (den wir erstellt haben) beträgt 4 – Sigma / Quadratwurzel(n), genau wie es uns die Theorie sagt.
Eine Einschränkung: Diese empirische Stichprobenverteilung umfasst nur 96 Beobachtungen der theoretisch unendlichen Stichprobenverteilung, sodass Sie jedes Mal, wenn Sie dieses Experiment wiederholen, eine etwas andere Schätzung erhalten. Wenn wir die ursprüngliche Tabelle so erstellen würden, dass sie Millionen und Abermillionen von 15-Minuten-Blöcken enthält und dann Tausende und Abertausende von Mittelwerten dieser 15-Minuten-Blöcke abtasten würden, wären wir ziemlich auf dem richtigen Weg. Wir könnten dies empirisch zeigen, aber wir wissen es theoretisch. Und der Punkt ist wirklich, dass unsere beste, unvoreingenommene Schätzung des Populationssigmas, wenn wir den Standardfehler (die Standardabweichung der Mittelwerte) haben, darin besteht, diesen Standardfehler zu nehmen und ihn mit sqroot(n) zu multiplizieren.
Also, TLDR: Nehmen Sie die Standardabweichung, die Sie von den Mittelwerten haben, und multiplizieren Sie sie mit sqroot (900).
Ich hoffe das hilft!
@julianisch
