Wiederholte Messungen...irgendwie...Angenommen, ich habe einen 2^3 vollfaktoriellen Versuchsplan mit Replikation, also 2x8=16 Läufe. Jeder Lauf dauert 30 Minuten, wobei die Teilnehmer im Laufe dieser 30 Minuten acht „Ziele“ aufspüren und verfolgen. Es ist denkbar, dass jedes der 8 Ziele seine eigene Reaktionszeit hat. Da die Zielprofile variieren, ordne ich die Reihenfolge für jeden Lauf zufällig an. Ein Zieltypfaktor ist mir egal, daher ist es kein Designfaktor, für den ich versuche, einen Effekt zu messen.Ich versuche, Haupt- und Zwei-Wege-Effekte zu erkennen.
Ist es sinnvoll, diese 8 Reaktionszeiten pro Lauf als unabhängige Beobachtungen zu behandeln, als ob ich 8 Reaktionszeit-Datenpunkte für jede Faktorstufe erhalten würde, also insgesamt 16 x 8 Beobachtungen? Oder stattdessen die 8 Reaktionszeiten für eine einzelne Beobachtung pro Lauf mitteln? Wenn ich 8 Beobachtungen pro Lauf verwenden kann, werden diese dann am besten als Wiederholungsmessungen für einen Lauf behandelt? Weil sie es sind nicht wiederholte Messungen – jedes Ziel ist einzigartig und ich weiß im Voraus, dass sie nicht die gleiche Reaktionszeit erzielen werden. Alle 8 unterliegen natürlich der gleichen Behandlung, aber sie unterscheiden sich in anderer Hinsicht, und das ist eine Quelle der Abweichung.
VersuchsplanungBetreff: Wiederholte Messungen ... irgendwie ...Ich habe ein Bild des Faktor-Beziehungsdiagramms beigefügt. Dazu gehören der Block, die Entwurfsfaktoren X1-X3 im gesamten Diagramm und ein Faktor für das Zielprofil (TP) im Unterdiagramm (TP1 könnte TP1-TP3 in einer Fakultät sein, wenn Sie 8 verschiedene Konfigurationen der Zielprofile wünschen, z. B. Zielgröße, Zielentfernung, Zielfarbe). Oder Da Ihnen die Auflösung der TP-Faktoren egal ist (Sie versuchen lediglich, einen großen Inferenzraum zu schaffen), könnten Sie dies in 4 Behandlungen (halber Bruchteil der 3 TP-Faktoren) pro 30-minütigem Lauf tun. Oder Sie könnten Split-Plot-Confounding nutzen, um die Anzahl der Behandlungen weiter zu reduzieren – und das bei sehr geringem Einbußen bei der Auflösung. Ich müsste mehr Einzelheiten über Ihre Situation erfahren.
Betreff: Wiederholte Messungen ... irgendwie ...Ich denke, ich verstehe, was Sie meinen, aber möglicherweise interpretiere ich Ihren Vorschlag falsch. Es wäre hilfreich, Ihr Design in einer Grafik zu sehen, wenn Sie nichts dagegen hätten.
Um es klarzustellen: Unsere 30-Minuten-Läufe bestehen aus mehreren Zielen und der einzige wirkliche Grund, warum wir mehrere „Profile“ erstellen, besteht darin, dass es eine betriebliche Abwechslung gibt und wir helfen, einen Lerneffekt zu vermeiden. Wenn es einen gängigeren Weg gibt, mit solchen Problemen umzugehen, dann würde ich gerne davon erfahren, anstatt das Experiment unnötig in ein bestimmtes Design zu zwingen.
Betreff: Wiederholte Messungen ... irgendwie ...Es hört sich so an, als würden Sie Ihre ursprüngliche Beschreibung der Situation ändern. In Ihrem Vorschlag verwechseln Sie die „Szenarien“ mit dem Tag (und dem damit verbundenen Lärm), was keinen Vorteil hätte. Was ich vorschlage, ist, für jede Behandlungskombination der gesamten Parzelle (die in Ihrem ursprünglichen Beitrag angegebene Fakultät, glaube ich 2^3) eine Reihe von Behandlungen basierend auf einer Fakultät von Zielprofilen durchzuführen (ich bin mir nicht sicher, was sich von Profil zu Profil ändert). aber ich denke, Sie könnten herausfinden, was diese x sind, und damit experimentieren. Anstelle von Wiederholungen würde die Fakultät der Profilfaktoren das Unterdiagramm erstellen. Da der gesamte Plot und die Freiheitsgrade der Unterplots separat analysiert werden (z. B. jeweils mit ihrem eigenen Normalplot), haben Sie die Präzision des gesamten Plots erhöht (weniger Rauschen nur im gesamten Plot) und die Präzision des Unterplots erhöht Handlung auch. Außerdem erhalten Sie WP-nach-SP-Wechselwirkungen. Wenn also die Faktoren in den gesamten Diagrammeffekten davon abhängen, welches Zielprofil verwendet wurde, können Sie dies identifizieren und quantifizieren.
Betreff: Wiederholte Messungen ... irgendwie ...@statman
Ok, ich würde also in der Split-Plot-Option, sagen wir mal, 6 Szenarien entwickeln, die verschiedene Zielprofile beinhalten. Diese Szenarien wären die Haupthandlungen und würden einen Tag in Anspruch nehmen. Dann hätte ich innerhalb dieser Hauptdiagramme geteilte Diagramme für die Ebenen des untersuchten Systemdesigns: System A, System B.
| Tag | 1 | 2 | 3 | 4 | 5 | 6 |
| Bin | A | A | B | A | B | B |
| Uhr | B | B | A | B | A | A |
| Szenario | 5 | 2 | 3 | 1 | 4 | 6 |
Was sind die wirklichen Vorteile dieses Ansatzes, wenn es, wie in meinem Fall, nicht schwierig ist, die Szenarien zu ändern?
Betreff: Wiederholte Messungen ... irgendwie ...Sie müssen „Split-Plot-Designs für robuste Produktexperimente“ lesen, Box und Jones, Journal of Applied Statistics, Bd. 19, Nr. 1, 1992. Schwer zu ändernde Faktoren sind nur ein Grund, Split-Plots zu erstellen (und nicht der beste Grund). Beschränkungen der Randomisierung können effektiv genutzt werden, um das Rauschen in einem Experiment zu unterteilen und gleichzeitig die Präzision bei der Erkennung von Faktoreffekten zu erhöhen, ohne den Inferenzraum negativ zu beeinflussen.
Wenn Sie den Mittelwert berechnen, der als Antwortvariable verwendet werden soll, berechnen Sie auch die Standardabweichung (oder Varianz) und verwenden Sie sie als Antwortvariable.
Es scheint, dass Sie letztendlich menschliche Handlungen und Entscheidungen verstehen wollen. Durch die Randomisierung können diese Effekte weder abgeschätzt noch verstanden werden.
Betreff: Wiederholte Messungen ... irgendwie ...Hallo @statman spring rein.
@statman schrieb:
Welche Antworten versuchen zu verstehen? Reaktionszeit? Antwortrate (von von der Aufdeckung bis zur Strafverfolgung)?
Es ist ein Befehls- und Kontrollszenario, in dem Erkennungszeit ist eines (von vielen) Maßen für die Wirkung mehrerer Designfaktoren.
Was ist ein „Zielprofil“? Und warum interessiert Sie das Zusammenspiel zwischen den Designfaktoren und dem Zielprofil nicht?
Die Zielprofile verleihen dem Experiment Abwechslung und vertretbare Fehler, sind aber lediglich eine kleine Stichprobe aus einer großen Anzahl potenzieller Profile. Ich muss nicht wirklich wissen, ob es einen Zielprofileffekt gibt.
Versuchen Sie nicht, Designfaktoren auszuwählen, die sich auf die Reaktionszeit auswirken und robust gegenüber dem Zielprofil sind?
Nun ja
Offenbar interessiert Sie nur der Mittelwert? Warum nicht die Variation? Es ist für mich unmöglich, über Mittelwerte nachzudenken, ohne eine Vorstellung von der Varianz zu haben ... es ist, als würde man bei einer Sportveranstaltung die Punktzahl für eine Mannschaft und nicht für die andere angeben.
Daher meine frühere Sorge, dass es keine gute Idee zu sein scheint, eine Reihe von Werten auf einen Mittelwert zu reduzieren. Vielleicht ist ein 90. Perzentil besser geeignet, wenn ich versuche, eine Stichprobe mit einem einzelnen Wert zu charakterisieren.
Sie reproduzieren das Design, warum? Wissen Sie, welches Rauschen sich zwischen den Replikaten ändert?
Es ist lediglich die Zufälligkeit, die mit den Handlungen menschlicher Bediener verbunden ist. Zwei Läufe mit denselben Faktorstufen führen definitiv zu unterschiedlichen Ergebnissen, da die Reaktion von menschlichen Handlungen und Entscheidungen beeinflusst wird.
Ein weiterer Gedanke besteht darin, die Entwurfsstruktur als den gesamten Plot und den Profilfaktor als den Unterplot eines Split-Plot-Designs zu behandeln. Aufgrund der Aussage würde ich annehmen, dass Sie mehr über diese Quelle erfahren möchten. " Alle 8 unterliegen natürlich der gleichen Behandlung, aber t Hey, sie variieren auf andere Weise und es ist eine Quelle der Varianz "
Ich neige dazu, an Split-Plot-Designs zu denken, wenn ich einen schwer zu ändernden Faktor habe, was hier nicht der Fall ist. Dies ist eine Simulation, bei der wir die Faktoren von einem Lauf zum nächsten relativ einfach kontrollieren können.
Betreff: Wiederholte Messungen ... irgendwie ...Es sollte keinen allzu großen Einfluss auf die Schätzungen der festen Effekte haben. Ihr Design ist orthogonal. Es ist, als hätte man zwei Fehlerterme, innerhalb und zwischen Zielen. Es handelt sich lediglich um detailliertere Informationen über die zufällige Variation.
Betreff: Wiederholte Messungen ... irgendwie ...Ich komme zwar zu spät zur Party, aber es fallen mir noch einige Dinge ein, auch wenn ich nicht ganz verstehe, was genau Sie sich von dem Experiment wünschen.
Aber das hört sich interessant an ... wenn Sie also nachgeben, habe ich einige Fragen (wenn Sie mit den Antworten, die Sie erhalten haben, zufrieden sind, verstehe ich das natürlich):
Welche Antworten versuchen zu verstehen? Reaktionszeit? Antwortrate (von von der Aufdeckung bis zur Strafverfolgung)?
Was ist ein „Zielprofil“? Und warum interessiert Sie das Zusammenspiel zwischen den Designfaktoren und dem Zielprofil nicht?
Versuchen Sie nicht, Designfaktoren auszuwählen, die sich auf die Reaktionszeit auswirken und robust gegenüber dem Zielprofil sind?
Offenbar interessiert Sie nur der Mittelwert? Warum nicht die Variation? Es ist für mich unmöglich, über Mittelwerte nachzudenken, ohne eine Vorstellung von der Varianz zu haben ... es ist, als würde man bei einer Sportveranstaltung die Punktzahl für eine Mannschaft und nicht für die andere angeben.
Wenn Sie den Mittelwert verwenden, sollten Sie dann nicht zuerst testen, ob dies die geeignete Statistik ist? Was passiert, wenn in den 8 Zielprofilen ungewöhnliche Datenpunkte vorhanden sind? Dann könnte der Mittelwert eine schlechte zusammenfassende Statistik sein.
Sie reproduzieren das Design, warum? Wissen Sie, welches Rauschen sich zwischen den Replikaten ändert? Wenn ja, wären Sie dann nicht daran interessiert, die Auswirkungen dieses Rauschens und möglicherweise der Wechselwirkungen zwischen Rauschen und Faktoren zu kennen (denken Sie an robustes Design)? Behandeln Sie das Replikat als Block und festen Effekt. Wenn nicht, verstehe ich die Verwendung des Replikats, um eine „unvoreingenommene“ Schätzung des MSE zu erhalten.
Ein weiterer Gedanke besteht darin, die Entwurfsstruktur als den gesamten Plot und den Profilfaktor als den Unterplot eines Split-Plot-Designs zu behandeln. Aufgrund der Aussage würde ich annehmen, dass Sie mehr über diese Quelle erfahren möchten. " Alle 8 unterliegen natürlich der gleichen Behandlung, aber t Hey, sie variieren auf andere Weise und es ist eine Quelle der Varianz "
Betreff: Wiederholte Messungen ... irgendwie ...Danke noch einmal @Mark_Bailey Ich habe JMP gebeten, die Tabelle mit einigen gefälschten Daten zu erstellen, und dann die Ergebnisse modelliert, um Ihre Empfehlung umzusetzen. Mit der Ausgabetabelle habe ich zwei Modelle ausgeführt – ein Modell mit den drei Haupteffekttermen und drei 2-Wege-Termen sowie den Zielprofilterm als zufälliger Effekt und ein Modell, bei dem ich einfach den Zielprofilbegriff aus dem Modell ausgeschlossen habe. Im ersten Modelldialog empfahl JMP REML. Ich nutze die SLS-Persönlichkeits- und Effekthebelbetonung. Im zweiten Modell ohne den Random-Effect-Term forderte JMP mich nicht zur Eingabe einer Methode auf.
Auf jeden Fall sind die Ergebnisse in beiden Modellen ziemlich ähnlich – vielleicht weil die Daten bedeutungslos waren, da sie synthetisch waren. Alle Haupteffekte und Wechselwirkungen waren in beiden Modellen mit 0,05 signifikant. Das scheint nicht intuitiv zu sein – es scheint, als hätte die Behandlung des Profils als Begriff mit zufälligem Effekt zu ganz anderen Ergebnissen geführt. Aber vielleicht vergleiche ich Äpfel mit Birnen, indem ich die Daten mit diesen beiden Modellen modelliere. Bei Modell 2 ziehe ich wahrscheinlich schlechte Schlussfolgerungen, da es einen Effekt gibt, den ich nicht berücksichtigt habe. Aber ich hätte gedacht, dass dies zu weniger signifikanten Auswirkungen geführt hätte.
Betreff: Wiederholte Messungen ... irgendwie ...Ja, geben Sie die Antwort für jedes Ziel als separate Beobachtung (Zeile) ein. Fügen Sie eine Profilspalte mit dem nominalen Modellierungstyp hinzu. Fügen Sie diesem Begriff in der Effektliste den Zufallseffekt hinzu. Fügen Sie keinen Begriff für das Replikat hinzu – dieser wird für die Fehlerschätzung (Wiederholbarkeit) verwendet.
Wie soll das gehen?
Betreff: Wiederholte Messungen ... irgendwie ...Danke @Mark_Bailey Ich denke, das ist die richtige Sichtweise. Ich verwende dieselben 10 Zielprofile wieder und ändere nur zufällig ihre Reihenfolge, um die Vorhersehbarkeit der Bediener zu verringern. Ich möchte das entfernen können Ziel Profil Quelle der Varianz, aber ich muss sie nicht messen Zielprofil Wirkung. Bedeutet das also, dass ich einfach eine Profilvariable (Spalte) habe und 10 Beobachtungen (Zeilen) pro Lauf produziere ... eine Beobachtung für jedes Zielprofil, für jeden der 16 Läufe? Das würde eine Datentabelle mit 10x16 = 160 Zeilen bedeuten, wenn ich Ihrer Logik folge. Muss ich JMP anweisen, das zu behandeln? Zielprofil Ist die Variable entweder beim Aufbau des Designs oder bei der ANOVA anders?
Betreff: Wiederholte Messungen ... irgendwie ...@Mark_Bailey Wie würden Sie die Daten strukturieren, um den Zieltyp als zufälligen Effekt einzubeziehen?
Betreff: Wiederholte Messungen ... irgendwie ...Alternativ könnten Sie das Zielprofil als Faktor betrachten. Das heißt, es hat Auswirkungen auf die Reaktion. Es hört sich so an, als ob Sie nicht davon ausgehen, dass das Zielprofil einen festen Effekt hat. Während jede Behandlung dieselben acht Profile umfasst, stellen die Profile eine Zufallsstichprobe aus einer Population möglicher Profile dar. Sie führen zu einer zusätzlichen Variation der Reaktion, einem Zufallseffekt. Dieser Ansatz würde Ihnen zusätzliche Informationen liefern: Variation zwischen und innerhalb von Profilen.
Betreff: Wiederholte Messungen ... irgendwie ...Vielen Dank @Byron_JMP , ich werde mir Kevins Präsentation ansehen. Ich denke, der Mittelwert wird ausreichen. Ein anderer Ansatz wäre, das maximale oder 90. Perzentil (der 10 Ziele) anstelle der Mittelwerte zu verwenden. Hier wird davon ausgegangen, dass die längsten Erkennungszeiten die besorgniserregenderen Werte sind und ein gewünschter Effekt eine Reduzierung dieser kritischeren Werte sein sollte. Die Verwendung des Maximums (von 10) wäre ein riskanter Wert – Ausreißer wären problematisch. Vielleicht wäre der obere Quartilwert oder das 90. Perzentil ein guter Kompromiss.
Betreff: Wiederholte Messungen ... irgendwie ...Wenn Sie den Mittelwert der (10) Wiederholungen für jeden Lauf (1 von 16) heranziehen, erhalten Sie eine bessere Schätzung der durchschnittlichen Zeit zum Erfassen eines Ziels oder der Zeit zwischen den Erfassungen, unabhängig davon, wie Sie die Ereignisse bewerten ...
Wenn Sie auch die Reihenfolge der Ziele berücksichtigen möchten, gibt es für den Fall, dass die Ziele nicht alle identisch sind, einen etwas anderen Versuchsaufbau. (Ordnungsfaktoren experimentieren).
Auf der Discover-Konferenz 2019 präsentierte Kevin Gallagher, Wissenschaftler bei PPG Industries, eine wirklich schöne Fallstudie zu diesem Thema. https://community.jmp.com/t5/Discovery-Summit-Tucson-2019/The-Design-and-Analysis-of-Experiments-With-Order-Factors-2019/ta-p/223351
Betreff: Wiederholte Messungen ... irgendwie ...Ich hätte in dem von mir bereitgestellten Beispiel Verwirrung vermeiden sollen, indem ich stattdessen davon ausgegangen wäre, dass ich 10 Ziele pro Lauf habe. Wenn diese irgendwie als einzelner zusammenfassender Wert (Mittelwert) ausgedrückt würden, hätte ich 1 Mittelwert für jeden der 16 Läufe. Wenn ich sie als separate Werte behandeln würde, hätte ich 10 Werte für jeden der 16 Läufe. Ich versuche, vorauszudenken, wie ich die Ergebnisse in beiden Fällen analysieren würde, wenn mein Ziel lediglich darin besteht, einen Faktoreffekt (für jeden der drei Faktoren) zu überprüfen.
Betreff: Wiederholte Messungen ... irgendwie ...Es handelt sich definitiv um Fall 1 – Das Ziel des Experiments besteht darin, die Auswirkung der experimentellen Bedingungen auf die gemessenen Aktionen zu messen. Ich dachte auch, dass es falsch wäre, die Beobachtungen so zu stapeln, als hätte ich 8 Beobachtungen für jede Faktorstufe.
Wenn ich den Mittelwert und die Standardabweichung der 8 Beobachtungen nehmen würde, dann wäre meine Antwortvariable … der Mittelwert? Hätte ich dann also 8 Mittelwerte für beide Ebenen eines Faktors und würde testen, ob ein signifikanter Unterschied zwischen den Mittelwerten dieser Mittelwerte besteht?
Betreff: Wiederholte Messungen ... irgendwie ...Ich versuche, Ihr Experiment zu verstehen.
Es hört sich so an, als hätten Sie 16 Versuchseinheiten.
Innerhalb jeder Einheit wird eine Aktion achtmal wiederholt.
1. Alle 8 Aktionen sind abhängig von den Bedingungen der Versuchseinheit.
Ziel des Experiments ist es, den Einfluss der Versuchsbedingungen auf die gemessenen Einwirkungen zu messen.
oder...
2. Das Experiment ergibt eine Antwortkurve mit 8 Punkten über 30 Minuten.
Ziel ist es zu verstehen, wie sich die experimentellen Bedingungen auf die Antwortkurve auswirken.
Ich denke, Sie arbeiten möglicherweise an Fall 1. Das Stapeln aller Zeilen für die 16x8 Datenpunkte birgt Gefahren.
Ich vermute, dass Sie in Ihrer Datentabelle eine Spalte für jede experimentelle Variable und eine Spalte für jede der 8 Messungen eingerichtet haben. Eine Möglichkeit besteht darin, dies als gemischtes Modell zu behandeln und die Abweichungen zwischen und innerhalb der 8 Zeiten zu analysieren. Eine andere Möglichkeit besteht darin, den Mittelwert und die Standardabweichung der 8 Messungen als Antworten zu verwenden.
