DOE-Design zur spezifischen Untersuchung der Varianz (oder Standardentwicklung)Liebe JMP-Community,
Ich hoffe, einige Gedanken zu einem DOE-Design zu hören, das auf die Untersuchung von Standardabweichungen einer Testmethode abzielt.
Meine Kollegen führen einen Test an einem von uns hergestellten Produkt durch und möchten sehen, ob sie Teile der Testmethodik ändern können, um Standardabweichungen zu reduzieren. Mir ist keine spezielle DOE-Plattform in JMP bekannt, die dafür ausgelegt ist, daher haben wir uns letztendlich für die benutzerdefinierte Plattform entschieden.
Nach einigen Diskussionen haben wir uns für vier Faktoren entschieden, die geändert werden könnten: X1 – kontinuierlicher Faktor (-1,1), X2 – kontinuierlicher Faktor (-1,1), und X4 – 6-stufige Kategorisierung (L1-L6). Wir waren wirklich an jedem der vier Haupteffekte und ihren Wechselwirkungen erster Ordnung interessiert: X1, X2, X3, X4, X1*X2, X1*X3, X1*X4, X2*X3, X2*X4 und X3*X4 (insgesamt 10 Effekte). Als Gesamtzahl der Läufe gingen wir von 36 aus. Um jedoch eine Schätzung der Standardabweichung bei jeder Einstellung zu erhalten, haben wir das DOE insgesamt viermal wiederholt – also insgesamt 144 Tests. Das war ungefähr alles, was wir uns leisten konnten.
Wir können natürlich die DOE-Bewertung für alle 144 Tests durchführen, um die mittlere Reaktion (und das Rauschen des Experiments) mit den Modellfaktoren abzuschätzen, was wir auch getan haben. Aber was wir wirklich untersuchen wollen, ist, ob eine Behandlungseinstellung die Standardabweichung der Testmethode verändert hat oder nicht. Wir haben dazu eine Standardabweichung aus den replizierten Läufen berechnet (jetzt wieder 36 Datenpunkte) und diese Ergebnisse durch das Modell laufen lassen.
Meiner Meinung nach scheint dies alles ein vernünftiger Ansatz für die Durchführung einer DOE zu sein, bei der das Ziel darin besteht, Änderungen der Standardabweichungen und nicht der Mittelwerte zu bewerten. Wenn es jedoch einen besseren Ansatz (vielleicht aus Erfahrung) oder ein speziell dafür entwickeltes DOE gibt, würden wir uns freuen, davon zu erfahren und ihn vielleicht für die nächsten Versuche zu übernehmen.
Gedanken und Feedback sind sehr willkommen.
Danke!,
DS
PS Falls es Sie interessiert: Nach Auswertung aller Einzelmessungen und der Standardabweichungen der Replikate haben wir festgestellt, dass Faktor X4 den größten Einfluss auf die Standardabweichungen hatte. Als wir später einige Verifizierungsläufe durchführten – jetzt verglichen wir nur 32 Läufe (insgesamt) über zwei der Ebenen in Positiv war, dass es nicht schlimmer war!).
Qualitäts- und VerfahrenstechnikBetreff: DOE-Design zur spezifischen Untersuchung der Varianz (oder Standardentwicklung)Hallo @statman ,
Nochmals vielen Dank, dass Sie das Gespräch darüber fortgesetzt haben. Leider steht es mir nicht frei, die genaue Art der durchgeführten Tests oder das Material, das wir testen, zu erläutern. Aber ja, genau dieselbe Probe kann nicht zweimal getestet werden. Jeder Test verbraucht Material, was die Analyse etwas komplizierter macht.
Die von Ihnen beschriebene Analyse entspricht im Wesentlichen dem, was sie durchgeführt haben, auch mit dem beigefügten PDF. Sie analysierten nicht als Replikate, sondern nutzten diese Funktion in JMP nur, um die Datentabelle zu erstellen, die die Labortechniker verfolgen konnten. Sie entschieden sich (unter anderem) für diese Faktoren, da sie leicht zu ändern waren und in früheren Studien gezeigt wurde, dass sie den Mittelwert beeinflussen. Im Grunde ist Option 1 aufgrund der Besonderheiten unseres Falles die einzige Option, die uns zur Verfügung steht, und das gilt auch für die vielen anderen Tests, die wir durchführen, um unser Material zu charakterisieren.
Aufgrund von Einschränkungen in Bezug auf Industriestandards und Tests können wir leider auch einige Dinge nicht ändern, die möglicherweise einen größeren Einfluss auf unsere Ergebnisse haben als die Faktoren. Wir können sie einfach nicht ändern, weder aufgrund von Kundenanforderungen noch aufgrund dessen, was in der Branche als akzeptabel gilt. In vielerlei Hinsicht ist es so, als würde man versuchen, etwas zu tun, für das man beide Hände braucht, wenn eine auf dem Rücken gefesselt ist.
Auch wir haben PSD-Analysatoren, einige 2D- und einige 3D-Analysegeräte, aber bisher können wir nur feststellen, dass die untersuchten Faktoren die mittlere Reaktion, die wir testen, definitiv verändern, aber keinen großen Einfluss darauf haben Variation in der Testmethode. Es wäre sehr cool, wenn es eine bestimmte Art von DOE-Struktur gäbe, die speziell auf das Testen der Varianz ausgerichtet wäre. Vielleicht ist dies die nächste Entwicklung bei DOEs?
Nochmals vielen Dank für den Input/das Feedback!,
DS
Betreff: DOE-Design zur spezifischen Untersuchung der Varianz (oder Standardentwicklung)OK, vielen Dank für die zusätzlichen Informationen, die Sie zur Situation bereitgestellt haben. Ich weiß immer noch nicht, welche Eigenschaften/Eigenschaften der Pulver Sie quantifizieren möchten?
Wenn ich das richtig verstehe, ist diese Messung verändernd oder destruktiv (die identische Probe kann nicht zweimal gemessen werden). Da dies der Fall ist, ist es unmöglich, die Wiederholbarkeit der Messung von der Abweichung von Probe zu Probe zu trennen. In diesen Fällen gibt es einige Möglichkeiten, den Effekt auf die Messkomponente zu „verzerren“. Ich habe meine Hinweise zum Umgang damit beigefügt.
Sie sollten die Wiederholungen (die innerhalb der Behandlung verschachtelt sind) nicht als Replikate analysieren. Sie können sich diese 4 Datenpunkte in einem Bereichskontrolldiagramm ansehen und diese 4 Datenpunkte dann gegebenenfalls für jede Behandlung zusammenfassen (z. B. Mittelwert und Standardabweichung). Das Modell, das Sie am meisten interessiert, ist für die Antwortvariable von std dev. (oder gleichwertige zusammenfassende Statistik)
Replikate – Behandlungskombinationen ändern sich zwischen jedem „Datenpunkt“ (wir nennen diese normalerweise experimentelle Einheiten … sie gelten als unabhängig und können als solche behandelt werden).
Wiederholungen – die Behandlungskombinationen ändern sich NICHT zwischen „Datenpunkten“. Diese sind nicht als unabhängige Ereignisse zu betrachten (und erhöhen daher nicht die Freiheitsgrade) und diese Variation ist in der Behandlung verschachtelt.
Nur mein eigener voreingenommener Kommentar ... Wenn ich auf Ebenen für Faktoren >2 experimentiere, bin ich misstrauisch gegenüber einer Wähle-den-Gewinner-Mentalität. Zunächst möchte ich einen fairen Vergleich durchführen, um zu sehen, welche Faktoren/Wechselwirkungen sich auf die Variation auswirken, und dann in einer nachfolgenden Iteration die Ebeneneinstellung für die Faktoren, die von Bedeutung sind, feinabstimmen.
Ich würde sagen, jede Situation hat ihre eigenen Herausforderungen. Pulver nicht mehr als andere. Ich habe Partikelgrößenanalysatoren verwendet, um die Verteilung der Partikelgrößen zu verstehen, SEM für die chemische Zusammensetzung und Topographie und sogar ein OJAY für Nanomessungen.
Betreff: DOE-Design zur spezifischen Untersuchung der Varianz (oder Standardentwicklung)Hallo @statman ,
Vielen Dank für Ihre Gedanken und Ihr Feedback. So beantworten Sie Ihre Kommentare/Fragen:
1. Ja, die Leute, die das DOE leiteten, waren daran interessiert, verschiedene Faktoren zu ändern, die ihrer Meinung nach den größten Einfluss auf das Testrauschen hatten. Es ist bekannt, dass jeder der getesteten Faktoren die mittlere Reaktion der Messungen beeinflusst. Wir wollten jedoch herausfinden, ob die Faktoren und ihre Wechselwirkungen auch zu einer Verbesserung des Rauschens führen können. Frühere Tests haben gezeigt, dass die beteiligten Instrumente und Bediener nicht so laut sind wie die Testmethodik. Eines der großen Probleme bei diesem Test besteht darin, dass es sich um kleinkörniges Pulver mit sehr geringen Mengen handelt – weniger als 1/4 Gramm. Ich vermute also, dass die durch die Partikelgröße verursachte Segregation eine große Rolle spielt. Einer der getesteten Faktoren war die Menge, aber wir konnten bei der Verwendung von mehr Material keine Verbesserung der Standardabweichungen feststellen.
2/3. Im ersten Beitrag habe ich erwähnt, dass JMP basierend auf den 10 Faktoren (Haupteffekte und Wechselwirkungen) 36 Durchläufe empfohlen hat. Jeder Lauf (Behandlung) wurde viermal gemessen, um eine Standardabweichung für jede Behandlung zu berechnen, sodass insgesamt 144 Einzelmessungen durchgeführt wurden. Um Ihre Bedenken auszuräumen, haben wir wiederholte Messungen der „gleichen“ Probe durchgeführt. Ich habe Anführungszeichen gesetzt, weil die Testprobe während des Tests verbraucht wird. Das Ausgangsmaterial wurde jedoch für jeden Lauf generiert und Proben daraus wurden dann für jede Behandlung mehrmals (4) gemessen. Replizieren ist vielleicht nicht der richtige Begriff – aber das haben wir in JMP getan, um das DOE zu erweitern und den Überblick über jeden Lauf zu behalten, den wir durchführen mussten.
4. X4 hat damit zu tun, dass wir es mit Pulvern zu tun haben und verschiedene PSD-Bereiche berücksichtigen müssen, daher die vielen Ebenen von X4. Aus früheren Tests wissen wir, dass das untere und obere Ende des PSD einen großen Einfluss auf den Mittelwert der Antwort hat, und es gab Hinweise darauf, dass die Standardentwicklung reduziert werden könnte. Die zusätzlichen Ebenen wurden hinzugefügt, um zu sehen, ob wir schmalere PSD-Größen verwenden können, um das Rauschen zu reduzieren. Dieses DOE lieferte letztendlich einen Hinweis darauf, dass dies möglich ist, aber Verifizierungsläufe bestätigten dieses Ergebnis nicht. Bei den anderen Faktoren handelt es sich ausschließlich um hohe/niedrige Einstellungen, von denen nur zwei tatsächlich kontinuierlich sind.
Leider handelt es sich bei unserem Material um ein Pulver, und Pulver verhalten sich nicht „schön“ wie beispielsweise Halbleitereinheiten oder maschinell bearbeitete Gegenstände. Ich denke, dass die Methodik deshalb einfach von Natur aus verrauscht ist und so gut wie möglich ist.
Nochmals vielen Dank für Ihre Gedanken, einige gute Punkte, die meine Kollegen berücksichtigen sollten, wenn sie in Zukunft etwas Ähnliches tun möchten.
Danke!,
DS
Betreff: DOE-Design zur spezifischen Untersuchung der Varianz (oder Standardentwicklung)Hier sind einige meiner Gedanken, obwohl Ihre Beschreibung der Situation nicht ausreicht, um konkrete Ratschläge zu geben.
1. Zur Verdeutlichung: Sie möchten verstehen, welche Faktoren die Variation des Testsystems (Präzision) beeinflussen können. Gibt es Hypothesen darüber, ob die Präzision von verschiedenen Instrumenten oder Bedienern beeinflusst wird? Wenn ja, dann ist dies der Fall Reproduzierbarkeit Präzision. Wenn es nur an Instrumentenvariationen liegt, dann ist dies der Fall Wiederholbarkeit Präzision. Dies ist deshalb wichtig, weil Sie wissen möchten, wie Messungen erfasst werden, damit die richtigen zusammenfassenden Statistiken verwendet werden. Besteht Interesse an Stabilität? Wie wäre es mit Diskriminierung?
2. Sie müssen Antwortvariablen berücksichtigen und wie sie abgerufen werden. Ich weiß nicht, was Sie testen? Ich sehe keine Informationen darüber, wie viele Proben gemessen werden? Sie sollten wiederholte Messungen derselben Probe durchführen, um Messfehler zu erhalten (möglicherweise an derselben Stelle). Ob Sie Op-to-Op oder nur Wiederholgenauigkeit einbeziehen, sollte eine Funktion Ihrer Hypothesen sein.
3. Wenn Sie wirklich Wiederholungen durchgeführt haben, haben Sie die Abweichungen von Behandlung zu Behandlung mit Messfehlern verwechselt. So würde ich das Problem nicht angehen. Ich würde Wiederholungen und keine Replikate verwenden, um die richtigen zusammenfassenden Statistiken zu erhalten. Überlegen Sie, welche Daten zur Schätzung der zusammenfassenden Statistik verwendet werden (z. B. Standardabweichung). Was ändert sich zwischen diesen Datenpunkten? Sie möchten nur Messkomponenten in den Datenpunkten erfassen (minimieren Sie die anderen Komponenten innerhalb der Untergruppe), die Sie zur Schätzung der Standardabweichung verwenden.
4. Ich weiß nicht, wo Sie sich im Wissenskontinuum befinden, aber Sie haben Ihre Studie auf Faktor X4 ausgerichtet, indem Sie sie auf so vielen Ebenen getestet haben (denken Sie an Freiheitsgrade). Ich hätte mit allen Faktoren auf zwei Ebenen begonnen (wähle die Extremwerte der Faktor-4-Kategorien) und wäre wie bei einem Screening-Design vorgegangen.
