Falls Sie das von letzter Woche verpasst haben Statistisch gesehen Mit der vielveröffentlichten und preisgekrönten Christine Anderson-Cook, pensionierte Forschungswissenschaftlerin am Los Alamos National Laboratory (LANL), haben Sie einen faszinierenden Rundgang durch die gezielte Datenerfassung, Big Data und ihre Synergien verpasst. Das Potenzial einer gezielten Datenerfassung, um Projekten mit Big Data einen größeren Mehrwert zu verleihen, ist erheblich. Tatsächlich waren die Teilnehmer so sehr daran interessiert, mehr über dieses Thema zu erfahren, dass wir keine Zeit hatten, alle ihre vielen interessanten Fragen zu beantworten. Also haben wir sie an Christine geschickt, die sich freundlicherweise die Zeit genommen hat, sie für diesen Beitrag zu beantworten. Sie können sie sprechen sehen und die Fragen hören, die sie in der beantwortet hat Aufnahme auf Abruf .
Glauben Sie, dass zu viel Wert auf Beobachtungsdaten (und Transaktionsdaten) gelegt wird, die typischerweise nur wenige Informationen enthalten, anstatt absichtlich Daten zu sammeln, die möglicherweise bessere Entscheidungen treffen? Liegt dies in erster Linie an den „Kosten“ für die Beschaffung informationsreicherer Daten?
Ich denke, dass bei vielen Unternehmen schon früh die Meinung herrschte, dass „viele Daten alle Probleme lösen können“. Das könnte zu der Annahme führen, dass das bloße Sammeln von Daten eine Lösung für sich selbst sei. Da es Big Data jedoch schon seit einiger Zeit gibt, haben viele Unternehmen möglicherweise einige erfolglose Erfahrungen gemacht, bei denen die Daten ihnen nicht die Antworten geben konnten, die sie brauchten. Wenn sich also die Realität immer weiter durchsetzt, ist die Erfahrung möglicherweise einer der überzeugendsten Lehren dafür, dass kostengünstige, praktische Daten nicht unbedingt wünschenswerter sind als teurere, absichtlich ausgewählte Daten.
Im Diskussionsteil des QREI-Papiers [1] Laura Freeman hatte ein wunderbares Zitat darüber, was oft passiert, wenn Daten ohne Absicht gesammelt werden: „Das Endergebnis ist typischerweise ein erschöpfter Analyst und ein enttäuschter Entscheidungsträger, weil die Daten nie dazu gedacht waren, das Problem zu lösen, das sie angehen wollen.“ ” [2] Für die Beantwortung vieler spezifischer und wichtiger Fragen gibt es keinen Ersatz dafür, die Daten vor der Erhebung mit der interessierenden Frage abzugleichen.
Unterm Strich kann die Abhängigkeit von Beobachtungs- oder Transaktionsdaten zu gemischten Ergebnissen führen. Wenn die Daten unüberlegt oder einfach aus Bequemlichkeit erfasst werden, ist die Wahrscheinlichkeit einer Enttäuschung größer, als wenn die Experten des Datenerfassungsteams sich darüber im Klaren sind und planen, wofür die Daten verwendet werden.
Kennen Sie Fälle, in denen die Kosten für die Messung von etwas den Nutzen überstiegen?
Ich habe bei LANL an einigen Projekten gearbeitet, bei denen die Kosten für die Datenbeschaffung sehr hoch waren, meist weil der Weg zur Erfassung der gewünschten Daten zu Beginn unbekannt war. In diesen Fällen ist manchmal etwas Forschung und Entwicklung erforderlich, um die gewünschten Daten zu erhalten. Natürlich kann es gelegentlich zu Enttäuschungen darüber kommen, was Sie aus diesen Daten lernen, sobald Sie sie sammeln können. Diese Investition könnte sich jedoch später für eine andere Anwendung auszahlen, sobald die neue Funktion entwickelt und die Plattform für die Datenerfassung eingerichtet wurde. Wenn es den Anschein hat, dass Sie sich in einer Situation wie dieser befinden, in der Ressourcen aufgewendet werden müssen, um eine neue Art von Daten zu erhalten, ist es wichtig, die möglichen Vorteile für das aktuelle Projekt und auf lange Sicht die damit verbundenen Risiken wirklich zu durchdenken Enttäuschung, und ob es möglicherweise einen alternativen Ersatz gibt, bei dem ähnliche Informationen einfacher oder kostengünstiger erhalten werden können.
Viele neuere Unternehmen fördern präskriptive Modelle, um Experimentatoren zu sagen, was als nächstes zu tun ist. Können Sie etwas zu diesem Ansatz des Experimentierens im Vergleich zum Aufbau geplanter Experimente sagen?
Präskriptive Modelle erweisen sich in vielen verschiedenen Bereichen definitiv als bewährter Ansatz. Für diejenigen, die nicht wissen, worum es geht, hier zwei lose Definitionen, die helfen könnten, den Unterschied zwischen traditionelleren Modellen und diesen besonderen Modellen zu verdeutlichen:
- Vorhersagemodelle Prognoseergebnisse für neue Eingabekombinationen basierend auf einem Modell, das anhand früherer Daten geschätzt wurde.
- Vorgeschriebene Modelle Geben Sie konkrete umsetzbare Empfehlungen dazu, wie auf neue Daten reagiert werden soll.
Vorhersagetools sollen beim Verständnis helfen, während präskriptive Modelle dieses Verständnis nutzen und es in geplante Aktionen automatisieren.
Ich denke, es ist wichtig, sich daran zu erinnern, dass die Algorithmen hinter präskriptiven Modellen nur so gut sind wie die Menschen, die sie erstellen. Hannah Fry [3] leistet meisterhafte Arbeit darin, über die Stärken und Schwächen der Automatisierung mit Algorithmen zu sprechen und den Menschen aus dem Kreislauf herauszunehmen.
Es könnte von Vorteil sein, präskriptive Modelle für Situationen in Betracht zu ziehen, in denen der Umfang oder die Geschwindigkeit, die für die Entscheidungsfindung erforderlich sind (denken Sie an adaptives Design, bei dem ständig und häufig neue Probanden hinzukommen, die auf Behandlungen warten), es für einen menschlichen Entscheidungsträger unpraktisch machen, dies zu tun weitermachen. Dennoch glaube ich, dass es große Vorteile hat, die Versuchsplanung als eine Aufgabe zu betrachten, die von einem umsichtigen Menschen geleitet wird. Menschen bemerken, wenn sich die Bedingungen von dem Paradigma ändern, das zum Aufbau des Experiments verwendet wurde, für das der Algorithmus entwickelt wurde. Menschen sind besser darin, Wissen und Schlüsselaspekte des Problems zu extrahieren. Sie sind besser darin, Lösungen zu finden, die mehrere Ziele so in Einklang bringen, dass sie die Prioritäten der Studie am besten widerspiegeln. Daher empfehle ich, dass die Versuchsplanung der Ausgangspunkt für die meisten Experimente sein sollte. Wenn das Experiment jedoch viele Male wiederholt werden soll oder die Geschwindigkeit oder das Volumen es erfordern, könnten die aus den ersten Experimenten gewonnenen Erfahrungen in ein präskriptives Modell umgesetzt werden um die Belastung der Menschen zu verringern.
Wie werden für sequentielle Experimente Modelle erstellt und geschätzt, wenn Daten aus mehreren Phasen, beispielsweise einer Pilotstudie, Erkundung und Modellbildung, gewonnen wurden? Welche Konsequenzen hat es, wenn keine neuen Daten zur Modellverfeinerung gewonnen werden können?
Bei all den Vorteilen sequenzieller Experimente ist die Verwaltung der Analyse eine der größeren Komplikationen. Wenn die Daten in Gruppen in nicht randomisierter Reihenfolge gesammelt werden, sollte die Analyse fast immer diese Situation widerspiegeln. Eine Ausnahme von der Notwendigkeit, die Analyse anzupassen, wäre ein Computerexperiment, bei dem derselbe Code für alle Eingabekombinationen ausgeführt wird und unabhängig von der Ausführungsreihenfolge ist. Manchmal besteht keine Notwendigkeit, Daten in einer einzigen Analyse zu kombinieren, mit separaten Modellen und Interpretationen für jede Phase. Wenn beispielsweise in der Pilotphase eine Messsystemanalyse durchgeführt wird, besteht möglicherweise keine direkte Verbindung zwischen dieser und den nachfolgenden Daten, die sich auf die Erkundung und Modellbildung konzentrieren sollen.
Im Allgemeinen bietet die Behandlung von Gruppen von Durchläufen aus verschiedenen Phasen des Experiments (Pilot, Erkundung, Modellbau usw.) als Blöcke eine Möglichkeit, zu erkennen, dass sich zwischen den Phasen möglicherweise etwas geändert hat. Explorative Methoden können dabei helfen, die Auswirkungen der Blöcke zu untersuchen und festzustellen, ob es offenbar erhebliche Veränderungen in den Reaktionen zwischen Blöcken gibt. Im Beispiel der nuklearen Forensik wurden die drei Phasen des größeren Experiments analysiert und um einen Blockeffekt ergänzt. Bei der Untersuchung dieses Effekts konnten wir einige Unterschiede bei der Messung einiger Merkmale im Zeitverlauf feststellen.
Wenn für die Modellverfeinerung keine neuen Daten gewonnen werden können, kann die Präzision des Ausgangsmodells nicht weiter verbessert werden. In vielen Fällen besteht das Ziel der Modellverfeinerung darin, Bereiche anzusprechen, in denen die aktuelle Schätzung oder Vorhersage des Modells schwach ist. Die Erweiterung mit zusätzlichen Läufen kann helfen, diese Schwäche zu mildern und die Gesamtleistung zu verbessern. Wenn für diese Modellverfeinerung kein Budget vorhanden ist, werden Schätzung und Vorhersage durch die verfügbaren Daten bestimmt. Dies könnte eine verpasste Chance sein – daher ist es sinnvoll, wann immer möglich, über eine effiziente Ressourcenverteilung über die verschiedenen Phasen nachzudenken.
Heutzutage verfügen wir über viele Daten aus elektronischen Krankenakten in Krankenhäusern. Diejenigen, die diese Daten sammeln und analysieren, verfügen möglicherweise nur über begrenzte Kenntnisse in DOE. Wie können Sie einige der großartigen Punkte, die Sie uns mitgeteilt haben, anwenden?
Krankenhausunterlagen enthalten eine Fülle von Informationen, die jedoch durchaus in der Menge der zu verarbeitenden Unterlagen verborgen sein können. Angesichts der Art der medizinischen Behandlung und ethischer Überlegungen wird es höchstwahrscheinlich sehr schwierig sein, ihren Beobachtungscharakter zu ändern. Infolgedessen sind wir möglicherweise nicht in der Lage, die „Eingaben“ für die gesammelten Daten zu kontrollieren, und sind während der Big-Data-Phase eher auf die strategische Stichprobe von Datensätzen beschränkt, um uns bei der Beantwortung von Fragen zu helfen.
Hier ein paar Gedanken dazu, wo es Möglichkeiten geben könnte:
- Wenn der Datenbank neue Datentypen hinzugefügt werden, besteht möglicherweise die Möglichkeit, eine Messsystemanalyse durchzuführen, um die Ursachen der Variabilität besser zu verstehen. Sind beispielsweise die Personen, die die Tests durchführen, ein wesentlicher Teil der Variation? Spielt es eine Rolle, welche Maschine für die Tests verwendet wird, oder sind sie alle ähnlich kalibriert? Angesichts der Tatsache, dass das zu sammelnde Datenvolumen wahrscheinlich groß ist, könnte eine kleine Studie zum Verständnis der Variabilitätsquellen sehr aufschlussreich darüber sein, wie die Ergebnisse interpretiert werden sollten.
- Wenn Messungen kostspielig sind, besteht in den Phasen vor Big Data möglicherweise die Möglichkeit, einen kleineren Datensatz zu verwenden, um Korrelationen zwischen Messungen zu untersuchen, um zu verstehen, welche Daten am meisten mit Ergebnissen verknüpft sind und ob es möglicherweise kostspielige Informationsredundanzen gibt.
- Ein wichtiger Aspekt bei der Beantwortung verschiedener Anfragen besteht darin, sicherzustellen, dass es einfach zu implementierende Möglichkeiten gibt, die Daten in relevante und weniger relevante Kategorien zu unterteilen. Durch die Möglichkeit, Datensätze für Teilpopulationen anhand von Schlüsselfeldern zu erfassen, können genauere Vergleiche mit ähnlichen Themen durchgeführt werden.
- Die Stichprobenentnahme der Daten nach Datum oder Ort könnte einen Vergleich der Ergebnisse im Zeit- oder Gerätebereich ermöglichen. Dies kann Trends hervorheben oder die Anzahl falscher Schlussfolgerungen verringern, die auf externe Faktoren und nicht auf Veränderungen beim Patienten zurückzuführen sind.
- Schließlich besteht in den Phasen nach Big Data möglicherweise die Möglichkeit, einige kleine, geplante Experimente in Form von Bestätigungsexperimenten zu verwenden, um Hypothesen zu überprüfen oder zu überprüfen, ob sich die Auswirkungen auf breitere Bevölkerungsgruppen übertragen lassen.
Verzerrt der Ansatz des adaptiven Designs (A/B-Tests) die Ergebnisse nicht dahingehend, welches Modell zu Beginn einen Vorsprung hat? Wenn A in 75 % der Fälle angezeigt wird, ist die Grunderwartung hinsichtlich der Anzahl der Treffer für A höher als für B.
Im Bereich des adaptiven Designs gibt es viele Möglichkeiten zur Implementierung des Algorithmus, der entscheidet, wie auf neue Beobachtungen reagiert wird. Normalerweise hat der Experimentator die Wahl, wie schnell der Algorithmus den Anteil neuer Probanden ändert, die jede Behandlung erhalten. Wenn Sie sich zu langsam weiterentwickeln, entstehen Opportunitätskosten, da möglicherweise ein größerer Anteil der Probanden die weniger wünschenswerte Option erhält. Wenn Sie sich zu schnell weiterentwickeln, kann es bei einem „unglücklichen“ (nicht repräsentativen) Beginn der Sequenz dazu kommen, dass Sie zunächst zu viele Probanden auf die weniger wünschenswerte Option verweisen.
Wie bei so vielen Entscheidungen gibt es zwei Arten von Fehlern, und der Experimentator muss deren relative Risiken und Folgen abwägen. In vielen Implementierungen wird das Gleichgewicht zwischen Erkundung und Ausbeutung gewählt, um das Risiko einer zu schnellen Entwicklung zur falschen Lösung zu minimieren und gleichzeitig einige verpasste Chancen durch eine vorsichtige Entscheidung zu tolerieren. Die Algorithmen sind in der Regel so konzipiert, dass sie mit dem Anteil der Erfolge für jede Option arbeiten, nicht mit der absoluten Anzahl der beobachteten Erfolge.
Was das Beispiel des Datenwettbewerbs-Datensatzes betrifft: Ist die Unterteilung in drei Phasen des Gesamtdesigns etwas, das JMP tun kann, um auszuwählen, welche Läufe für welche Phase bestimmt sind, oder wurde das einfach willkürlich festgelegt?
Anstatt einen größeren Datensatz zu erstellen und ihn in Trainings-, öffentliche Test- und private Testdaten zu unterteilen, verwenden wir einen Bottom-up-Ansatz, indem wir kleinere Datensätze mit unterschiedlichen Eigenschaften für verschiedene Szenarien generieren und diese dann kombinieren, um die endgültigen Wettbewerbsdaten zu generieren.
Hier ein paar weitere Details zum Aufbau der Trainings-, öffentlichen Test- und privaten Testdatensätze. Für jedes Szenario wurde eine dichte Reihe von Kandidatenpunkten erstellt (denken Sie an eine der zu entdeckenden radioaktiven Quellen, abgeschirmt oder nicht abgeschirmt). Da die größten Konsequenzen des Wettbewerbs in den Ergebnissen des privaten Testdatensatzes lagen, wurde dieser zunächst unter Verwendung eines NUSF-Designs (Non-Uniform Space Filling) erstellt [4] , Dabei wurde die Ungleichmäßigkeit gewählt, um die schwierigsten Bereiche hervorzuheben (hier der sich schnell bewegende Detektor, der nach einer kleinen Menge des radioaktiven Materials sucht), aber dennoch eine gewisse Abdeckung über den gesamten Raum hinweg gewährleistet. Sobald dieser Entwurf fertiggestellt war, wurde der reduzierte Kandidatensatz (Original abzüglich der bereits ausgewählten Punkte) verwendet, um den öffentlichen Testdatensatz zu erstellen. In diesem Fall lag der Schwerpunkt auf mittleren Schwierigkeitsgraden, aber auch hier mit einer gewissen Abdeckung des gesamten Raums. Der Vorgang wurde ein letztes Mal wiederholt, um die Trainingsdaten mit einem weiter reduzierten Kandidatensatz zu erstellen (ausgewählte Punkte aus den öffentlichen und privaten Testdatensätzen wurden aus dem ursprünglichen Kandidatensatz entfernt). Dies ermöglichte die Erstellung von drei entworfenen Datensätzen für jede Kombination aus radioaktiver Quelle und Abschirmung.
Anschließend wurden diese Designs über alle Szenarien hinweg kombiniert und in drei endgültige Datensätze (Gesamttraining, Gesamtöffentlicher Test und Gesamtprivattest) randomisiert, die dann den Teilnehmern zur Verfügung gestellt wurden. Es gibt einige Artikel, die ich mit meinen Kollegen darüber geschrieben habe, wie man über die Erstellung von Datenwettbewerbsdatensätzen nachdenken sollte [5] oder wie wir diese Strategien für das Strahlungsdetektionsproblem implementiert haben [6] . Derzeit verfügt JMP nicht über eine automatische Funktion zum direkten Erstellen von NUSF-Designs. Es ist jedoch möglich, eines zu erstellen, das einen sequenziellen Ansatz verwendet, um den Grad der Einheitlichkeit des Designs zu variieren [7] mit den schnellen, flexiblen, raumfüllenden Designs [8] im JMP. Alternativ steht in den ergänzenden Materialien meiner Arbeit R-Code zum Erstellen dieser Designs zur Verfügung [4] .
Ich habe eine Frage zum Umgang mit der Kuratierung von Ausreißern vor dem Training der Algorithmen. Es besteht die Gefahr, sie auszuschließen, insbesondere wenn der Zustandsraum spärlich ist. Würden Sie möglicherweise eine Versuchsplanung für adaptive Messungen verwenden, um zu unterscheiden, ob diese Ausreißer einbezogen oder ausgeschlossen werden sollen? Gibt es andere Ansätze zur Bestimmung der Ausreißerkuration?
Das Erkennen von Ausreißern und Punkten mit hoher Hebelwirkung ist wegen ihrer unverhältnismäßigen Auswirkung auf die Ergebnisse und unsere Interpretation von Mustern bemerkenswert. Um diese Begriffe genauer zu definieren: Ein Ausreißer ist eine Beobachtung, bei der die Antwort(en) nicht dem Trend der anderen Daten folgen. Ein Punkt mit hoher Hebelwirkung ist eine Beobachtung, bei der die Eingabekombination im Vergleich zum Rest des Datensatzes extrem ist (dies kann schwierig zu beurteilen sein, wenn die Dimension des Eingaberaums größer wird).
Die Versuchsplanung kann für jedes dieser Themen auf unterschiedliche Weise hilfreich sein. Bei einem Ausreißer könnte ein kleines lokales Experiment in der Region, in der der extreme Antwortwert beobachtet wurde, helfen, zu klären, ob es sich um eine Region mit unterschiedlichem Verhalten handelt oder ob die Variation möglicherweise größer als üblich ist. Jede davon würde, wenn sie bestätigt würde, eine andere Reaktion erfordern. Bei einem Punkt mit hoher Hebelwirkung können gezielte Experimente in der Region, die den Punkt mit hoher Hebelwirkung mit dem Rest des Eingaberaums verbindet, dabei helfen, die Beziehung zwischen Eingaben und Antworten ohne große Lücken zu charakterisieren. Es kann hilfreich sein, Informationen über den Übergang zwischen den beiden Eingabestandortregionen bereitzustellen. Beide Strategien hängen natürlich davon ab, wie viel Kontrolle der Experimentator über die Eingabeeinstellungen hat.
Was das Entfernen von Ausreißern angeht, bin ich eher altmodisch. Sofern es keine Fachkenntnisse gibt, die den Einschluss oder Ausschluss leiten, zögere ich äußerst, diese Datenpunkte zu entfernen. Ensemble-Modelle (die Modelle kombinieren, die auf dem gesamten Datensatz basieren und die Ausreißer entfernt haben) können eine alternative Möglichkeit zur Kalibrierung der Auswirkungen dieser Beobachtungen auf das Verständnis von Variabilität und Modellunsicherheit bieten.
Wir freuen uns, dass Christine sich die Zeit genommen hat, mehr von ihrem Wissen zu diesem strategischen Thema zu teilen. Vielen Dank an alle, die dabei waren und so tolle Fragen gestellt haben! Wir begrüßen alle Bemühungen, informationsreiche Daten zu sammeln! Wir können auch Christines Beitrag wärmstens empfehlen, Das Warum und Wie man gute Fragen stellt .
Verweise:
[1] Anderson-Cook, CM, Lu, L. (2023) „Ist die gezielte Datenerfassung im Big-Data-Zeitalter noch relevant?“ Qualitäts- und Zuverlässigkeitstechnik International 39(4) 1085-1101.
[2] Freeman, L. (2023) „Rezension: Ist die Sammlung von Designdaten im Big-Data-Zeitalter noch relevant?“ Mit Erweiterungen zum maschinellen Lernen“ Qualitäts- und Zuverlässigkeitstechnik International 39(4) 1102-1106.
[3] Fry, H. (2018) Hallo Welt: Mensch sein im Zeitalter der Algorithmen , WW Norton & Company.
[4] Lu, L., Anderson-Cook, CM, Ahmed, T. (2021) „Ungleichmäßige raumfüllende Designs“ Zeitschrift für Qualitätstechnologie 53(3) 309-330.
[5] Anderson-Cook, CM, Lu, L., Myers, K., Quinlan, K., Pawley, N. (2019) „Verbessertes Lernen aus Datenwettbewerben durch strategische Generierung informativer Datensätze“ Qualitätstechnik 31(4) 564-580.
[6] Anderson-Cook, CM, Myers, K., Lu, L., Fugate, ML, Quinlan, K., Pawley, N. (2019) „Datenwettbewerbe: Mehr aus einem strategischen Design und einer Post-Wettbewerbsanalyse herausholen“ Statistische Analyse und Data Mining 12 271-289.
[7] Lu, L., Anderson-Cook, CM (2022) „Nutzung Ihres Wissens: Vielseitige raumfüllende Designs“ Qualitätstechnik https://doi.org/10.1080/08982112.2022.2161394
[8] Lekivetz, R. und B. Jones. 2015. „Schnelle flexible raumfüllende Designs für nichtrechteckige Bereiche“ Qualitäts- und Zuverlässigkeitstechnik International 31 (5):829–37. doi: 10.1002/qre.1640.
