398752_de-DE

liliconcom

Ein JMP-Skript, das eine gleichzeitige 95-%-Grenze mithilfe eines K-Nearest-Neighbor-Ansatzes bestimmt (2021-US-30MP-911)

Niveau: Mittelstufe

 

Rich Newman, Statistiker, Intel
Don Kent, Manager für Datenanalyse und maschinelles Lernen, Intel

 

Wir haben eine Reihe von Antworten, die einer kontinuierlichen, unbekannten Verteilung folgen, wobei die Antworten höchstwahrscheinlich nicht unabhängig sind.Wir möchten für jede Antwort die gleichzeitige Ober- oder Untergrenze von 95 % bestimmen.Als Beispiel könnten wir die unteren Grenzen für y1 und y2 und die oberen Grenzen für y3 und y4 so festlegen, dass 95 % der Daten gleichzeitig über y1 und y2 und unter y3 und y4 liegen.Das Ermitteln der 95 %-Grenze für jede Antwort führt zu einer ungenauen Abdeckung. Die Lösung: eine Methode zur Berechnung der gleichzeitigen Ober- oder Untergrenze von 95 % für jede Antwort unter Verwendung des Prinzips des nächsten Nachbarn, indem ein JMP-Skript geschrieben wird, um die Berechnungen durchzuführen.

 

 

Automatisch generiertes Transkript...

 

Lautsprecher	Transkript
reich n	Hallo, mein Name ist Rich Newman und ich bin Statistiker bei Intel. Und heute stelle ich ein JMP-Skript vor, das mithilfe eines K-Nearest-Neighbor-Ansatzes eine gleichzeitige 95-%-Grenze bestimmt.
	Diese Präsentation ist Co-Autor von Don Kent, der ebenfalls bei Intel arbeitet und wir beide in Rio Rancho, New Mexico, ansässig sind.
	Ich möchte die heutige Präsentation damit beginnen, das Problem zu begründen, und von dort aus werde ich einige mögliche Lösungen vorstellen und letztendlich zu der Lösung gelangen, die wir gewählt haben.
	Unterwegs stelle ich einige Grafiken zur Verfügung, um die Punkte weiter zu veranschaulichen, und schließlich zeige ich das JMP-Add-In, das wir zur Lösung des Problems verwenden, sowie einige Screenshots, die das Skript veranschaulichen.
	Wir entwerfen ein Gerät und müssen wissen, was der Worst-Case-Satz von vier Widerstands- und vier Kapazitätswerten ist, den wir sehen.
	Und der schlimmste Fall ist für uns definiert als die Kombinationen aus niedrigem Widerstand und hoher Kapazität sowie hohem Widerstand und niedriger Kapazität. Aus Gründen der Klarheit:
	Wir haben acht Variablen und benötigen möglicherweise die gleichzeitigen Grenzen der vier niedrigen Widerstandswerte und der vier hohen Kapazitätswerte, damit wir sie beim Entwurf des Geräts verwenden können. Und der schlimmste Fall kann als 95 %-Konfidenz oder 99 %-Konfidenz definiert werden, und letztendlich liegt die Entscheidung beim Benutzer.
	Okay, um dieses Problem zu veranschaulichen, verwenden wir nur einen Widerstands- und einen Kapazitätswert. Ich habe also einen Widerstand auf der X-Achse und eine Kapazität auf der Y-Achse, und wir wollen zwei Dinge wissen. Wir wollen den gelben Stern wissen, das Schlimmste
	Kombination aus niedrigem Widerstand und hoher Kapazität, und wir möchten das violette Fünfeck kennen, die Kombination aus hohem Widerstand und niedriger Kapazität.
	Okay, in Bezug auf unser Problem möchte ich darauf hinweisen, dass wir erkennen, dass diese acht Variablen, diese acht Antworten nicht unabhängig sind. Es gibt einige Korrelationen zwischen ihnen.
	Darüber hinaus kann jede dieser Antworten einer Normalverteilung oder der multivariaten Normalverteilung folgen oder auch nicht.
	Solche Fragen stellen wir häufig. Mit anderen Worten: Wir wollen das Problem nicht einmal gelöst haben und dann damit fertig sein und uns nie wieder damit befassen. Diese Fragen werden uns gestellt
	Deshalb brauchen wir wirklich eine robuste Lösung, die einfach zu bedienen ist. In unserem Fall haben wir großes Glück, dass wir in der Regel über relativ große Datensätze verfügen, mindestens 400 Punkte, und das ist in der Regel der Fall
	1.000 Punkte. Und für uns funktioniert eine praktische Lösung, solange sie auf einer statistischen Methodik basiert. Wenn ich also zu der vorherigen Grafik zurückkehre, ist es nicht so, dass ich einen Pfeil auf diese Grafik werfen und sagen werde, wo auch immer er landet:
	Es wird unsere Worst-Case-Grenze sein. Dahinter steckt wirklich etwas mehr Fleisch, aber ich möchte darauf hinweisen, dass wir nicht unbedingt eine Definition des Worst-Case haben, egal ob es 99 % oder 95 ist.
	Und wir wissen einfach, dass es besser ist, ein wenig konservativ zu sein, um sicherzustellen, dass wir ein Gerät entwickeln, das wirklich funktioniert und in Zukunft keine Probleme mehr hat.
	Okay, ich möchte ein komplett erfundenes Beispiel zeigen, um zu veranschaulichen, dass diese Art von Problem in jeder Branche auftreten kann.
	Stellen Sie sich also vor, wir hätten verstellbare Schreibtische für das Klassenzimmer hergestellt und möchten, dass unser Schreibtisch für 99 % der Bevölkerung funktioniert.
	die Größe und die Breite einer Person.
	Wenn Sie nun über JMP verfügen, enthält es einige Beispieldaten, und einer dieser Datensätze heißt BigClass. Und in BigClass ist es so
	einige Schüler dort und ihre Größe und ihr Gewicht. Und so können wir diesen Datensatz nutzen, um die Größen- und Gewichtsgrenzen zu bestimmen, die 99 % der Bevölkerung erfassen.
	Wenn ich mir also diese Grafik hier unten rechts ansehe, sehen wir, dass die Punkte Folgendes darstellen: Jeder Punkt repräsentiert die Kombination aus Größe und Gewicht eines Schülers.
	Okay, wenn ich auf unser Problem zurückkomme,
	Unser aktueller Ansatz, von dem wir glauben, dass er verbessert werden kann, besteht darin, unabhängig voneinander Vorhersagegrenzen von 95 % oder 99 % für Widerstand und Kapazität zu finden.
	Und in diesem Beispiel, in dem ich nur einen Widerstand und eine Kapazität betrachte, würden wir zwei separate Grenzen finden.
	Als Beispiel würden wir die 95 %-Vorhersagegrenze für den Widerstand finden, der bei 4,52 und 4,97 liegt und durch die dunkelblauen Linien gekennzeichnet ist.
	Und dann würden wir eine Vorhersagebalance von 95 % für die Kapazität finden, die 15,6 und 16,5 beträgt, was durch die grünlich-blauen Linien gekennzeichnet ist, und dann finden wir die Kombinationen, um den gelben Stern und das violette Fünfeck zu erhalten, was unseren schlechtesten Fall darstellt.
	Nun haben wir ein paar Bedenken hinsichtlich dieses Ansatzes. Und die erste Sorge betrifft die Fehlerquote vom Typ I. Wenn ich also eine 95 %-Grenze für Widerstand 1 und eine 95 %-Grenze für Widerstand finde ...
	Denken Sie bei Kapazität 1 daran, dass ich acht Variablen habe. Insgesamt kenne ich meine Konfidenzniveaus, nicht 95 %. Und was es ist, hängt von der Korrelation der Variablen ab.
	Jetzt können wir diese Hürde überwinden, indem wir eine Alpha-Anpassung vornehmen, aber es gibt noch eine weitere Hürde, die ich besprechen wollte und die uns etwas größere Sorgen bereitet.
	Also gut, was wäre, wenn uns die Hoch/Hoch-Kombination interessieren würde, die durch diesen gelben Kreis gekennzeichnet ist?
	In diesem speziellen Beispiel können Sie sehen, dass wir keine Daten in der Nähe dieser Worst-Case-Grenze haben. Wenn wir diese verwenden würden, wäre dies also äußerst konservativ.
	Und wenn wir unser Gerät entwerfen, wird es einen Kosten- und Zeitfaktor haben, also wollen wir ein wenig konservativ sein, aber wir möchten nicht so konservativ sein, dass wir diesen gelben Kreis verwenden würden, weil Wir erhalten wirklich keine Datenpunkte dazu.
	Okay, es gibt einige alternative Ansätze, die in JMP einfach umzusetzen sind und die wir als Lösungen für dieses Problem in Betracht ziehen wollten, und der erste sind Dichteellipsen.
	Und dies findet sich in der Plattform „Fit Y by Und ich sehe diese rote Ellipse in der Grafik.
	Wenn JMP diese Dichteellipse bereitstellt, sehen Sie in der unteren rechten Ecke der Präsentation die mittlere Standardabweichung und Korrelation der beiden Variablen.
	Und was JMP nicht liefert, ist die Gleichung der Ellipse. Das ist eine Hürde, die wir überwinden können. Wir müssen nur etwas rechnen, um es lösen zu können.
	Aber die größere Hürde ist, was passiert, wenn man mehr als zwei Variablen hat? In diesem Fall bietet JMP keine einfache Option
	damit wir dieses Problem lösen können. Wir könnten also paarweise Ellipsen erstellen oder einfach zwei Variablen gleichzeitig, aber wir werden das gleiche Alpha-Problem haben und es wird ziemlich schwierig sein, herauszufinden, welche Punkte wir als unsere ??? verwenden möchten.
	Nun gibt es bei diesem Ansatz noch eine weitere, sehr kleine Sorge: Was wäre, wenn wir an dieser hohen/hohen Ecke oder an diesem gelben Kreis interessiert wären? Welchen Punkt auf der Ellipse wählen wir?
	Und noch einmal, ich denke, das ist eine Hürde, die wir überwinden können, aber die beiden ... wenn wir mehr als zwei Variablen haben, ist das eine Hürde, die ziemlich knifflig ist. Wir sind nicht sicher, ob es leicht zu lösen ist.
	Okay, es gibt einen anderen Ansatz, den wir können ... wir können ... der einfach in JMP umgesetzt werden kann und das sind die Hauptkomponenten.
	Und was die Hauptkomponenten tun, ist, dass sie neue Variablen erstellen und JMP diese mit „Prin 1“ und „Prin 2“ beschriftet.
	so dass die neuen Variablen orthogonal zueinander sind. Und die Tatsache, dass sie orthogonal sind, können wir nutzen, um unsere Worst-Case-Grenzen zu ermitteln.
	Und dies ist in der Plattform für multivariante Methoden zu finden. Wenn Sie also multivariate Methoden und Hauptkomponenten analysieren, können wir nach diesen Hauptkomponenten fragen.
	Das Problem beim Hauptkomponentenansatz besteht nun darin, dass die Mathematik äußerst schwierig ist, wenn es mehr als zwei Variablen gibt.
	Darüber hinaus versucht die Hauptkomponente theoretisch, die Dimensionalität zu reduzieren. Mit anderen Worten: Wenn ich acht Variablen hätte, würde ich versuchen, diesen ungünstigsten Fall gleichzeitig zu finden ... gleichzeitige Grenzen für
	Aber JMP könnte zurückkommen und sagen: Okay, wir haben drei Hauptprinzipien gefunden, die wirklich helfen, zu erklären, was vor sich geht.
	Und in diesem Fall haben wir drei Gleichungen und diese acht Unbekannten, und das bringt uns wirklich in eine schwierige Lage, das Problem zu lösen. Aus diesem Grund würden wir diesen Hauptkomponentenansatz nicht verwenden.
	Wohin führt uns das? Unser Ziel ist es also, die gleichzeitige Worst-Case-Grenze zu finden, diese Kombination aus hoch/hoch, niedrig/hoch oder niedrig/niedrig/hoch/hoch.
	Wir möchten ... wir möchten JMP verwenden, um das Problem zu lösen. Es muss in der Lage sein, drei oder mehr Variablen zu verarbeiten.
	Jede Variable kann normal sein oder auch nicht. Wir erwarten einige Korrelationen. Die gute Nachricht ist, dass wir in der Regel über relativ große Datensätze verfügen.
	Wir möchten sicherstellen, dass, wenn wir nach dieser Ecke gefragt haben, dort Daten vorhanden sind und wir nicht in einer Situation stecken bleiben, in der es keine Daten gibt. Und auch hier kann eine einfache, praktische Lösung ausreichend sein.
	Okay, jetzt möchte ich ein Konzept erklären und Ihnen dann zeigen, wie dieses Konzept zur Lösung unseres Problems verwendet wird.
	Es gibt also ein Konzept namens „K-Nächste-Nachbarn-Ansatz“ und die Idee ist, dass man einen Punkt hat und von diesem Punkt aus einen Abstand zu jedem anderen Punkt ermittelt.
	Und dann bestimmen Sie die k-nächsten Nachbarn des Punktes oder die k Punkte für die kürzesten Entfernungen. Um dies zu verstehen, schauen wir uns ein Beispiel an. Konzentrieren wir uns also auf den rot hervorgehobenen Punkt, der dunkelrot ist, und auf seine Koordinaten
	4,51 und 15,66. Wenn ich diesen Punkt in Blau nehme, die Koordinaten sind 4,67 und 15,54, kann ich den Abstand zwischen diesen Punkten ermitteln.
	Oder die Idee der nächsten Nachbarn ist für diesen Punkt in Rot, ich kann die Entfernung von diesem Punkt an jedem anderen Punkt im Datensatz finden.
	Und dann kann ich die Abstände vom kleinsten zum größten sortieren und dann die auswählen, die ich möchte.
	Wenn ich zum Beispiel wissen wollte, wann k=2 ist, zwei Punkte, die dem roten Punkt am nächsten liegen, sehe ich, dass es sich um die beiden Punkte in Rosa handelt und sie diejenigen sind, die dem Punkt am nächsten liegen rotes.
	Okay, was ich jetzt tun möchte, ist, die Lösung durchzusprechen und dann ... auf hohem Niveau, und dann werde ich langsamer und gehe die Schritte durch. Unsere Lösung basierte also darauf, wenn Sie über einen großen Datensatz verfügen:
	Wir können zunächst den Median der +/-3 Standardabweichungen für jede Variable ermitteln (und ich möchte darauf hinweisen, dass Sie auch den mmean verwenden können).
	Und dabei definieren wir, was wir unsere angestrebten Ecken oder unsere gewünschten Ecken nennen, und zwar je niedriger der höchste ... basierend auf dem niedrigeren Höhepunkt jeder Variablen.
	Und dann werden wir den Abstand von jedem Punkt zu dieser Zielecke ermitteln und die Abstände vom kleinsten zum größten sortieren.
	und in unserem Fall bringen wir für unsere Bedürfnisse (und ich werde das auf einer kommenden Folie etwas näher erläutern) die k-nächsten Nachbarn in die Zielecke. Und im Allgemeinen können Sie k-Nachbarn sammeln, die das gewünschte Vertrauen darstellen. Und ich werde das gleich noch einmal etwas näher erläutern.
	Dann nehmen wir den Durchschnitt der k-Nachbarn und das wird unsere Lösung.
	Okay, hier ist die Idee, dass wir mit unseren beiden Variablen beginnen, wir finden den Mittelwert +/-...entschuldigen Sie, den Median +/-3 Standardabweichungen und wir können auch den Mittelwert verwenden.
	Und dabei nennen wir das unsere Zielecken. Wenn mich also die niedrige/hohe Ecke interessieren würde, die hohe, niedrige Ecke, der gelbe Stern im Pentagon, beginnen sie als das, was wir als definierte Zielecken bezeichnen.
	Im nächsten Schritt nehmen wir alle Datenpunkte und ermitteln den Abstand von jedem Punkt im Datensatz zu den Zielecken.
	Und sobald wir diese Abstände ermittelt haben, sortieren wir sie vom kleinsten zum größten.
	Und dann finden wir in diesem speziellen Beispiel die k-nächsten Nachbarn, die den Zielecken am nächsten liegen. Zur Veranschaulichung sehen Sie die fünf Punkte in Gelb
	sind die fünf Punkte, die dem gelben Stern am nächsten liegen, und die fünf Punkte in Lila sind diejenigen, die dem violetten Fünfeck am nächsten liegen.
	Dann nehmen wir den Durchschnitt dieser fünf Punkte und stellen dabei diese schwarzen Ellipsen dar, die wir als unseren Worst-Case-Wert verwenden würden.
	Und dann werden wir das nutzen, um unser Gerät zu entwerfen.
	Jetzt möchte ich Ihnen diese Punkte relativ zur Dichteellipse und relativ zu diesen Zielecken zeigen, und der gelbe Stern und das violette Fünfeck waren unsere ursprüngliche Methode.
	Und wir können sehen, dass die Dichteellipsen nicht schlecht sind, sie werden sogar ein bisschen besser. Und das wirklich Schöne an dieser speziellen Lösung ist, dass wir Datenpunkte in ihrer Nähe haben und das ist genau so, wie sie konzipiert ist.
	Darüber hinaus ist es für uns nicht zu konservativ, sodass wir diese zusätzlichen Kosten, wenn Sie so wollen, nicht bezahlen müssen, wenn wir das Gerät entwerfen, und wir uns nicht um die Verteilung der Daten kümmern mussten. Die Korrelationen haben eigentlich keinen Einfluss darauf, wie wir unser Problem lösen.
	Also gut, nehmen wir an, Sie interessieren sich für die Hoch/Hoch- und Tief/Tief-Grenzen, das hellblaue Fünfeck oder den dunkelblauen Stern. Auch diese Methode funktioniert.
	Und was Sie in den schwarzen Ellipsen, unserer Lösung, sehen, ist, dass wir auch hier Datenpunkte haben.
	Für uns ist dies ein wunderbarer Ansatz, da er, insbesondere im Vergleich zu unserem aktuellen Ansatz, nicht zu konservativ ist. Es mag ein wenig konservativ sein, aber es ist nicht so konservativ wie dieses Fünfeck und der Stern.
	Okay, vorhin habe ich ein paar Bemerkungen dazu gemacht, wie wir an die Sache herangehen und es gibt einige Möglichkeiten, also möchte ich jetzt die Wahl von K besprechen und sollten wir den Durchschnitt bilden?
	Und für mich basiert K möglicherweise auf Ihrem Konfidenzniveau, Ihrer Stichprobengröße und der Art Ihrer Philosophie, und lassen Sie mich das erklären.
	Nehmen wir als Beispiel an, ich hätte 1.000 Datenpunkte und wollte zu 95 % sicher sein.
	In diesem Fall kann ich die 25. kürzeste Entfernung für die beiden Ecken nehmen und das wären 2,5 % auf der unteren Seite oder der niedrigen/hohen Seite und 22,5 % auf der anderen Seite, und zusammen habe ich meine 95 % erreicht. Vertrauen.
	Ich könnte also einfach die 25. kürzeste Distanz nehmen und fertig sein. Das ist ein Ansatz. Ich kann auch die 23., 24., 25., 26. und 27. Distanz nehmen und sie mitteln.
	Und nehmen Sie den Durchschnitt von fünf Werten und verwenden Sie diesen als Ansatz. Es gibt also verschiedene Möglichkeiten, damit umzugehen.
	Für unsere speziellen Anforderungen haben wir wiederum sehr große Stichprobengrößen und möchten ein wenig konservativ sein und lassen uns nicht von 95- oder 99-prozentigen Konfidenzwerten leiten. Nur zur Veranschaulichung:
	Diese orangefarbenen Kreise in der Grafik rechts stellen möglicherweise beispielsweise das 95-Prozent-Konfidenzintervall dar, und es kann sich lediglich um den Durchschnitt von fünf Punkten oder um die 25. nächste Distanz handeln, nur um ein Beispiel zu nennen.
	Und anstatt diesen Ansatz zu verwenden, würden wir tatsächlich den Durchschnitt der ersten 25 Punkte nehmen und dabei am Ende die schwarzen Ellipsen erhalten, und Sie können sehen, dass sie sich nach außen bewegen und es schaffen etwas konservativer.
	Und so machen wir das bewusst, etwas konservativer.
	Und wieder ist es eine Wahl, und das Schöne für uns ist, dass es nicht so konservativ ist wie diese gewünschten Ecken, unser derzeitiger Ansatz, also haben wir da ein wenig konservative Natur, aber wir sind nicht übermäßig konservativ.
	In Ordnung. Was sind also die Vor- und Nachteile dieses Ansatzes? Das Positive ist, dass wir die Verteilung der Variablen nicht kennen müssen.
	Wir können problemlos mit einigen Korrelations- oder abhängigen Variablen umgehen, wir können problemlos mit mehreren Variablen umgehen, insbesondere mit mehr als zwei.
	Wir wissen, dass es Daten in der Nähe dieser Lösung gibt und dass ein Teil davon von der großen Datenmenge abhängt. Wir können ein Skript in einem Add-In in JMP erstellen, um die Berechnungen einfach durchzuführen.
	Der Nachteil ist, dass dafür ein ausreichend großer Datensatz erforderlich ist, denn wenn Sie als Beispiel ein Konfidenzniveau von 99 %, also ein wirklich hohes Konfidenzniveau, wünschen, benötigen Sie wirklich viele Daten.
	Also gut, so sieht unser Add-in aus, diese Benutzeroberfläche, und Sie haben die möglichen Variablen in der oberen linken Ecke.
	Und dann geben Sie auf der oberen Seite beispielsweise die hohen Widerstandswerte ein, und zwar in dieser grünen Hervorhebung. Wenn ich zur violetten Hervorhebung übergehe, können wir einige Werte auf der niedrigen Seite hinzufügen. In diesem Beispiel würden wir also sagen, dass wir die niedrige Kapazitätskombination wünschen.
	Dann müssen Sie als Nächstes in Ihr gewünschtes Vertrauen eintreten.
	Und wir haben eine Rückruftaste, was für die Benutzer praktisch ist.
	Und dann haben wir noch unser Teamlogo, das dem Artikel ein schönes und professionelles Aussehen verleiht.
	Okay, sobald Sie dieses Add-in ausführen, werden die Skripts ausgelöst und die Ausgabe ist eine JMP-Tabelle.
	Und in dieser JMP-Tabelle möchte ich in dieser Hervorhebung, in dieser grünen Hervorhebung als Erstes darauf hinweisen, dass wir für alle acht Variablen den Median, die Standardabweichung und die Angabe, ob es sich um die untere oder obere Seite handelte, erhalten uns interessierte.
	Und von dort aus bilden wir die gewünschte Ecke, sodass sie der Median minus drei Standardabweichungen für die untere Seite und die mittlere plus drei Standardabweichungen für die hohe Seite wäre. Und jetzt wieder in Lila, das ist unsere Zielecke.
	Als nächstes ermitteln wir die Abstände für alle Punkte
	in die gewünschte Ecke. Und dann werden wir in diesem Beispiel die fünf Punkte finden, die der gewünschten Ecke am nächsten liegen, und das sind die Nachbarschaftswerte. Sie werden unser Vektor aus fünf Werten sein. Die Nachbarschaftsindizes erkläre ich auf der nächsten Folie etwas näher.
	Dann nehmen wir in Blau den Durchschnitt dieser fünf nächsten Nachbarn und das wird unsere Lösung für das Problem. Die blaue Spalte stellt also die Worst-Case-Werte dar bzw. sind die Worst-Case-Werte, die wir zur Unterstützung bei der Entwicklung des Geräts verwenden würden.
	Jetzt haben wir hier auch eine Spalte namens Neighbor Z-Score, und was das ist, sie nimmt den Nachbardurchschnitt, unsere Lösung, und arbeitet gewissermaßen rückwärts und sieht, wie viele Standardabweichungen er vom Median entfernt ist.
	Und der Grund, warum wir das tun, ist, dass unser ursprünglicher Ansatz darin bestand, ungefähr diesen Median plus oder minus drei Standardabweichungen zu verwenden.
	Und wir stellen fest, dass wir, um das zu bekommen, was wir wollen, tatsächlich einen viel kleineren Multiplikator verwenden können. Das hat uns also nur dabei geholfen, herauszufinden, wie konservativ oder überkonservativ unsere derzeitige Methode ist. Es wird für keine Berechnungen verwendet, es hilft uns nur, es zu verstehen.
	Okay, ich habe diese Nachbarschaft erwähnt ... Entschuldigung, die Nachbarindizes. Also habe ich oben rechts die 109 und 126 lila hervorgehoben.
	Das entspricht den Zeilen der Daten. Wenn Sie dieses Add-In ausführen, erhalten Sie Ihre JMP-Tabelle.
	Es zeigt Ihnen, welche fünf Zeilen die fünf nächsten Nachbarn darstellen.
	und wählt sie auch in Ihrem Originaldatensatz aus. Und das Schöne daran ist, dass es die Farbcodierung erleichtert. Vorhin habe ich Ihnen das Beispiel mit Gelb gezeigt, also fünf Gelbe und fünf Lila.
	Und sobald Sie dieses Add-in ausführen, ist es ganz einfach, die Farben gleich zu ändern ... direkt nach der Ausführung des Add-ins.
	Okay, so sieht die Ausgabe für unsere acht Variablen aus.
	Und Sie können sehen, dass die grünen Punkte die Werte für niedrigen Widerstand/hohe Kapazität darstellen, die roten Punkte die Werte für hohen Widerstand/niedrige Kapazität. Und ich möchte nur darauf hinweisen, dass ich im unteren rechten Teil dieser Grafik lila hervorgehoben habe:
	Wenn Sie zum Beispiel die grünen und roten Punkte sehen, handelt es sich nicht um extreme Punkte für eine bestimmte Variable, und das ist der gleichzeitige Aspekt dieses Problems.
	Es löst wirklich das Problem über alle acht Variablen hinweg. Für einige Variablen kann das also extrem sein, für andere vielleicht nicht, und das ist für uns in Ordnung.
	Aber noch einmal ... und dabei hilft das, die Beziehungen zwischen unseren Variablen zu verstehen, und dies wäre wiederum eine grafische Darstellung unserer endgültigen Lösung, unseres Worst-Case-Werts ... unserer Worst-Case-Werte.
	Okay, wenn ich nur zur Veranschaulichung des Add-Ins auf diesen BigClass-Datensatz zurückgreife, möchte ich erkennen, dass es sich um einen kleinen Datensatz handelt. Dies dient lediglich der Veranschaulichung. Ich kann das Skript ausführen und nach der High/High-Seite fragen, ich kann es ausführen und nach der Low/Low-Seite fragen.
	Dabei erhalte ich wie zuvor erneut den Median und die Standardabweichung. Ich werde es verwenden, um die Grenze zu finden.
	Und das ist meine gewünschte Ecke, dann werde ich die fünf Nachbarn finden, die dieser Grenze am nächsten liegen. Und Sie können in Grün sehen, dass das die tatsächlichen Werte sind, und diese werden in der Grafik in Gelb und Lila dargestellt.
	Die Nachbarindizes beziehen sich auf die Zeilen und ermöglichen mir so eine schnelle Farbkodierung meiner Daten.
	Der Nachbardurchschnitt ist unser gelber Stern und unser violettes Fünfeck, und das wäre unsere Lösung des Problems. Und noch einmal machen wir den Z-Score, damit wir intern eine Vorstellung davon haben, wie konservativ diese Methode ist.
	Okay, an dieser Stelle möchte ich nur einige Punkte unseres Drehbuchs hervorheben. Als wir also unser Skript erstellt haben und Sie oben rechts sehen können, wissen Sie, dass wir diese Panel-Box erstellt haben.
	Und hellblau, hier bitten wir den Benutzer, Variablen einzugeben, die ... wir auf der oberen Seite finden, und die Variablen, die auf der unteren Seite zu finden sind.
	In dieser kupferfarbenen Farbe erhalten wir die Eingabe des Perzentils, und das ist eigentlich eine Zahl.
	Und Sie können auch in den Zeilen 222 und 223 sehen, dass wir eine Rückruffunktion erstellen.
	Okay, eines der Dinge, die wir gerne durchführen, sind Datenqualitätsprüfungen. Sie wissen also, dass wir möchten, dass dies so fehlersicher wie möglich ist, fehlerfrei.
	Sie müssen also beispielsweise dieses Konfidenzniveau als Zahl eingeben, und dann führen wir eine Prüfung durch, um sicherzustellen, dass es zwischen Null und 100 liegt. Andernfalls erhält der Benutzer eine Fehlermeldung, dass er seine Eingabe ändern muss.
	Ebenso benötigen wir unten etwas in der unteren oder oberen Liste, um dies auszuführen. Daher führen wir diese Datenprüfungen durch, um sicherzustellen, dass etwas eingegeben wurde.
	Okay, als nächstes haben wir etwas namens Sumcols-Funktion.
	Und was die Sumcols-Funktion macht, ist, dass sie die vergangenen Spalten durchläuft. Mit anderen Worten: Es werden die von Ihnen eingegebenen Tiefen und Höhen übernommen
	und gibt ein Wörterbuch oder ein assoziatives Array mit einigen für uns wichtigen Informationen zurück. Wenn ich also rechts unten schaue, unten rechts,
	Entschuldigung, wenn ich unten rechts nachschaue, zum Beispiel in Orange, werden dort Informationen zum Datentyp gesammelt.
	Wie viele Datenpunkte gab es, wie hoch ist der Median und wie hoch ist die Standardabweichung? In Lila wird es diese Berechnung durchführen und uns das gewünschte Ergebnis bescheren
	Ecke oder gezielte Ecke, die wir unsere Grenze nennen werden. Und dann in Blau, das AA, das ist unser assoziatives Array und das bringt alle Informationen oder speichert alle Informationen, die wir für den nächsten Schritt benötigen.
	Also gut, von hier aus beginnen wir mit der Berechnung dieser Entfernungen. Und so können Sie in der blauen Hervorhebung sehen,
	und das ist auf der niedrigen Seite, und wenn man direkt darunter geht, ist das auf der hohen Seite. Wir fangen an, den Abstand von jedem Punkt zu dieser Zielecke zu ermitteln.
	Und wir müssen die Rechnung machen, wissen Sie, das wurde schon früher gezeigt, wo wir quadrieren und dann die Quadratwurzel ziehen, aber im Wesentlichen ermitteln wir nur den Abstand von den Punkten zu drei Sigma.
	Und ganz unten werden wir sie dann sortieren, diese Abstände ordnen und dann die heraussuchen, die wir brauchen.
	Und ich möchte darauf hinweisen, dass sechs, sieben und acht orange hervorgehoben sind.
	Wann immer wir unsere Skripte schreiben, geben wir unser Bestes, um Kommentare zu haben. Und manchmal, wenn eine Person an einem Drehbuch arbeitet, wird sie unglücklicherweise zu etwas anderem hingezogen, und jemand anderes kann es tun
	Beenden Sie es, also ist es wirklich schön, diese Kommentare zu haben, damit jemand anderes übernehmen und wirklich verstehen kann, was los ist.
	Darüber hinaus ist es schön, dass diese Kommentare, selbst wenn Sie der Einzige sind, der daran arbeitet, wissen, dass Sie sich Jahre später daran erinnern, was jeder Schritt bewirkt, wenn Sie noch einmal darauf zurückgreifen müssen. Deshalb geben wir unser Bestes, um Kommentare abzugeben.
	Also gut, schließlich durchlaufen wir die niedrige und die hohe Seite und geben einige Werte in einem Wörterbuch zurück. Und Sie können in Blau sehen, was wir tun, ist, die minimalen Nachbarn herauszusuchen, und das ist der Vektor, der in der Ausgabe herauskam.
	Dann nehmen wir den Durchschnitt davon und das ist unsere Lösung; das passiert in Orange. Und nur als Beispiel: In Lila finden wir unseren Z-Score. Sobald wir also die Informationen über alle diese Entfernungen erhalten und sie sortiert haben,
	Anschließend entnehmen wir die Informationen, die wir benötigen, um daraus eine Tabelle zu erstellen, die uns entspricht.
	Okay, also fassen wir das alles zusammen. Unser motivierendes Problem besteht darin, dass wir diese gleichzeitigen Worst-Case-Grenzen finden wollten, um uns beim Entwerfen eines Geräts zu helfen, und unsere aktuelle Lösung zu konservativ ist; es kostet uns Geld und Zeit.
	Und wenn wir dieses Problem lösen, wissen wir, dass die Daten der multivariaten Normalverteilung folgen können oder auch nicht, unsere Daten sind nicht unabhängig.
	Und die Häufigkeit dieser Probleme erfordert wirklich eine einfache Lösung, am besten mit JMP und damit unserer Lösung
	bestand darin, ein JMP-Add-In zu erstellen, das einfach zu verwenden ist, das Konzept der k-nächsten Nachbarn verwendet, dessen Ausgabe leicht zu verstehen ist und uns dabei hilft, schnell Diagramme zu erstellen, die wir farblich kennzeichnen können, damit wir sie anderen zeigen können.
	Alles klar, vielen Dank.

Das Beste vom GipfelAusbrechenDatenexplorationJSL-AnwendungsentwicklungBetreff: Ein JMP-Skript, das eine gleichzeitige 95-%-Grenze mithilfe eines K-Nearest-Neighbor-Ansatzes bestimmt (2021-US-30MP-911)

Hallo Patrick ( @PatrickGiuliano ),

 

1) Was das Add-in betrifft, kann ich Ihnen aus IP-Gründen leider nicht senden, was wir verwenden.Wir haben versucht, den Kern des Drehbuchs in die Präsentation einzubeziehen, damit jemand es selbst reproduzieren kann.Obwohl mir klar ist, dass dies nicht die ideale Situation ist, können Sie hoffentlich mit dem, was bereitgestellt wurde, etwas Ähnliches bauen.

 

2) Es gibt zwei Ideen vom Typ „Vertrauen“ oder „Abdeckung“.

a) Der erste ist der Mittelwert (oder Median) +/- 3 Standardabweichungen.Dadurch entstehen unsere gewünschten Ecken.Wir verwenden die gewünschten Ecken in der Gleichung, um den Abstand zu ermitteln.Mit anderen Worten: Für jeden beobachteten Punkt ermitteln wir den Abstand von diesem Punkt zur gewünschten Ecke.Der Mittelwert von +/- 3 Standardabweichungen dient also tatsächlich der Richtung und nicht einem bestimmten Vertrauen oder einer bestimmten Abdeckung.Ich habe versucht, durchschnittlich +/- 4 Standardgeräte, +/- 5 Standardgeräte usw. zu verwenden – alle lieferten ähnliche Ergebnisse.

b) Das zweite ist das „Perzentil des nächsten Nachbarn“, das in das Dialogfeld eingegeben wird (das Sie oben anzeigen – in Kupfer/Braun).Für diesen Wert gibt es eine Abdeckungs- oder Konfidenztypdefinition.Dieser Wert bestimmt die Wahl von k.Wenn ich beispielsweise 1000 Beobachtungen habe und ein Perzentil von 99 % eingebe, möchte ich den zehntkleinsten Abstand zur gewünschten Ecke.Theoretisch gehen wir davon aus, dass 1 % der Verteilung „außerhalb“ dieses Punktes liegt.Anstatt einen Punkt zu berechnen, nehme ich auch den Durchschnitt von 5 Nachbarn.Beispielsweise kann ich den Durchschnitt des 8., 9., 10., 11. und 12. nächsten Nachbarn nehmen, um den Punkt darzustellen, der eine Abdeckung von 99 % aufweist (oder bei dem erwartet wird, dass 1 % der Verteilung „außerhalb“ dieses Punktes liegt).

 

Hoffentlich macht das Sinn.Wenn nicht, gehe ich gerne mit Ihnen einen Datensatz durch.

 

Grüße,

Reich

 

Betreff: Ein JMP-Skript, das eine gleichzeitige 95-%-Grenze mithilfe eines K-Nearest-Neighbor-Ansatzes bestimmt (2021-US-30MP-911)

Hallo @richnewman , Interessanter Ansatz!Vielen Dank, dass Sie dies mit der Community und @Discovery Summit Americas 2021 geteilt haben.Ich frage mich, ob Sie ein Beispiel-Add-In haben, das Sie denjenigen von uns zur Verfügung stellen können, die daran interessiert sind, diesen Ansatz im Kontext unserer eigenen Anwendung auszuprobieren?Vielen Dank im Voraus für Ihre Aufmerksamkeit.

Normal Distribution(3)

Außerdem habe ich eine Frage zur Wahl des k-Sigma-Multiplikators, den Sie hier verwenden (in diesem Fall k = 3, um 99,865 % der Bevölkerung auf beiden Seiten des Mittelwerts unter der Annahme der Normalität abzudecken); zu dem wir in JMP wie folgt gelangen können:

 

Ist die Wahl „Abdeckung“ in diesem Zusammenhang wirklich ein Konfidenzniveau? Für mich spricht dies eher für die „Abdeckung“ (Anteil, der von der Standardnormalverteilung abgedeckt wird, unter der Annahme eines Mittelwerts und eines Sigmas, die unter der Normalitätsannahme berechnet werden; oder in Ihrem Fall für einen Median zur Behandlung des „nicht normalen“ Falles) und nicht für eine Konfidenz Ebene.Bezeichnen wir es so im Zusammenhang mit „K Nearest Neighbors“?

Danke, @PatrickGiuliano