398752_de-DE

liliconcom

Ein JMP-Skript, das eine simultane 95 %-Grenze mit einem K-Nearest-Neighbor-Ansatz bestimmt (2021-US-30MP-911)

Niveau: Mittelstufe

 

Rich Newman, Statistiker, Intel
Don Kent, Manager für Datenanalyse und maschinelles Lernen, Intel

 

Wir haben eine Reihe von Antworten, die einer kontinuierlichen, unbekannten Verteilung folgen, mit Antworten, die höchstwahrscheinlich nicht unabhängig sind.Wir wollen die simultane 95 % Ober- oder Untergrenze für jede Antwort bestimmen.Beispielsweise möchten wir die unteren Grenzen von y1 und y2 sowie die oberen Grenzen von y3 und y4 so festlegen, dass 95 % der Daten gleichzeitig über y1 und y2 und unter y3 und y4 liegen.Das Finden der 95 %-Grenze für jede Antwort führt zu einer ungenauen Abdeckung. Die Lösung: eine Methode zur Berechnung der simultanen Ober- oder Untergrenze von 95 % für jede Antwort unter Verwendung des Prinzips des nächsten Nachbarn durch Schreiben eines JMP-Skripts zur Durchführung der Berechnungen.

 

 

Automatisch generiertes Transkript...

 

Lautsprecher	Abschrift
reich n	Hallo, mein Name ist Rich Newman und ich bin Statistiker bei Intel. Und heute stelle ich ein JMP-Skript vor, das eine simultane 95 %-Grenze unter Verwendung eines K-Nearest-Neighbor-Ansatzes bestimmt.
	Diese Präsentation wurde von Don Kent mitverfasst, der ebenfalls bei Intel arbeitet und wir beide in Rio Rancho, New Mexico, ansässig sind.
	Ich möchte die heutige Präsentation damit beginnen, das Problem zu begründen, und von dort aus werde ich einige mögliche Lösungen vorstellen und schließlich zu der Lösung kommen, die wir gewählt haben.
	Nebenbei stelle ich einige Grafiken zur Verfügung, um die Punkte weiter zu veranschaulichen, und schließlich zeige ich das JMP-Add-In, das wir zur Lösung des Problems verwenden, sowie einige Screenshots, die das Skript veranschaulichen.
	Wir entwerfen ein Gerät und müssen wissen, was der Worst-Case-Satz aus vier Widerstands- und vier Kapazitätswerten ist, die wir sehen.
	Und der schlimmste Fall ist für uns definiert als die Kombinationen niedriger Widerstand/hohe Kapazität und die Kombinationen hoher Widerstand/niedrige Kapazität. Also zur Verdeutlichung,
	Wir haben acht Variablen und benötigen möglicherweise die gleichzeitigen Grenzen der vier niedrigen Widerstandswerte und der vier hohen Kapazitätswerte, damit wir sie verwenden können, um uns beim Entwerfen des Geräts zu helfen. Und der schlimmste Fall kann als 95 % Vertrauen oder 99 % Vertrauen definiert werden, und letztendlich liegt dies beim Benutzer.
	In Ordnung, um dieses Problem zu veranschaulichen, verwenden wir nur einen Widerstands- und einen Kapazitätswert. Ich habe also Widerstand auf der X-Achse, Kapazität auf der Y-Achse, und wir wollen zwei Dinge wissen. Wir wollen diesen gelben Stern wissen, das Schlimmste
	Kombination aus niedrigem Widerstand und hoher Kapazität, und wir wollen das violette Fünfeck kennen, die Kombination aus hohem Widerstand und niedriger Kapazität.
	Okay, in Bezug auf unser Problem möchte ich darauf hinweisen, dass wir erkennen, dass diese acht Variablen, diese acht Antworten nicht unabhängig sind. Es gibt einige Korrelationen zwischen ihnen.
	Darüber hinaus kann jede dieser Antworten einer Normalverteilung oder der multivariaten Normalverteilung folgen oder auch nicht.
	Wir stellen diese Art von Fragen häufig. Mit anderen Worten, wir wollen das nicht einmal lösen und damit fertig sein und uns nie wieder damit befassen. Diese Fragen werden uns gestellt
	oft, also brauchen wir wirklich eine robuste Lösung, die einfach zu bedienen ist. In unserem Fall haben wir das große Glück, dass wir relativ große Datensätze haben, mindestens 400 Punkte, und das haben wir normalerweise
	1.000 Punkte. Und für uns funktioniert eine praktische Lösung, solange dahinter eine statistische Methodik steckt. Wenn ich also zu dieser vorherigen Grafik zurückkehre, ist es nicht so, als würde ich einen Dartpfeil auf diese Grafik werfen und sagen, wo immer er landet,
	es wird unser schlimmster Fall sein. Sie möchten wirklich etwas mehr Fleisch dahinter, aber ich möchte darauf hinweisen, dass wir nicht unbedingt eine Definition des schlimmsten Falls haben, ob es 99 % oder 95 sind.
	Und wir wissen einfach, dass es besser ist, ein bisschen konservativ zu sein, um sicherzustellen, dass wir ein Gerät entwickeln, das wirklich funktioniert und in Zukunft keine Probleme mehr hat.
	Okay, ich möchte ein komplett erfundenes Beispiel zeigen, nur um zu veranschaulichen, dass diese Art von Problem in jeder Branche auftreten kann.
	Stellen Sie sich also vor, wir hätten verstellbare Schreibtische für das Klassenzimmer hergestellt und wir möchten, dass unser Schreibtisch für 99 % der Bevölkerung funktioniert.
	die Körpergröße und die Breite einer Person.
	Wenn Sie JMP haben, enthält es einige Beispieldaten, und einer dieser Datensätze heißt BigClass. Und in BigClass hat es
	einige Studenten darin und ihre Größen und Gewichte. Und so können wir diesen Datensatz verwenden, um uns dabei zu helfen, die Größen- und Gewichtsgrenzen zu bestimmen, die 99 % der Bevölkerung erfassen.
	Wenn ich mir also diese Grafik hier unten rechts ansehe, sehen wir, dass die Punkte darstellen … jeder Punkt repräsentiert die Kombination aus Größe und Gewicht eines Schülers.
	Okay, wenn ich auf unser Problem zurückkomme,
	Unser derzeitiger Ansatz, von dem wir glauben, dass er verbessert werden kann, besteht darin, dass wir unabhängig voneinander Vorhersagegrenzen von 95 % oder 99 % für Widerstand und Kapazität finden.
	Und in diesem Beispiel, in dem ich nur einen Widerstand und eine Kapazität betrachte, würden wir zwei getrennte Grenzen finden.
	Als Beispiel würden wir die 95%-Vorhersagegrenze für den Widerstand finden, die bei 4,52 und 4,97 liegt und durch die dunkleren blauen Linien gekennzeichnet ist.
	Und dann würden wir eine 95-prozentige Vorhersagebilanz für die Kapazität finden, die 15,6 und 16,5 beträgt, was durch diese grünlich-blauen Linien gekennzeichnet ist, und dann finden wir die Kombinationen, um uns diesen gelben Stern und das violette Fünfeck zu geben, was unseren schlimmsten Fall ergibt.
	Jetzt haben wir ein wenig Bedenken mit diesem Ansatz. Und die erste Sorge betrifft eine Fehlerquote 1. Art. Wenn ich also eine Grenze von 95 % für Widerstand 1 und eine Grenze von 95 % für Widerstand finde ...
	Denken Sie bei Kapazität 1 daran, dass ich acht Variablen habe. Insgesamt kenne ich meine Konfidenzniveaus, nicht 95%. Und was es ist, hängt von der Korrelation der Variablen ab.
	Jetzt können wir diese Hürde überwinden, indem wir eine Alpha-Anpassung vornehmen, aber es gibt eine andere Hürde, die ich besprechen wollte und die uns etwas größere Sorgen bereitet.
	Okay, was wäre, wenn wir an der High/High-Kombination interessiert wären, die durch diesen gelben Kreis gekennzeichnet ist?
	In diesem speziellen Beispiel können Sie sehen, dass wir keine Daten in der Nähe dieser Worst-Case-Grenze haben. Wenn wir also diese verwenden würden, wäre dies äußerst konservativ.
	Und wenn wir unser Gerät entwerfen, wird es mit Kosten und Zeit verbunden sein, also wollen wir ein bisschen konservativ sein, aber wir möchten nicht so konservativ sein, dass wir diesen gelben Kreis verwenden würden, weil wir bekommen wirklich keine Datenpunkte drumherum.
	Okay, es gibt einige alternative Ansätze, die in JMP einfach umzusetzen sind und die wir als Lösungen für dieses Problem in Betracht ziehen wollten, und der erste sind Dichteellipsen.
	Und dies findet sich in der Anpassungsplattform Y nach X. Wenn ich also auf das rote Dreieck bei der bivariaten Anpassung treffe, kann ich die Dichteellipse auswählen, und in diesem Fall habe ich eine Ellipse von 95 % gewählt. Und ich bekomme diese rote Ellipse in der Grafik.
	Nun, wenn JMP diese Dichteellipse bereitstellt, zeigt sie in der unteren rechten Ecke der Präsentation die mittlere Standardabweichung und Korrelation der beiden Variablen.
	Und was JMP nicht bereitstellt, ist die Gleichung der Ellipse. Nun, das ist eine Hürde, die wir überwinden können. Wir müssen nur etwas rechnen, um es lösen zu können.
	Aber die größere Hürde ist, was passiert, wenn Sie mehr als zwei Variablen haben?. In diesem Fall hat JMP keine einfache Option
	damit wir dieses Problem lösen können. Wir könnten also paarweise Ellipsen machen oder einfach zwei Variablen gleichzeitig, aber wir werden das gleiche Alpha-Problem haben und es wird ziemlich schwierig sein, herauszufinden, welche Punkte wir als unser ??? verwenden wollen.
	Nun gibt es bei diesem Ansatz noch ein weiteres sehr kleines Problem: Was wäre, wenn wir an dieser Hoch/Hoch-Ecke oder an diesem gelben Kreis interessiert wären? Welchen Punkt auf der Ellipse wählen wir?
	Und noch einmal, ich denke, das ist eine Hürde, die wir überwinden können, aber die zwei ... wenn wir mehr als zwei Variablen haben, ist das eine Hürde, die ziemlich knifflig ist. Wir sind nicht sicher, ob es einfach zu lösen ist.
	In Ordnung, es gibt einen anderen Ansatz, den wir können ... wir können ... das ist einfach in JMP zu machen, und das sind Hauptkomponenten.
	Und die Hauptkomponenten erstellen neue Variablen, und JMP beschriftet sie mit Prin 1 und Prin 2.
	so dass die neuen Variablen orthogonal zueinander sind. Und die Tatsache, dass sie orthogonal sind, können wir nutzen, um uns dabei zu helfen, unsere Worst-Case-Grenzen zu lösen.
	Und das finden Sie auf der Plattform für multivariate Methoden. Wenn Sie also multivariate Methoden, Hauptkomponenten analysieren, können wir nach diesen Hauptkomponenten fragen.
	Nun besteht die Sorge beim Hauptkomponentenansatz darin, dass die Mathematik extrem schwierig ist, wenn mehr als zwei Variablen vorhanden sind.
	Darüber hinaus versucht die Hauptkomponente theoretisch, die Dimensionalität zu reduzieren, mit anderen Worten, wenn ich acht Variablen hätte, die ich versuchen wollte, um diesen schlimmsten Fall gleichzeitig zu finden ... gleichzeitige Grenzen,
	aber JMP kommt vielleicht zurück und sagt: Okay, wir haben drei Hauptprinzipien gefunden, die wirklich helfen zu erklären, was vor sich geht.
	Und in diesem Fall haben wir drei Gleichungen und wir haben diese acht Unbekannten, und das bringt uns wirklich an eine schwierige Stelle, um das Problem zu lösen. Aus diesem Grund würden wir diesen Hauptkomponentenansatz nicht verwenden.
	Wo bleibt uns das? Unser Ziel ist es also, die gleichzeitige Worst-Case-Grenze zu finden, diese Hoch/Hoch-, Niedrig/Hoch- oder Niedrig/Niedrig/Hoch/Hoch-Kombination.
	Wir möchten ... wir möchten JMP verwenden, um uns bei der Lösung des Problems zu helfen. Es muss in der Lage sein, drei oder mehr Variablen zu verarbeiten.
	Jede Variable kann normal sein oder auch nicht. Wir erwarten einige Korrelationen. Die gute Nachricht ist, dass wir tendenziell relativ große Datensätze haben.
	Wir möchten sicherstellen, dass, wenn wir um diese Ecke gebeten haben, wenn Sie so wollen, dass dort Daten vorhanden sind und wir nicht in einer Situation feststecken, in der es keine Daten gibt. Und wieder kann eine einfache praktische Lösung ausreichend sein.
	Okay, was ich jetzt tun möchte, ist ein Konzept zu erklären, und dann werde ich Ihnen zeigen, wie dieses Konzept verwendet wird, um unser Problem zu lösen.
	Es gibt also ein Konzept namens K-Nächste-Nachbarn-Ansatz und die Idee ist, dass Sie einen Punkt haben und eine Entfernung von diesem Punkt zu jedem anderen Punkt finden.
	Und dann bestimmen Sie die k nächsten Nachbarn des Punktes oder die k Punkte für die kürzesten Entfernungen. Um daraus einen Sinn zu machen, schauen wir uns ein Beispiel an. Konzentrieren wir uns also auf den rot hervorgehobenen Punkt ... der dunkelrot ist und seine Koordinaten sind
	4.51 und 15.66. Wenn ich diesen Punkt in Blau nehme, die Koordinaten sind 4,67 und 15,54, kann ich die Entfernung zwischen diesen Punkten finden.
	Oder die Idee der nächsten Nachbarn ist für diesen Punkt in Rot, ich kann die Entfernung von diesem Punkt an jedem anderen Punkt im Datensatz finden.
	Und dann kann ich die Entfernungen vom kleinsten zum größten sortieren und dann die abreißen, die ich will.
	Wenn ich also zum Beispiel wissen wollte, dass bei k = 2 zwei Punkte die nächsten Nachbarn zu dem in Rot sind, sehe ich, dass es die beiden Punkte in Pink sind, und sie sind diejenigen, die dem am nächsten sind rote.
	Okay, was ich jetzt tun möchte, ist, die Lösung durchzusprechen und dann ... auf hohem Niveau, und dann werde ich langsamer und gehe die Schritte durch. Unsere Lösung basierte also darauf, wenn Sie einen großen Datensatz haben,
	wir können zuerst den Median +/-3 Standardabweichungen für jede Variable finden (und ich möchte darauf hinweisen, dass Sie auch den mmean verwenden könnten),
	und dabei definieren wir, was wir unsere angestrebten Ecken oder unsere gewünschten Ecken nennen, und das ist je niedriger, desto höher ... basierend auf dem niedrigeren Höhepunkt jeder Variablen.
	Und dann werden wir die Distanz von jedem Punkt zu dieser anvisierten Ecke finden, wir werden die Distanzen vom kleinsten zum größten sortieren,
	und in unserem Fall für unsere Bedürfnisse (und ich werde dies in einer der nächsten Folien etwas ausführlicher erklären) bringen wir die k-nächsten Nachbarn zur Zielecke. Und im Allgemeinen können Sie k-Nachbarn sammeln, die das gewünschte Vertrauen darstellen. Und wieder werde ich das gleich ein bisschen mehr erklären.
	Dann nehmen wir den Durchschnitt der k-Nachbarn und das wird unsere Lösung.
	Okay, also hier ist die Idee, dass wir mit unseren beiden Variablen beginnen, wir finden den Mittelwert +/- ... Entschuldigung, den Median +/- 3 Standardabweichungen, und wir können auch den Mittelwert verwenden.
	Und dabei nennen wir diese unsere Zielecken. Wenn mich also die Low/High-Ecke, die High.Low-Ecke, der gelbe Stern im Pentagon interessieren würde, beginnen sie als das, was wir ihre definierten Zielecken nennen.
	Der nächste Schritt ist, dass wir alle Datenpunkte nehmen und die Entfernung von jedem Punkt im Datensatz zu diesen Zielecken ermitteln.
	Und sobald wir diese Entfernungen haben, sortieren wir sie vom kleinsten zum größten.
	Und dann finden wir in diesem speziellen Beispiel die k-nächsten Nachbarn, die den anvisierten Ecken am nächsten sind. Nur zur Veranschaulichung sehen Sie die fünf Punkte in Gelb
	sind die fünf Punkte, die dem gelben Stern am nächsten sind, und die fünf Punkte in Lila sind diejenigen, die dem lila Fünfeck am nächsten sind.
	Dann nehmen wir jeweils den Durchschnitt dieser fünf Punkte, und dabei stellen diese schwarzen Ellipsen dar, was wir als unseren Worst-Case-Wert verwenden würden.
	Und dann werden wir das verwenden, um uns bei der Entwicklung unseres Geräts zu helfen.
	Jetzt möchte ich Ihnen diese Punkte relativ zur Dichteellipse und relativ zu diesen Zielecken zeigen, und der gelbe Stern und das violette Fünfeck sind unsere ursprüngliche Methode.
	Und wir können sehen, dass die Dichteellipsen nicht schlecht sind, sie werden ein bisschen besser. Und das wirklich Schöne an dieser speziellen Lösung ist, dass wir Datenpunkte in der Nähe haben, und das ist genau so, wie es entworfen wurde.
	Außerdem ist es für uns nicht zu konservativ, sodass wir diese zusätzlichen Kosten, wenn Sie so wollen, nicht bezahlen müssen, wenn wir das Gerät entwerfen, und wir mussten uns nicht um die Verteilung der Daten kümmern. Die Korrelationen sind wirklich nicht daran beteiligt, wie wir unser Problem lösen.
	Nehmen wir an, Sie interessieren sich für die oberen/hohen und unteren/unteren Grenzen, das hellblaue Fünfeck oder den dunkleren blauen Stern. Auch diese Methode funktioniert.
	Und was Sie in den schwarzen Ellipsen sehen, unsere Lösung, ist, dass wir hier wieder Datenpunkte haben.
	Daher ist das für uns ein wunderbarer Ansatz, weil er gerade im Vergleich zu unserem jetzigen Ansatz nicht zu konservativ ist. Es mag ein bisschen konservativ sein, aber es ist nicht so konservativ wie dieses Fünfeck und der Stern.
	Okay, vorhin habe ich einige Bemerkungen darüber gemacht, wie wir es angehen, und es gibt einige Wahlmöglichkeiten, also möchte ich jetzt die Wahl von K diskutieren und sollten wir mitteln?
	Und für mich basiert K auf Ihrem Konfidenzniveau, Ihrer Stichprobengröße und der Art Ihrer Philosophie, und lassen Sie mich das erklären.
	Nehmen wir als Beispiel an, ich hätte 1.000 Datenpunkte und wollte zu 95 % sicher sein.
	In diesem Fall kann ich die 25. kürzeste Entfernung für die beiden Ecken nehmen, und das wären 2,5 % auf der niedrigen Seite oder der niedrigen/hohen Seite und 22,5 % auf der anderen Seite, und zusammen habe ich meine 95 % eingefangen. Vertrauen.
	Also konnte ich einfach die 25. nächste Entfernung nehmen und fertig sein. Das ist ein Ansatz. Ich kann auch die 23., 24., 25., 26. und 27. Entfernung nehmen und sie mitteln.
	Und nehmen Sie den Durchschnitt von fünf Werten und verwenden Sie diesen als Ansatz. Es gibt also ein paar verschiedene Möglichkeiten, wie Sie damit umgehen können.
	Bei unseren speziellen Anforderungen haben wir wiederum sehr große Stichprobenumfänge und möchten ein wenig konservativ sein und uns nicht von 95 % oder 99 % Konfidenz leiten lassen. Also nur zu Veranschaulichungszwecken,
	Diese orangefarbenen Kreise in der Grafik rechts können beispielsweise das 95%-Konfidenzintervall darstellen und es kann nur der Durchschnitt von fünf Punkten oder vielleicht der 25. nächste Abstand sein, nur als Beispiel.
	Anstatt diesen Ansatz zu verwenden, würden wir tatsächlich den Durchschnitt der ersten 25 Punkte nehmen, und dabei würden wir mit den schwarzen Ellipsen enden und Sie können sehen, dass sie sich nach außen bewegen und es schaffen etwas konservativer.
	Und so machen wir das absichtlich, etwas konservativer.
	Und wieder ist es eine Wahl, und für uns ist das Schöne, dass es nicht so konservativ ist wie diese gewünschten Ecken, unser derzeitiger Ansatz, also bekommen wir dort ein wenig konservative Natur, aber wir sind nicht grob konservativ.
	In Ordnung. Was sind also die Vor- und Nachteile dieses Ansatzes? Positiv ist, dass wir die Verteilung der Variablen nicht kennen müssen.
	Wir können problemlos mit einigen Korrelationen oder abhängigen Variablen umgehen, wir können problemlos mit mehreren Variablen umgehen, insbesondere mit mehr als zwei.
	Wir wissen, dass es Daten in der Nähe dieser Lösung gibt, und ein Teil davon hängt von dieser großen Datenmenge ab, und wir können ein Skript in einem Add-In in JMP erstellen, um die Berechnungen einfach durchzuführen.
	Der Nachteil ist, dass dafür ein anständiger Datensatz erforderlich ist, denn wenn Sie beispielsweise das 99-prozentige Konfidenzniveau haben möchten, ein wirklich hohes Konfidenzniveau, benötigen Sie wirklich viele Daten.
	Okay, so sieht also unser Add-In aus, diese Benutzeroberfläche, und Sie haben die möglichen Variablen in der oberen linken Ecke.
	Und dann geben Sie auf der hohen Seite beispielsweise die hohen Werte des Widerstands ein, und das ist diese grüne Hervorhebung. Wenn ich zur violetten Hervorhebung gehe, können wir einige Werte auf der niedrigen Seite hinzufügen, und in diesem Beispiel würden wir sagen, wir wollen die niedrige Kombination von Kapazität.
	Dann ist das nächste, was Sie tun müssen, Ihr Vertrauen zu geben, dass Sie wollen.
	Und wir haben eine Rückruftaste, was für die Benutzer angenehm ist.
	Und dann haben wir unser Teamlogo, das den Artikel schön und professionell aussehen lässt.
	In Ordnung, sobald Sie dieses Add-In ausführen, werden die Skripts ausgelöst und die Ausgabe ist eine JMP-Tabelle.
	Und in dieser JMP-Tabelle ist das erste, worauf ich bei dieser Hervorhebung hinweisen möchte, bei dieser grünen Hervorhebung, dass wir für alle acht Variablen den Median erhalten, die Standardabweichung und ob es die niedrige oder die hohe Seite war wir haben uns interessiert.
	Und von dort aus bauen wir die gewünschte Ecke, also wäre es der Median minus drei Standardabweichungen für die niedrige Seite und die mittlere plus drei Standardabweichungen für die hohe Seite. Und jetzt wieder in Lila, das ist unsere gezielte Ecke.
	Dann finden wir als nächstes die Entfernungen für alle Punkte
	in die gewünschte Ecke. Und dann werden wir in diesem Beispiel die fünf Punkte finden, die dieser gewünschten Ecke am nächsten sind, und das sind diese Nachbarschaftswerte. Sie werden unser Vektor von fünf Werten sein. Die Nachbarschaftsindizes erkläre ich auf der nächsten Folie etwas genauer.
	Dann nehmen wir in Blau den Durchschnitt dieser fünf nächsten Nachbarn und das wird unsere Lösung für das Problem. Diese Spalte in Blau stellt also die Worst-Case-Werte dar, oder sie sind die Worst-Case-Werte, die wir verwenden würden, um uns beim Entwerfen des Geräts zu helfen.
	Jetzt haben wir hier auch eine Spalte namens Neighbor Z-score, und was das ist, es nimmt diesen Nachbardurchschnitt, unsere Lösung, und arbeitet irgendwie rückwärts und sieht, wie viele Standardabweichungen er vom Median entfernt ist.
	Und der Grund, warum wir das tun, liegt darin, dass unser ursprünglicher Ansatz darin bestand, ungefähr diesen Median plus oder minus drei Standardabweichungen zu nehmen.
	Und was wir feststellen, ist, dass wir tatsächlich einen viel kleineren Multiplikator verwenden können, um zu bekommen, was wir wollen. Das hat uns also nur geholfen zu wissen, wie konservativ oder übermäßig konservativ unsere derzeitige Methode ist. Es wird in keinen Berechnungen verwendet, außer dass es uns nur beim Verständnis hilft.
	In Ordnung, ich habe diese Nachbarschaft erwähnt ... entschuldigen Sie, die Nachbarindizes. Also habe ich oben rechts die 109 und 126 lila hervorgehoben.
	Das entspricht den Zeilen der Daten. Wenn Sie also dieses Add-In ausführen, erhalten Sie Ihre JMP-Tabelle.
	Es wird Ihnen sagen, welche fünf Zeilen die fünf nächsten Nachbarn darstellen,
	und wählt sie auch in Ihrem Originaldatensatz aus. Und das Schöne daran ist, dass es einfach ist, Farbcodierungen vorzunehmen. Ich habe Ihnen vorhin das Beispiel mit den Gelben gezeigt, also fünf Gelbe und die Fünf Lila.
	Und wenn Sie dieses Add-in einmal ausgeführt haben, ist es ganz einfach, die Farben richtig zu ändern ... direkt nach dem Ausführen des Add-ins.
	Okay, so sieht also die Ausgabe für unsere acht Variablen aus.
	Und Sie können sehen, dass die grünen Punkte die niedrigen Widerstands-/hohen Kapazitätswerte darstellen, die roten Punkte die hohen Widerstands-/niedrigen Kapazitätswerte. Und ich möchte nur darauf hinweisen, dass ich im unteren rechten Teil dieses Diagramms lila hervorgehoben habe,
	dass Sie zum Beispiel die grünen und roten Punkte sehen können, sie sind keine extremen Punkte für eine bestimmte Variable, und das ist der gleichzeitige Aspekt dieses Problems.
	Es löst das Problem wirklich über alle acht Variablen hinweg. Für einige Variablen mag das extrem sein, für andere vielleicht nicht, und das ist für uns in Ordnung.
	Aber noch einmal ... und dabei hilft das, die Beziehungen zwischen unseren Variablen zu verstehen, und dies wäre wiederum eine grafische Darstellung unserer endgültigen Lösung, unseres Worst Case ... unserer Worst-Case-Werte.
	Okay, wenn ich zu diesem BigClass-Datensatz zurückkehre, nur um das Add-In zu veranschaulichen, und ich möchte erkennen, dass dies ein kleiner Datensatz ist. Dies dient nur der Veranschaulichung. Ich kann das Skript ausführen und nach der hohen/hohen Seite fragen, ich kann es ausführen und nach der niedrigen/niedrigen Seite fragen.
	Dabei erhalte ich wieder wie zuvor den Median und die Standardabweichung. Ich werde es benutzen, um die Grenze zu finden.
	Und das ist meine gewünschte Ecke, dann werde ich die fünf Nachbarn finden, die dieser Grenze am nächsten sind. Und Sie können in Grün sehen, dass dies die tatsächlichen Werte sind, und diese sind in Gelb und Lila in der Grafik dargestellt.
	Die Nachbarindizes beziehen sich auf die Zeilen, und das ermöglicht mir, meine Daten schnell farblich zu codieren.
	Der benachbarte Durchschnitt ist unser gelber Stern und unser violettes Fünfeck, und das wäre unsere Lösung des Problems. Und wieder machen wir den Z-Score, nur damit wir intern eine Vorstellung davon haben, wie konservativ diese Methode ist.
	Okay, an dieser Stelle möchte ich nur einige Punkte unseres Skripts hervorheben. Als wir also unser Skript erstellt haben, und Sie können oben rechts sehen, wissen Sie, dass wir diese Panel-Box erstellt haben.
	Und hellblau, hier bitten wir den Benutzer, Variablen einzugeben, die wir auf der hohen Seite finden, und die Variablen, die auf der niedrigen Seite zu finden sind.
	In dieser kupferfarbenen Farbe erhalten wir dort die Eingabe des Perzentils, und das ist eigentlich eine Zahl.
	Und Sie können auch in den Zeilen 222 und 223 sehen, dass wir eine Rückruffunktion bauen.
	Okay, eines der Dinge, die wir gerne machen, sind Datenqualitätsprüfungen, also wissen Sie, dass wir wollen, dass dies so fehlerfrei wie möglich ist, fehlerfrei.
	Sie müssen beispielsweise dieses Konfidenzniveau als Zahl eingeben, und dann führen wir eine Überprüfung durch, um sicherzustellen, dass es zwischen null und 100 liegt, oder der Benutzer erhält eine Fehlermeldung, dass er seine Eingabe ändern muss.
	Ebenso unten brauchen wir etwas in der niedrigen Liste oder der hohen Liste, um dies auszuführen, also haben wir diese Datenprüfungen, um sicherzustellen, dass etwas eingegeben wurde.
	Okay, als nächstes haben wir etwas namens Sumcols-Funktion.
	Und die Funktion sumcols durchläuft die vergangenen Spalten. Mit anderen Worten, es werden die Höhen und Tiefen genommen, die Sie eingegeben haben
	und gibt ein Wörterbuch oder ein assoziatives Array mit einigen für uns wichtigen Informationen zurück. Also, wenn ich rechts nach unten schaue, rechts unten,
	Entschuldigung, wenn ich unten rechts schaue, zum Beispiel in Orange, werden Informationen zum Datentyp gesammelt.
	wie viele Datenpunkte gab es, was ist der Median, was ist die Standardabweichung. In Lila wird es diese Berechnung durchführen und uns unser Gewünschtes besorgen
	Ecke oder gezielte Ecke, die wir unsere Grenze nennen werden. Und dann in Blau, dieses AA, das ist unser assoziatives Array und das bringt all die Informationen oder speichert all diese Informationen, die wir für den nächsten Schritt brauchen.
	In Ordnung, was wir von hier aus tun, ist, dass wir anfangen, diese Entfernungen zu berechnen. Und so können Sie im blauen Highlight sehen,
	und das ist auf der niedrigen Seite, und wenn Sie direkt darunter gehen, ist das auf der hohen Seite. Wir beginnen, die Entfernung von jedem Punkt zu dieser Zielecke zu finden.
	Und wir müssen rechnen, wissen Sie, das wurde früher gezeigt, wo wir quadrieren und dann die Quadratwurzel ziehen, aber im Wesentlichen finden wir nur diesen Abstand von den Punkten zu drei Sigma.
	Und dann gehen wir unten durch den Prozess, sie zu sortieren, diese Abstände zu ordnen und dann die zu pflücken, die wir brauchen.
	Und ich möchte darauf hinweisen, dass sechs, sieben und acht orange hervorgehoben sind.
	Wann immer wir unsere Drehbücher schreiben, tun wir unser Bestes, um Kommentare zu haben. Und manchmal, wenn eine Person an einem Drehbuch arbeitet, wird sie leider zu etwas anderem gezogen, und jemand anderes kann es
	Es ist wirklich schön, diese Kommentare zu haben, damit jemand anderes übernehmen und wirklich verstehen kann, was vor sich geht.
	Außerdem ist es schön, dass diese Kommentare, auch wenn Sie der einzige sind, der daran arbeitet, dass Sie sich Jahre später daran erinnern, was jeder Schritt bewirkt, wenn Sie darauf zurückkommen müssen. Deshalb tun wir unser Bestes, um Kommentare abzugeben.
	Alles klar, was wir schließlich tun, ist, wissen Sie, wir gehen die niedrige und die hohe Seite durch und geben einige Werte in einem Wörterbuch zurückj. Und Sie können in Blau sehen, was wir tun, ist, dass wir die minimalen Nachbarn entfernen und das ist der Vektor, der in der Ausgabe herauskam.
	Dann nehmen wir den Durchschnitt von ihnen und das ist unsere Lösung; das passiert in orange. Und nur als Beispiel, in Lila finden wir unseren Z-Score. Also, sobald wir die Informationen bekommen haben, all diese Entfernungen, haben sie sortiert,
	Wir entnehmen dann die Informationen, die wir benötigen, um dann eine Tabelle zu erstellen, die unsere ist.
	Okay, also alles zusammen. Unser motivierendes Problem ist, dass wir diese gleichzeitigen Worst-Case-Grenzen finden wollten, um uns beim Entwerfen eines Geräts zu helfen, und unsere aktuelle Lösung ist zu konservativ; es kostet uns Geld und Zeit.
	Und wenn wir dieses Problem lösen, wissen wir, dass die Daten der multivariaten Normalverteilung folgen können oder nicht, unsere Daten sind nicht unabhängig.
	Und diese Häufigkeit erfordert wirklich eine einfache Lösung, vorzugsweise mit JMP, und daher unsere Lösung
	war es, ein JMP-Add-In zu erstellen, das einfach zu verwenden ist, das das Konzept der k-nächsten Nachbarn verwendet, die Ausgabe leicht verständlich ist und uns dabei hilft, schnell diese Diagramme zu erstellen, die wir farbig codieren können, damit wir sie anderen zeigen können.
	In Ordnung, vielen Dank.

Das Beste vom GipfelAusbrechenDatenexplorationJSL-AnwendungsentwicklungBetreff: Ein JMP-Skript, das eine gleichzeitige 95-%-Grenze mit einem K-Nearest-Neighbor-Ansatz bestimmt (2021-US-30MP-911)

Hallo Patrick ( @PatrickGiuliano ),

 

1) In Bezug auf das Add-In kann ich Ihnen aus IP-Gründen leider nicht senden, was wir verwenden.Wir haben versucht, das „Fleisch“ des Drehbuchs in die Präsentation aufzunehmen, damit es jemand selbst reproduzieren kann.Ich erkenne zwar an, dass dies nicht die ideale Situation ist, aber hoffentlich können Sie das, was bereitgestellt wurde, verwenden, um etwas Ähnliches zu erstellen.

 

2) Es gibt zwei Ideen vom Typ „Vertrauen“ oder „Abdeckung“.

a) Der erste ist der Mittelwert (oder Median) +/- 3 Standardabweichungen.Dies erzeugt unsere gewünschten Ecken.Wir verwenden die gewünschten Ecken in der Gleichung, um den Abstand zu finden.Mit anderen Worten, wir finden für jeden beobachteten Punkt die Entfernung von diesem Punkt zur gewünschten Ecke.Daher ist der Mittelwert von +/- 3 Standardabweichungen wirklich für die Richtung und nicht für ein bestimmtes Vertrauen oder eine bestimmte Abdeckung.Ich habe versucht, mittlere +/- 4 Std-Entwickler, +/- 5 Std-Entwickler, ... zu verwenden - alle ergaben ähnliche Ergebnisse.

b) Das zweite ist das "Nächste-Nachbar-Perzentil", das in das Dialogfeld eingegeben wird (das Sie oben zeigen - in kupferner/brauner Färbung).Dieser Wert hat eine Abdeckungs- oder Konfidenztypdefinition.Dieser Wert bestimmt die Wahl von k.Wenn ich beispielsweise 1000 Beobachtungen habe und ein Perzentil von 99 % eingebe, dann möchte ich den 10. kleinsten Abstand zur gewünschten Ecke.Theoretisch erwarten wir, dass 1 % der Verteilung „außerhalb“ dieses Punktes liegt.Anstatt einen Punkt zu berechnen, kann ich einen Durchschnitt von 5 Nachbarn nehmen.Zum Beispiel kann ich den Durchschnitt des 8., 9., 10., 11. und 12. nächsten Nachbarn nehmen, um den Punkt darzustellen, der eine Abdeckung von 99 % hat (oder wo 1 % der Verteilung voraussichtlich „außerhalb“ dieses Punktes liegt).

 

Hoffentlich macht das Sinn.Wenn nicht, gehe ich gerne mit Ihnen einen Datensatz durch.

 

Grüße,

Reich

 

Betreff: Ein JMP-Skript, das eine gleichzeitige 95-%-Grenze mit einem K-Nearest-Neighbor-Ansatz bestimmt (2021-US-30MP-911)

Hallo @richnewman , Interessanter Ansatz!Vielen Dank, dass Sie dies mit der Community und dem @Discovery Summit Americas 2021 teilen.Ich frage mich, ob Sie ein Beispiel-Add-In haben, das Sie für diejenigen von uns freigeben können, die daran interessiert sind, diesen Ansatz im Kontext unserer eigenen Anwendung auszuprobieren.Vielen Dank im Voraus für Ihre Aufmerksamkeit.

Normal Distribution(3)

Außerdem habe ich eine Frage zur Wahl des k-Sigma-Multiplikators, den Sie hier verwenden (in diesem Fall k = 3, um 99,865 % der Bevölkerung auf beiden Seiten des Mittelwerts unter der Annahme der Normalität abzudecken); was wir in JMP mit folgendem erreichen können:

 

Ist die Auswahl "Abdeckung" in diesem Zusammenhang wirklich das Konfidenzniveau? Für mich spricht dies eher für die "Abdeckung" (Anteil, der unter der Standardnormalverteilung abgedeckt ist, unter der Annahme eines Mittelwerts und Sigmas, die unter der Normalitätsannahme berechnet wurden; oder in Ihrem Fall ein Median, um den "nicht normalen" Fall zu behandeln) und nicht für ein Vertrauen Eben.Nennen wir es so im Zusammenhang mit "K Nearest Neighbors"?

Vielen Dank, @PatrickGiuliano