Statistischer Test zum Algorithmenvergleich – JMP ProHallo,
Ich möchte die Effizienz zweier verschiedener Algorithmen testen.
Ich habe zwei Zufallsstichproben aus derselben Grundgesamtheit. Bei einem Beispiel führe ich Algorithmus X aus; Bei einem anderen Beispiel führe ich Algorithmus Y aus. Es gibt jeweils 30 Datensätze. Der Variablentyp ist kontinuierlich.
Welchen Statistiktest kann ich durchführen, um den besten Algorithmus herauszufinden und welche Parameter ich vergleichen sollte?
Bitte lassen Sie mich wissen, wenn weitere Details erforderlich sind.
Danke
Nick
Erweiterte statistische ModellierungDatenmischung und -bereinigungBetreff: Statistischer Test zum Algorithmusvergleich – JMP ProVielen Dank Mark.
Betreff: Statistischer Test zum Algorithmusvergleich – JMP ProStatistische Schlussfolgerungen sind hilfreich, wenn die Beobachtung der gesamten Bevölkerung nicht möglich ist. Die Bevölkerung ist in Ihrem Beitrag nicht definiert. Bei der statistischen Inferenz wird die Unsicherheit bei der Schätzung eines Parameters aufgrund von Stichproben aus der Grundgesamtheit bewertet. Vergleichen Sie die beiden Algorithmen anhand eines Effizienzmaßes wie der Verarbeitungszeit oder der Verarbeitungsschritte unter Verwendung derselben Datenstichprobe. In diesem Fall handelt es sich um einen paarweisen Vergleich, der den paarweisen t-Test für das kontinuierliche Ergebnis jedes Algorithmus verwenden kann.
Ihre Daten könnten wie diese Tabelle aussehen:
Ich habe einige Daten nachgeahmt. Es gibt 100 Datenproben aus derselben Grundgesamtheit. Die Beispiele könnten aus Resampling oder Bootstrapping stammen. Das Ergebnis ist die Anzahl der Sekunden, die zum Abschließen des Algorithmus benötigt werden.
Sie können diese Ergebnisse mit analysieren Analysieren > Spezialisierte Modellierung > Passende Paare .
Dieses Beispiel zeigt einen statistisch signifikanten Unterschied zwischen den beiden Algorithmen von etwa 10 Sekunden.
Ich habe mein Mock-up für Sie angehängt.
Betreff: Statistischer Test zum Algorithmusvergleich – JMP ProIch habe viele Fragen und nur sehr wenige Antworten ohne viel mehr Informationen.
1. Welches Merkmal möchten Sie zur Bewertung der „Effizienz“ verwenden?
2. Welches Merkmal möchten Sie als „am besten“ bewerten? Wenn was auch immer Ihr Merkmal für „am besten“ ist, wie stark müssen die Ergebnisse variieren, bevor Sie eines für „am besten“ erklären?
3. Es gibt zahlreiche Populations-„Parameter“, die man anhand von „Zufallsstichproben“ aus dieser Population ermitteln kann. Versuchen Sie, diese Parameter abzuschätzen? Wenn ja, mit welcher Methode? Konfidenzintervalle, Toleranzintervalle, noch etwas? Gibt es eine Zeitreihenkomponente in den vorliegenden Daten oder Entscheidungen?
4. Ist dies eine akademische Übung oder eine, hinter der praktische Entscheidungen stehen? Wenn Letzteres der Fall ist, erläutern Sie bitte näher das praktische Problem, die Stichprobenmethode (wirklich zufällig ... oder etwas anderes) und die tatsächlich anstehenden Entscheidungen.
5. Was wissen Sie über Messrauschen/-variationen in Bezug auf die beteiligten Prozesse?
6. Ich hoffe, Sie haben die Daten grafisch untersucht, BEVOR Sie eine numerische Analyse durchgeführt haben. Es kann Ausreißer, verdächtige Beobachtungen oder andere Merkmale in den Beispieldatensätzen geben, die einen bestimmten numerischen Analyseansatz problematischer machen als alternative Ansätze.
Ich habe wahrscheinlich nicht alles angesprochen, aber das oben Genannte ist ein Anfang?
