Test statistique pour comparaison d'algorithmes - JMP ProBonjour,
Je souhaite tester l'efficacité de deux algorithmes différents.
J'ai deux échantillons aléatoires de la même population. Sur un échantillon, j'exécute l'algorithme X ; sur un autre échantillon, j'exécute l'algorithme Y. Il y a 30 enregistrements dans chacun. Le type de variable est continu.
Quel test statistique puis-je effectuer pour découvrir le meilleur algorithme et quels paramètres dois-je comparer ?
Veuillez me faire savoir si plus de détails sont nécessaires.
Merci
pseudo
Modélisation statistique avancéeMélange et nettoyage des donnéesRe : Test statistique pour comparaison d'algorithmes - JMP ProMerci beaucoup Marc.
Re : Test statistique pour comparaison d'algorithmes - JMP ProL’inférence statistique est utile lorsqu’il est impossible d’observer l’ensemble de la population. La population n'est pas définie dans votre message. L'inférence statistique évalue l'incertitude dans l'estimation d'un paramètre due à l'échantillonnage de la population. Comparez les deux algorithmes sur la base d'une mesure d'efficacité telle que le temps de traitement ou les étapes de traitement en utilisant le même échantillon de données. Ce cas est une comparaison par paires qui peut utiliser le test t apparié sur le résultat continu de chaque algorithme.
Vos données pourraient ressembler à ce tableau :
J'ai simulé certaines données. Il existe 100 échantillons de données provenant de la même population. Les échantillons peuvent provenir d’un rééchantillonnage ou d’un bootstrap. Le résultat est le nombre de secondes nécessaires pour terminer l'algorithme.
Vous pouvez analyser ces résultats en utilisant Analyse > Modélisation spécialisée > Paires appariées .
Cet exemple montre une différence statistiquement significative entre les deux algorithmes d'environ 10 secondes.
Je vous joins ma maquette.
Re : Test statistique pour comparaison d'algorithmes - JMP ProJ'ai beaucoup de questions et très peu de réponses sans beaucoup plus d'informations.
1. Quelle caractéristique souhaitez-vous utiliser pour évaluer « l'efficacité » ?
2. Quelle caractéristique aimeriez-vous utiliser pour évaluer « le meilleur » ? Quelle que soit votre caractéristique pour le « meilleur », dans quelle mesure les résultats doivent-ils varier avant de déclarer que l'un d'entre eux est le « meilleur » ?
3. Il existe de nombreux « paramètres » de population que l'on peut évaluer à partir d'« échantillons aléatoires » de ladite population. Essayez-vous d'estimer ces paramètres ? Si oui, par quelle méthode ? Intervalles de confiance, intervalles de tolérance, autre chose ? Y a-t-il une composante de série chronologique dans les données ou les décisions en question ?
4. S’agit-il d’un exercice académique ou d’un exercice qui s’appuie sur des décisions pratiques ? Dans ce dernier cas, veuillez expliquer davantage le problème pratique, la méthode d'échantillonnage (vraiment aléatoire... ou autre chose) et les décisions réelles à prendre.
5. Que savez-vous du bruit/variation des mesures par rapport aux processus en jeu ?
6. J'espère que vous avez examiné les données graphiquement AVANT de faire une analyse numérique. Il peut y avoir des valeurs aberrantes, des observations suspectes ou d’autres caractéristiques dans les exemples d’ensembles de données qui rendent une approche d’analyse numérique spécifique plus problématique que les approches alternatives.
Je n'ai probablement pas tout abordé mais ce qui précède est un début ?
