Test estadístico para comparación de algoritmos - JMP ProHola,
Quiero probar la eficiencia de dos algoritmos diferentes.
Tengo dos muestras aleatorias de la misma población. En una muestra, ejecuto el Algoritmo X; en otra muestra, ejecuto el Algoritmo Y. Hay 30 registros en cada uno. El tipo de variable es continuo.
¿Qué prueba de estadísticas puedo hacer para encontrar el mejor algoritmo y qué parámetros debo comparar?
Por favor, hágamelo saber si se necesitan más detalles.
Gracias
Mella
AnalíticaRe: Test estadístico para comparación de algoritmos - JMP ProTengo muchas preguntas y muy pocas respuestas sin mucha más información.
1. ¿Qué característica le gustaría usar para evaluar la 'eficiencia'?
2. ¿Qué característica le gustaría usar para evaluar 'mejor'? Si cualquiera que sea su característica de 'mejor', ¿cuánto tienen que variar los resultados antes de declarar que uno es 'mejor'?
3. Existen numerosos 'parámetros' de población que se pueden evaluar a partir de 'muestras aleatorias' de dicha población. ¿Está tratando de estimar estos parámetros? Si es así, ¿por qué método? ¿Intervalos de confianza, intervalos de tolerancia, algo más? ¿Hay un componente de serie de tiempo para los datos o decisiones en cuestión?
4. ¿Es este un ejercicio académico o uno que tiene detrás decisiones prácticas? Si es lo último, articule más sobre el problema práctico, el método de muestreo (verdaderamente aleatorio... o algo más) y las decisiones reales en cuestión.
5. ¿Qué sabe sobre el ruido de medición/variación con respecto a los procesos en juego?
6. Espero que haya examinado los datos gráficamente ANTES de realizar cualquier análisis numérico. Puede haber valores atípicos, observaciones sospechosas u otras características en los conjuntos de datos de muestra que hacen que cualquier enfoque de análisis numérico específico sea más problemático que los enfoques alternativos.
Probablemente no he tocado todo, pero lo anterior es un comienzo.
Re: Test estadístico para comparación de algoritmos - JMP ProLa inferencia estadística es útil cuando es imposible observar a toda la población. La población no está definida en su publicación. La inferencia estadística evalúa la incertidumbre en la estimación de un parámetro debido al muestreo de la población. Compare los dos algoritmos en función de una medida de eficiencia, como el tiempo de procesamiento o los pasos de procesamiento, utilizando la misma muestra de datos. Este caso es una comparación pareada que puede usar la prueba t pareada en el resultado continuo de cada algoritmo.
Sus datos podrían parecerse a esta tabla:
Me burlé de algunos datos. Hay 100 muestras de datos de la misma población. Las muestras pueden ser de remuestreo o bootstrapping. El resultado es el número de segundos para completar el algoritmo.
Puedes analizar estos resultados usando Analizar > Modelado especializado > Pares coincidentes .
Este ejemplo muestra una diferencia estadísticamente significativa entre los dos algoritmos de unos 10 segundos.
Te adjunto mi maqueta.
Re: Test estadístico para comparación de algoritmos - JMP ProMuchas gracias Marcos.
