Hola,
¿Cómo puedo realizar una prueba estadística en JMP para asegurar que los resultados obtenidos de diferentes métodos de clasificación no se deban a la aleatoriedad después de obtener varios resultados?
No conozco ninguna prueba estadística que compruebe si estos diferentes modelos varían "significativamente" o no, pero no creo que esa sea la forma correcta de proceder. Hay varias cosas relevantes que comparar. Si se utilizan los datos de validación (o los datos de prueba, si se tiene un conjunto de datos lo suficientemente grande como para haberlos creado), se pueden observar el ROC, las tasas de clasificación errónea, la entropía y las medidas de R cuadrado generalizadas, y se pueden realizar análisis detallados de las clasificaciones erróneas realizadas por cada modelo, con los ajustes adecuados en las probabilidades de corte para las clasificaciones. Lo que suelo hacer es observar de cerca las distribuciones de probabilidad de predicción que ofrece cada modelo y evaluar la utilidad de cada modelo para el problema en cuestión. Rara vez los falsos positivos y los falsos negativos tienen la misma importancia, por lo que realmente se desea un modelo que funcione "bien" para el problema de decisión que se está modelando. Y las distribuciones de probabilidad predichas suelen proporcionar una evidencia valiosa que se puede utilizar para realizar esa evaluación.
¿Cómo puedo guardar los resultados de R2 en una tabla de Windows? Porque quiero hacer una prueba ANOVA en ella.
Haga clic derecho en el cuadro de la tabla y seleccione Convertir en tabla de datos o Convertir en tabla de datos combinados
Hola @maryam_nourmand ,
Si su objetivo es evaluar la robustez del rendimiento del modelo, solo puedo recomendar y enfatizar las opciones propuestas por @dlehman1 .
Hay varias formas de evaluar la robustez del modelo:
- Al medir el rendimiento del modelo bajo varias semillas aleatorias (ya que la aleatoriedad es parte del aprendizaje en el modelo ML: "No hay aprendizaje sin aleatoriedad" ),
- Midiendo el rendimiento del modelo bajo diferentes conjuntos de entrenamiento y validación.
En la segunda opción, el uso de una columna de fórmula de validación y la opción "Simular" permiten probar el modelo en una gran cantidad de condiciones/conjuntos de entrenamiento diferentes. Puede leer más sobre cómo hacerlo en JMP en las siguientes publicaciones:
¿Cómo puedo automatizar y resumir muchas validaciones repetidas en una tabla de salida?
Árbol potenciado - TABLA DE DISEÑO DE AJUSTE
Con los resultados de estas simulaciones, puede visualizar y comparar distribuciones de rendimiento entre diferentes modelos y, eventualmente, realizar algunas pruebas estadísticas si es necesario, por ejemplo, comparar los rendimientos de media/mediana/varianza de las simulaciones de predicción entre diferentes modelos.
Como dijo @dlehman1 , las métricas predeterminadas son interesantes, pero es posible que quieras ajustarlas, ya que los errores de clasificación pueden no tener la misma "importancia".
También tenga cuidado con las probabilidades que muestran los modelos de ML si pretende utilizarlas como "niveles de confianza", ya que no todas están calibradas y, según los modelos elegidos y el tamaño de la muestra, pueden tener diferentes impactos y consecuencias. Más información sobre el tema de calibración:
https://scikit-learn.org/stable/auto_examples/calibration/plot_compare_calibration.html
https://ploomber.io/blog/calibration-curve/
Espero que esta respuesta y algunas consideraciones puedan ayudar.
