Hola equipo y comunidad de JMP,
Aquí están mis propuestas, enfocadas principalmente para la plataforma "Model Screening", pero tal vez podría extenderse a otras plataformas si es relevante. Espero que estas ideas no suenen demasiado locas o "apagadas".
- ¿Qué inspiró esta solicitud de lista de deseos?
- Al comparar diferentes métodos a través de la plataforma "Model Screening", las métricas utilizadas para comparar los métodos son R² y Mean/Std RASE. Incluso si ya puede guiar y resaltar algunas opciones con respecto a los "mejores métodos", a veces puede ser difícil comparar y tomar una decisión cuando los resultados son similares en varios métodos.
- No parece haber indicios de la "complejidad" de los métodos utilizados en esta plataforma (quizás a través de un criterio de información como AICc/BIC, o una métrica de tiempo de cálculo simple ("tiempo transcurrido" disponible en el triángulo rojo pero no por defecto) ), que podría ser una información interesante e importante si el modelo se va a utilizar en producción, donde la latencia del modelo podría ser un parámetro importante.
- Finalmente, dado que la sustentabilidad es una de las prioridades más importantes en la actualidad, podría ser interesante comparar modelos no solo en sus desempeños "estadísticos", sino también para tener en cuenta el tiempo de cálculo/consumo de energía a través de métricas relevantes.
- ¿Cuáles son las mejoras que le gustaría ver? ?
- ¿Sería posible agregar gráficos con respecto a la evolución de R² para diferentes métodos, y quizás también un gráfico con Mean RASE (y Std RASE como intervalos en el gráfico) para evaluar mejor las diferencias entre métodos?
- ¿Sería posible agregar otras métricas de evaluación, en particular una métrica centrada en la complejidad del modelo (AICc/BIC y/o tiempo de cálculo por defecto)? Esto puede ayudar a clasificar las actuaciones de modelos similares mediante la promoción de los más simples (como debe hacerse, siempre favorezca los modelos parcos/simples si/cuando sea posible).
- Dado que el tiempo de cálculo se registra fácilmente ("tiempo transcurrido" está disponible en las opciones del triángulo rojo), sería bueno resaltar esta información en los resultados de la plataforma como una indicación de "sostenibilidad/complejidad del modelo". Si es posible, el uso de esta información y la información del equipo/dispositivo/computadora utilizada por JMP puede permitir la creación de indicadores, como la iniciativa de código abierto "Code Carbon", que proporciona emisiones de CO2 basadas en tiempo de cómputo, GPU/CPU, energía consumo : Motivación — documentación de CodeCarbon - 2.0.0 (mlco2.github.io)
- ¿Por qué es importante esta idea?
- Como JMP es famoso por su interactividad entre gráficos y su facilidad de uso/acceso a través de gráficos útiles que ayudan a los no estadísticos a obtener información relevante, sería interesante considerar agregar algunas visualizaciones en la plataforma "Model Screening", ya que los gráficos disponibles son "solo" "Actual por Predicho" y "Perfilador". Puede haber una falta de visualización para el proceso de toma de decisiones sobre la elección del método.
- Como JMP está orientado a ingenieros y científicos, tener una idea clara sobre la complejidad de un modelo puede ayudar a elegir el mejor compromiso entre precisión, explicabilidad y velocidad. Agregar una métrica de complejidad también puede ayudar a los usuarios de JMP a considerarlo no solo con fines de exploración/descubrimiento, sino también como una herramienta de creación de prototipos para el modo de producción, donde la latencia de los modelos es un factor importante.
- JMP ya tiene muchas personas en su comunidad dedicadas o apasionadas por el medio ambiente. El "Data for Green" también destaca el compromiso de JMP con la sostenibilidad y el medio ambiente. Ser capaz de proporcionar información en esta plataforma que pueda resaltar el impacto y ayudar a diferenciar métodos basados en una métrica relevante parece una gran oportunidad y un diferenciador clave en comparación con otros softwares, además de poder crear conciencia.
Espero sus comentarios, y si la gente está interesada en comentar, siéntase libre 
Feliz año nuevo y todo lo mejor,
