What if you wanted to predict how many out of 100 employees will eat a donut at the office on Friday?What if you wanted to predict how many out of 100 employees will eat a donut at the office on Friday?What if you wanted to predict how many out of 100 employees will eat a donut at the office on Friday?What if you wanted to predict how many out of 100 employees will eat a donut at the office on Friday?¿Qué pasaría si quisieras predecir cuántos de cada 100 empleados comerán un donut en la oficina el viernes? JMP es una herramienta de descubrimiento estadístico extremadamente poderosa y es experta en la creación de una variedad de modelos estadísticos. Sin embargo, si desea evaluar de manera integral los umbrales para un modelo de clasificación binaria predictivo, requeriría múltiples plataformas y múltiples pasos. A Cumbre de descubrimiento 2018 La charla explorará los desafíos de evaluar y seleccionar umbrales para modelos de clasificación. Me uní al equipo de @KarenC y @mia_stephens para crear un complemento para facilitar la comprensión del modelo y la selección de umbrales.
El Complemento Explorador de clasificación de modelos proporciona un panel unificado para visualizar los límites del modelo y las compensaciones de errores simultáneamente. Puede cambiar de forma interactiva el umbral de un modelo y ver inmediatamente los resultados propagados en medidas de rendimiento, matrices de confusión y curvas ROC. El complemento también implementa opciones personalizadas de triángulo rojo para ver curvas de elevación, curvas de ganancias acumuladas y calcular un umbral óptimo basado en los costos de clasificación.
Veamos un ejemplo con la tabla de datos adjunta. Es viernes el día de las donas en la oficina y desea predecir cuántos de cada 100 empleados comerán una dona. Reúnes datos sobre si cada persona consumió un donut, así como una serie de predictores y ajustas un modelo para estimar las probabilidades de consumo. Ahora desea explorar las compensaciones asociadas con cada punto de corte del modelo. La idea es seleccionar un límite para minimizar el desperdicio de donas los viernes futuros. Hay tres columnas:
- Prob[Donut] es la probabilidad de que un individuo consuma un donut.
- El consumo es el resultado real de si alguien se comió o no el donut.
- Tenemos una columna de validación opcional.
Input DataInput DataInput DataInput DataDatos de entrada
Datos
Después de descargar e instalar el complemento, abra la tabla de datos Ejemplo.jmp del blog de Donuts. Los datos tienen un formato tal que hay una columna numérica continua que modela la probabilidad del resultado objetivo, en este caso nuestra columna Prob[Donut]. Esta columna se puede crear en JMP guardando un modelo ajustado para un resultado binario con "Guardar fórmula de probabilidad". La otra columna requerida es el estado del resultado real como carácter y nominal, en nuestro caso la columna Consumo. Opcionalmente, puede agregar una columna de validación que agregará resultados adicionales en la plataforma según la categoría de validación. Si utiliza JMPPro , puede hacerlo fácilmente yendo a Analizar -> Modelado predictivo -> Agregar columna de validación. La columna de validación puede tener dos o tres categorías y debe estar compuesta de valores numéricos.
Column CastingColumn CastingColumn CastingColumn CastingFundición de columnas
Lanzamiento
Paso 1: Lanza el problema [Donut] a X y el consumo a Y. Estas dos columnas son obligatorias.
Paso 2: Establezca su nivel objetivo en "Donut", ya que eso es lo que predice el modelo.
Paso 3: Establezca su nivel alfa para el análisis estadístico, que se deja en 0,05 de forma predeterminada.
Etapa 4: Tiene la opción en la parte superior derecha de elegir la Terminología de Rendimiento en función de un campo de aplicación determinado, que es una opción puramente visual para las etiquetas de las diferentes medidas. En este caso, lo dejaremos en "General".
Paso 5: La casilla de verificación de accesibilidad visual es una característica para cambiar la salida gráfica para poder interpretar los resultados sin necesidad de distinguir colores en los gráficos, lo cual dejaremos de lado por ahora.
Paso 6: Con todos estos parámetros iniciales configurados, haga clic en "Aceptar" para iniciar la plataforma. Dependiendo del tamaño de su conjunto de datos y de si utilizó o no una columna de validación, esto puede tardar unos segundos en iniciarse.
Resultados – Tabla de datos generados
Además de la plataforma, también se lanzará una nueva tabla de datos. Esta tabla de datos toma las columnas Prob[Donut] y Consumo, y para la probabilidad de que cada persona se coma un donut, crea recuentos de verdaderos positivos, verdaderos negativos, falsos positivos y falsos negativos al recorrer a todas las personas y comparar las cifras actuales. el consumo real de una persona y la probabilidad de consumo a los demás individuos.
A partir de estos recuentos, se crea una columna de sensibilidad o tasa de verdaderos positivos, que es la capacidad del modelo para identificar correctamente a aquellos que realmente han consumido una dona. La especificidad, o tasa de verdaderos negativos, es la capacidad del modelo para identificar correctamente a las personas que no han consumido un donut.
La tasa de clasificación errónea es la suma de falsos positivos + falsos negativos sobre el número total de observaciones en esa fila.
Si utilizó una columna de validación, habrá una tabla individual abierta en segundo plano para cada categoría de validación junto con una tabla con todos los subconjuntos unidos.
Generated Data TableGenerated Data TableGenerated Data TableGenerated Data TableTabla de datos generados
Resultados – Ventana de informe
De vuelta a la plataforma. El primer gráfico que vemos es una curva ROC estándar, que representa la Sensibilidad frente a 1 - Especificidad junto con el área bajo la curva con un intervalo de confianza de Wald del 95%. A la derecha, tenemos un gráfico de conglomerados que muestra visualmente la distribución de los resultados de la clasificación binaria. El eje y muestra las categorías modeladas y el eje x es la puntuación del modelo. El control deslizante vertical está en el umbral actual. Los puntos rojos son puntos en los que el modelo predijo incorrectamente el consumo de donas, mientras que los puntos azules se predijeron correctamente.
Interactivity of the PlatformInteractivity of the PlatformInteractivity of the PlatformInteractivity of the PlatformInteractividad de la Plataforma En la segunda fila tenemos el análisis numérico. La tabla de medidas de desempeño proporciona estimaciones e intervalos de confianza para siete medidas diferentes. La prevalencia es la proporción de empleados que realmente han comido un donut. La tasa/sensibilidad verdadera positiva y la tasa/especificidad negativa verdadera se analizaron anteriormente y también se incluyen aquí. El valor predictivo positivo (VPP) se interpreta como qué tan bien un resultado positivo de dona predice el consumo real de dona. El VPN es lo opuesto: qué tan bien un resultado negativo de donas predice una falta real de consumo de donas. El índice de probabilidad positivo (LR+) es cuánto aumentan las probabilidades de consumir donas cuando una prueba arroja resultados positivos para el consumo de donas. LR- es lo contrario, o cuánto disminuyen las probabilidades de consumo de donas cuando una prueba arroja no consumo. A la derecha de las métricas de rendimiento, podemos ver las matrices de confusión de 2x2 que muestran tasas y recuentos de TP, TN, FP y FN. Al lado se muestra la tasa de clasificación errónea y el Coeficiente de correlación de Matthews (MCC) . El MCC es otra medida de la calidad de la clasificación binaria, con un valor de 1 significa que cada persona que se predijo que comería un donut en realidad comió uno, 0 significa que el modelo es equivalente a una clasificación aleatoria y -1 es una clasificación errónea total, donde cada donut predicho El comedor no comió ninguno. La curva de compensación de errores en la fila inferior muestra los gráficos de líneas de recuentos de errores falsos positivos y falsos negativos con una opción de triángulo rojo personalizada para cambiar el eje Y a tasas en lugar de recuentos.
Visual Accessibility Turned OnVisual Accessibility Turned OnVisual Accessibility Turned OnVisual Accessibility Turned OnAccesibilidad visual activada
Estas tablas y gráficos son fantásticos por sí solos, pero el valor real viene con el aspecto interactivo. Las medidas de desempeño de un modelo de clasificación se basan en un umbral o corte. Cuando cambia el umbral, las métricas de rendimiento cambian. En la curva de compensación entre estado y puntuación y error, hay marcadores de arrastre en las líneas horizontales que indican el umbral del modelo. Tome y mueva cualquiera de estas líneas para cambiar el umbral y actualizar las medidas de desempeño.
Alternativamente, use el control deslizante o el cuadro numérico editable debajo del cuadro de contorno "Establecer umbral de probabilidad" encima de las matrices de confusión para cambiar el umbral. Todos estos marcadores de arrastre y controles deslizantes están sincronizados y cuando mueves uno, los demás también se mueven. Lo que hacen estos controles deslizantes es establecer el nuevo umbral de probabilidad, el punto que determina la clasificación binaria de si el modelo predice que consumirás una dona. Aumentar el límite establecerá un umbral más estricto para que el modelo prediga el consumo de donas y viceversa. Por ejemplo, si establece el umbral en 0,8, eso significa que para que el modelo prediga que consumirá una dona, debe tener un Prob[Donut] > 0,8; de lo contrario, predecirá que no consumirá una dona.
Características adicionales
El botón "Minimizar clasificación errónea" establece el límite óptimo que minimiza la suma de falsos positivos y falsos negativos. A su vez, también maximiza el MCC.
Minimizing MisclassificationMinimizing MisclassificationMinimizing MisclassificationMinimizing MisclassificationMinimizar la clasificación errónea
En el triángulo rojo personalizado "Análisis de umbral/corte" en la parte superior, tiene la capacidad de mostrar una curva de elevación, además de una curva de ganancias acumuladas si es un usuario Pro, en la parte inferior de la salida. Estas opciones también están disponibles para cada categoría de Validación bajo el triángulo rojo de medidas de desempeño cuando se utiliza una columna de Validación.
Expanding with Further AnalysisExpanding with Further AnalysisExpanding with Further AnalysisExpanding with Further AnalysisAmpliando con análisis adicionales
También verá la opción de menú "Umbral basado en costos", que abre una nueva ventana que calcula un umbral óptimo en función de los costos de clasificación. Por ejemplo, supongamos que tiene una prevalencia de consumo de donas de 0,5, un costo de clasificación TP y TN de 0, un costo FP de 1 y un costo FN de 3. En este ejemplo, es tres veces más costoso para usted tener una clasificación de donas falsamente negativa que tener un falso positivo; posiblemente la gente se enfadaría tres veces más por la escasez de donas que por el exceso. Con estos costos, el umbral óptimo es 0,25, que puede ingresar manualmente en el cuadro de edición de números.
Cost Based ThresholdingCost Based ThresholdingCost Based ThresholdingCost Based ThresholdingUmbral basado en costos Por último, tiene la opción de guardar una nueva columna de clasificación en su tabla de datos original, lo que crea una nueva columna de Consumo basada en el límite actual.
Saving a New Classification ColumnSaving a New Classification ColumnSaving a New Classification ColumnSaving a New Classification ColumnGuardar una nueva columna de clasificación
Conclusión
Este complemento es una herramienta extremadamente poderosa para evaluar los límites en cualquier modelo de clasificación, ya sea para predecir el consumo de donuts o las tasas de defectos en la fabricación. Al tener todos los gráficos y tablas en una plataforma altamente interactiva, la visualización de datos y la configuración del umbral del modelo son sencillos.
¿Qué tipo de modelos estás evaluando con este complemento? ¡Déjame saber en los comentarios a continuación si tienes alguna sugerencia!
Cuando activo este complemento tan valioso, no obtengo la tabla con recuentos de verdaderos positivos, verdaderos negativos, falsos positivos y falsos negativos al recorrer todas las personas y comparar el consumo real de la persona actual y la probabilidad de consumo con el otros individuos.
Tampoco encuentro un botón "minimizar clasificación errónea" en la sección Establecer umbral de probabilidad.
Finalmente, no se calcula el MCC (Coeficiente de Corrolación de Matthews).
¿Alguien sabe si la puntuación F1 se calcula automáticamente?
¿Quizás mientras tanto haya una versión actualizada?
