Hola, mi nombre es bryan Fricke.
Yo soy a recién acuñado Producto Gerente en JMP, enfoque en los JMP usuario experiencia.
Previamente, I era a software desarrollador trabajando en exportador informes
para pararse solo HTML expediente archivos, JMP Vivir, y JMP Público.
En esta presentación,
Yo soy yendo para hablar sobre utilizando confianza curvas
como un alternativa para Nulo H hipótesis Significado Pruebas
en los contexto de profético modelo poner en pantalla.
Adicional material en esta tema lata ser fundar en los JMP Comunidad sitio web
y los papel asociado con esta presentación.
Dr. ruso wolfinger, quién es a distinguido investigación compañero en JMP, es a co -autor,
y I haría me gusta para gracias él por su contribuciones.
los Modelo Poner en pantalla plataforma introducido en Salto Pro dieciséis,
permite usted para evaluar los rendimiento
de múltiple profético modelos utilizando cruzar- validación.
Para show usted cómo los Modelo Poner en pantalla plataforma obras,
Yo soy yendo para utilizar los Diabetes Datos mesa,
cual es disponible en los JMP Muestra Datos Biblioteca.
voy a escoger Modelo Poner en pantalla desde los Analizar Profético Modelado menú.
JMP responde por mostrando los Modelo Poner en pantalla diálogo.
los primero Tres columnas en los datos mesa
representar enfermedad progresión en continuo, binario, y ordinal formularios
voy a utilizar los continuo columna llamado Y como los respuesta variable.
voy a utilizar todos los columnas desde Años para Glucosa en los X Factor papel.
voy a escribe 1-2-3-4 en los Colocar Aleatorio Semilla aporte caja por reproducibilidad
voy a Seleccione los controlar caja próximo para Plegado en K Cruzar validación
y salir k colocar para cinco.
voy a escribe Tres dentro los aporte caja próximo para Repetido k Pliegue.
En los Método lista, voy a deseleccionar Neural,
y ahora voy a Seleccione está bien.
JMP responde por capacitación y validando modelos por cada de los seleccionado Métodos
utilizando sus por defecto parámetro ajustes y cruzar validación.
Después completando los capacitación y validando proceso,
JMP muestra los resultados en a nuevo ventana.
Para cada modelado método, los Modelo Poner en pantalla plataforma proporciona
rendimiento medidas en los formulario de punto estimados
por los coeficiente de determinación,
cual es además conocido como R al cuadrado, los raíz promedio al cuadrado error,
y los estándar desviación por los raíz promedio al cuadrado error.
Ahora voy a hacer clic Seleccione Dominante.
JMP responde por destacando los método que realiza mejor
al otro lado de los rendimiento medidas.
Qué desaparecido aquí es a gráfico
para show tú el Talla de los diferencia Entre los Dominante Método
y los otro métodos, a lo largo de con los visualización
de los incertidumbre asociado con los diferencias
Pero por qué no sólo show PAGS valores indicando ya sea los diferencias están ¿significativo?
no debería a decisión sobre ya sea una modelo es superior para otro
ser establecido en ¿significado?
Primero,
ya que a valor p proporciona a probabilidad establecido en a estandarizado diferencia,
a PAGS valor por sí mismo pierde información sobre los crudo diferencia,
entonces a significativo diferencia no implicar a significativo diferencia.
Pero es que De Verdad a ¿problema?
I significar, no es eso inútil para ser preocupado
con los Talla de a diferencia Entre dos modelos antes de significado pruebas es usado
para determinar ya sea los diferencia es ¿verdadero?
los problema con que línea de pensando es que es energía, o una menos beta,
que determina nuestro capacidad para correctamente rechazar a nulo hipótesis.
Autores tal como jacob Cohen y Franco Schmidt
tener sugirió que típico estudios tener a energía para detectar diferencias
en los rango de 0.4 para 0.6 .
Vamos suponer nosotros tener a diferencia donde los energía para detectar a cierto diferencia
es 0.5 en un Alfa valor de 0.05 .
Que sugiere nosotros haría detectar los cierto diferencia
en promedio 50 por ciento de los hora.
En que caso, significado pruebas haría identificar verdadero diferencias
no mejor que volteando un imparcial moneda.
Si todos otro cosas están igual, Escribe Una y Escribe Dos errores están equivalente.
Pero significado pruebas que utilizar un Alfa valor de .05
con frecuencia implícitamente asumir Tipo T ay errores están preferible para Escribe Una errores,
particularmente si los energía es como bajo como 0.5 .
A común sugerencia para habla a estas y otro cuestiones con significado pruebas
es para show los punto estimar a lo largo de con confianza intervalos
Una objeción para haciendo entonces es que a punto estimar
a lo largo de con un 95 por ciento confianza intervalo
es efectivamente los mismo cosa como significado pruebas.
Incluso si nosotros asumir que es cierto, a punto estimar y confianza intervalo
todavía pone los magnitud de los diferencia en los rango de los incertidumbre
parte delantera y centrar,
mientras que a solitario PAGS valor oculta ellos ambas cosas.
Varios autores, incluso Cohen y Schmidt,
tener recomendado reemplazando significado pruebas
con punto estimados y confianza intervalos
Incluso entonces, los recomendación para utilizar confianza intervalos
ruega los pregunta, "Cual unos hacer nosotros ¿show?"
Demostración solamente los 95 por ciento confianza intervalo
haría probable alentar usted para interpretar eso como otro formulario de significado pruebas.
los solución proporcionó por confianza curvas
es para literalmente show todos confianza intervalos
arriba para un arbitrariamente elevado confianza nivel.
Entonces cómo hacer usted show confianza curvas en ¿JMP?
Para convenientemente crear confianza curvas en JMP,
Instalar en pc los confianza curvas agregar- en por visitando los JMP Comunidad página principal.
Escribe "confianza curvas" dentro los búsqueda aporte campo.
Hacer clic en los primero entrada que aparece
Ahora hacer clic los descargar icono próximo para Curvas de confianza.jmp agregar en,
y ahora usted lata hacer clic en los descargado expediente.
JMP responde por pidiendo si I querer para Instalar en pc los agregar- en.
Tú haría hacer clic "Instalar en pc."
Sin embargo, voy a hacer clic "Cancelar," como I ya tener los agregar- en instalado.
Cómo hacer usted utilizar los agregar- ¿en?
Primero, para generar confianza curvas por esta informe,
Seleccione "Salvar Resultados Mesa"
desde los cima rojo triángulo menú situado en los modelo pantalla informe ventana.
JMP responde por creando a nuevo mesa que contiene, entre otros,
los siguiente columnas:
Prueba, cual contiene los identificadores por Tres conjuntos de cruzar validación resultados;
Pliegue, cual contiene los Identificadores por los cinco distinto conjuntos de submuestras
usado por validación en cada prueba;
Método, cual contiene los métodos usado para crear modelos desde los prueba datos,
y NORTE, cual contiene los número de datos puntos usado en los validación pliegues
Nota que los prueba columna voluntad ser desaparecido si los número de repite es exactamente una,
en cual caso los Prueba columna es ninguno de los dos creado ni necesario.
Salvar por que excepción,
estas columnas están esencial por los confianza curvas agregar- en
para función adecuadamente.
En adición para estas columnas,
usted necesitar una columna que proporciona los métrico para comparar métodos.
voy a ser utilizando R al cuadrado como los métrico de interesar en esta presentación.
Una vez usted tener los Modelo Pantalla y Resultados Mesa,
hacer clic "Agregar- En s" desde los JMP principal menú bar y entonces electo "Confianza Curvas."
los lógica que sigue haría ser mejor metido en a mago,
y I esperar para agregar que funcionalidad en a futuro liberar de los agregar- en.
Como eso es, los primero diálogo que aparece
peticiones usted para Seleccione los nombre de los mesa que era generado
Cuándo usted eligió "Salvar Resultados Mesa"
desde los Modelo Poner en pantalla Informes rojo triángulo menú.
los nombre de los mesa en esta caso es Modelo Poner en pantalla Estadísticas Validación Colocar.
Próximo, a diálogo es desplegado que peticiones los nombre de los método
que voluntad atender como los base
desde cual todos los otro rendimiento métrica están Medido.
I sugerir a partir de con los método
que era seleccionado Cuándo usted hizo clic los Seleccione Dominante, o en esta caso,
I seleccionado o hizo clic Seleccione Dominante opción
en los Modelo Pantalla y Informe ventana,
cual en esta caso es encajar paso sabio.
Finalmente, a diálogo es desplegado
que peticiones usted para Seleccione los métrico para ser comparado Entre los varios métodos.
Como mencionado más temprano, voy a utilizar R al cuadrado como los métrico por comparación.
Salto responde por creando a confianza curva mesa que contiene PAGS valores
y correspondiente confianza niveles
por los significar métrico diferencia Entre los elegido base método
y cada de los otro métodos.
Más específicamente, los generado mesa posee columnas por los siguiente:
Modelo, en cual cada fila contiene los nombre de los modelado método
cuyo rendimiento es evaluado relativo para los base método;
valor p,
en cual cada fila contiene los probabilidad asociado con los rendimiento diferencia
en menos como extremo como los valores mostrado en los Diferencia en R Cuadrado columna;
Confianza Intervalo, en cual cada fila contiene los confianza nivel nosotros tener
que los cierto significar es contenido en los asociado intervalo.
Y finalmente, Diferencia en R Cuadrado, en cual cada fila es los máximo o mínimo
de los previsto diferencia en R al cuadrado asociado con los confianza nivel
mostrado en los Confianza Intervalo columna.
Desde esta mesa, confianza curvas están creado
y mostrado en los Grafico Constructor grafico.
Qué están confianza ¿curvas?
Para aclarar los llave atributos de a confianza curva,
voy a esconder todos pero los Apoyo Vector Máquinas confianza curva
utilizando los local datos filtrar por hacer clic en Apoyo Vector Máquinas.
Por por defecto, a confianza curva solamente espectáculos los líneas
que conectar los extremos de cada confianza intervalo.
Para ver los puntos, Seleccione Show Control Panel desde los rojo triángulo menú
situado próximo para los texto que lee Gráfico de construcción r en los título bar.
Ahora voy a Cambio hacer clic los Puntos icono.
JMP responde por mostrando los final puntos de los confianza intervalos
que hacer arriba los confianza curva.
Ahora I voluntad zoom en y examinar a punto.
Si usted flotar los ratón puntero sobre ninguna de estas puntos,
a flotar etiqueta espectáculos los PAGS valor, confianza intervalo,
diferencia en los Talla de los métrico,
y los método usado para generar los modelo siendo comparado para los referencia.
Ahora I voluntad girar apagado los puntos por Cambio hacer clic los Puntos icono
y hacer clic los Hecho botón.
Incluso aunque los individual puntos están no más extenso mostrado,
usted lata todavía vista los asociado flotar etiquetas
por colocación los ratón puntero sobre los confianza curva.
los punto estimar por los significar diferencia en rendimiento
Entre Apoyo Vector M dolores y Encajar paso sabio
es mostrado en los 0 por ciento confianza nivel,
cual es los significar valor de los diferencias calculado utilizando cruzar validación.
Confianza curva parcelas los grado de cada confianza intervalo
desde los generado mesa Entre los cero y 99 99 por ciento confianza nivel,
cual es un arbitrariamente elevado valor.
A lo largo de los izquierda Y eje,
valores p asociado con la confianza intervalos están mostrado.
A lo largo de los Correcto Y eje,
los confianza nivel asociado con cada confianza intervalo se muestra.
los Y eje usos a Iniciar sesión escala,
entonces que más resolución es mostrado en más alto confianza niveles
Por por defecto, dos referencia líneas están trazado junto a a confianza curva.
los vertical línea representa los tradicional nulo hipótesis
de no diferencia en efecto.
Tenga en cuenta que lata cambiar los vertical línea posición
y de este modo los implícito nulo hipótesis
en los X eje ajustes.
los horizontal línea
pasa a través de los convencional 95 por ciento confianza intervalo.
Como con los vertical referencia línea,
usted lata cambiar los horizontal línea posición
y de este modo los implícito nivel de significado,
por cambiando los Y eje ajustes.
Si a confianza curva cruces los vertical línea encima los horizontal línea,
usted no poder rechazar los nulo hipótesis utilizando significado pruebas.
Para ejemplo, nosotros no poder rechazar los nulo hipótesis por apoyo vector máquinas.
En los otro mano,
si a confianza curva cruces los vertical línea debajo los horizontal línea,
usted lata rechazar los nulo hipótesis.
Por ejemplo, podemos rechazar la hipótesis nula de Impulsado Árbol.
Cómo están confianza curvas calculado?
los Actual implementación de confianza curvas
asume los diferencias están calculado utilizando R veces repetido
Plegado en K cruzar validación.
los grado de cada confianza intervalo es calculado
utilizando qué es conocido como a Diferencia corregido remuestreado Prueba T.
Nota que autores claude nadeau y Yoshua bengio
señalado que a corregido remuestreado T- prueba
es típicamente usado en casos donde capacitación conjuntos
están cinco o diez veces más grande que validación conjuntos
Para más detalles, por favor ver los papel asociado con esta presentación.
Entonces cómo están confianza curvas ¿interpretado?
Primero, a confianza curva gráficamente representa
los principal diferencia en los métrico de interesar Entre a dado método
y a referencia método en los 0 por ciento confianza nivel.
Nosotros lata evaluar ya sea los significar diferencia Entre métodos es significativo.
Si los significar diferencia no es significativo, hay poco punto en más análisis
de los dado método versus los referencia método con respeto para los elegido métrico.
Qué que constituye a significativo diferencia depende en los métrico de interesar
como bien como los destinado a científico o Ingenieria solicitud.
Para ejemplo, usted lata ver los modelo desarrollado con a decisión árbol método
es en promedio sobre 14 por ciento peor que Encajar paso sabio,
cual posiblemente es a significativo diferencia.
Si los diferencia es significativo,
nosotros lata evaluar cómo precisamente los diferencia posee estado Medido
por evaluando los ancho de los asociado confianza intervalos
Para ninguna confianza intervalo no cruce los por defecto vertical eje,
nosotros tener en menos que nivel de confianza que los significar diferencia es distinto de cero
Para ejemplo, los decisión árbol confianza curva no cruzar los Y eje
Hasta que sobre los 99 98 por ciento confianza nivel,
entonces nosotros están por poco 99 98 por ciento seguro los significar diferencia no es igual para cero.
En hecho, con esta datos colocar,
eso vueltas fuera que nosotros lata ser sobre 81 por ciento seguro
que Encajar paso sabio es en menos como bien, si no mejor,
que cada método otro que generalizado lazo de regresión.
Ahora vamos considerar los relación Entre confianza curvas.
Si dos o más confianza curvas significativamente superposición
y los significar diferencia de cada es no significativamente diferente desde los otro,
los datos sugerir cada método realiza
sobre los mismo como los otro con respeto para los referencia modelo.
Para ejemplo, nosotros lata ver que en promedio,
la S apoyo Vector Máquinas modelo realiza
menos que 0.5 por ciento mejor que Oreja Bosque,
cual es discutible no a significativo diferencia.
Y el confianza intervalos
hacer no superposición Hasta que sobre el cuatro por ciento confianza nivel,
cual sugiere estas valores haría ser previsto
si ambas cosas métodos De Verdad hacer tener sobre los mismo diferencia en rendimiento
con respeto para los referencia.
Si los promedio diferencia en rendimiento
es sobre los mismo por dos confianza curvas
pero los confianza intervalos no superposición también mucho,
los datos sugiere los modelos llevar a cabo sobre los mismo como cada otro
con respeto para los referencia modelo.
Sin embargo, nosotros están seguro de a no- significativo diferencia.
Esta especial caso es más raro que los otros, y
I no tener un ejemplo para show con esta datos colocar.
En los otro mano,
si los promedio diferencia en rendimiento Entre a par de confianza curvas
es significativamente diferente y los confianza curvas tener poco superposición,
los datos sugiere los modelos llevar a cabo diferentemente desde una otro
con respeto para los referencia.
Para ejemplo, los generalizado regresión lazo modelo
predice sobre 13 8 por ciento más de los variación en los respuesta
que lo hace los decisión árbol modelo.
Es más, los confianza curvas no superposición
Hasta que sobre los 99 9 por ciento confianza nivel,
cual sugiere estas resultados están bastante raro
si los métodos Realmente llevar a cabo sobre los mismo con respeto para los referencia.
Finalmente, si los promedio diferencia en rendimiento
Entre a par de confianza curvas
es significativamente diferente desde una otro y los curvas tener considerable superposición,
los datos sugiere que tiempo los métodos llevar a cabo diferentemente desde una otro
con respeto para los referencia,
eso no lo haría ser sorprendente si los diferencias están los diferencias espurio.
Para ejemplo, nosotros lata ver que en promedio,
Apoyo Vector Máquinas predicho alrededor del 1,4 por ciento más de los diferencia
en los respuesta que hizo k Más cercano Vecinos.
Sin embargo, los confianza intervalos empezar para superposición
en sobre los 17 por ciento confianza nivel,
cual sugiere eso no lo haría ser sorprendente si los diferencia en rendimiento
Entre cada método en los referencia
es Realmente menor que sugirió por los punto estimados.
Simultaneamente,
eso no lo haría ser sorprendente si los real diferencia es más grande que Medido,
o si los dirección de los diferencia es Realmente invertido
En otro palabras, los diferencia en rendimiento es incierto.
Nota que eso no es posible para evaluar los variabilidad en rendimiento
Entre dos modelos relativo para una otro
Cuándo los diferencias están relativo para a tercera modelo.
Para comparar los variabilidad en rendimiento Entre dos métodos
relativo para una otro,
una de los dos métodos deber ser los referencia método
desde cual los diferencias están Medido.
Pero qué sobre múltiple comparaciones?
no nosotros necesitar para ajustar los valores p
para control los familia sabio Escribe Una error ¿calificar?
En su papel sobre confianza curvas, Daniel Barr sugiere
que ajustes están necesario en confirmatorio estudios
donde a meta es preespecificado, pero no en exploratorio estudios.
Esta sugiere utilizando sin ajustar valores p por múltiple confianza curvas
en un exploratorio Moda
y solamente a único confianza curva generado desde diferente datos
para confirmar tu hallazgo de a significativo diferencia Entre dos métodos
Cuándo utilizando significado pruebas.
Que dijo, por favor mantenerse en mente los peligros de cereza cosecha
y PAGS hackear Cuándo conductible exploratorio estudios.
En resumen, los Modelo Poner en pantalla plataforma introducido en JMP Pro dieciséis
proporciona a medio para simultaneamente comparar los rendimiento
de profético modelos creado utilizando diferente metodologías.
JMP posee a largo- de pie meta para proveer a grafico con cada estadística,
y confianza curvas ayuda para llenar que brecha
por los Modelo Poner en pantalla plataforma.
Tú puede que naturalmente suponer para utilizar significado pruebas para diferenciar
Entre los rendimiento de los varios métodos siendo comparado.
Sin embargo, valores p tener venir bajo aumentado escrutinio en reciente años
por oscureciendo los Talla de rendimiento diferencias
En adición,
valores p están con frecuencia malinterpretado como los probabilidad los nulo hipótesis es falso.
En lugar de, a valor p es los probabilidad de observando a diferencia como o más extremo,
asumiendo los nulo hipótesis es cierto.
los probabilidad de correctamente rechazando los nulo hipótesis
Cuándo eso es falso es determinado por energía, o una menos beta.
He argumentó que eso es no poco común para solamente tener a 50 por ciento oportunidad
de correctamente rechazando los nulo hipótesis con un Alfa valor de 0.05 .
Como un alternativa, a confianza intervalo pudo ser mostrado en lugar de de a solitario valor p.
Sin embargo, los pregunta haría ser izquierda abierto como para cual confianza nivel para show.
Confianza curvas habla a estas preocupaciones
por demostración todos confianza intervalos arriba para un arbitrariamente elevado nivel de confianza.
los significar diferencia en rendimiento
es claramente visible en el cero por ciento confianza nivel,
y que hechos como a punto estimar.
Todos otro cosas siendo igual,
Escribe Una y Escribe Dos errores están equivalente,
entonces confianza curvas no empotrar a parcialidad hacia comercio T sip Una errores
por Escribe Dos.
Incluso entonces, por por defecto, a vertical línea es mostrado en los confianza curva grafico
por los estándar nulo hipótesis de no diferencia.
En adición, a horizontal línea es mostrado que delinea
los 95 por ciento confianza intervalo,
cual fácilmente ofrece a típico significado pruebas análisis si deseado.
los predeterminados por estas líneas están fácilmente modificado
si a diferente nulo hipótesis y confianza nivel es deseado.
Incluso entonces, dado los bastante amplio y a veces enfático sugerencia
para reemplazar significado pruebas con punto estimados y confianza intervalos,
eso mayo ser mejor para vista a confianza curva como a punto estimar
a lo largo de con a por poco exhaustivo vista de su asociado incertidumbre.
Si usted tener realimentación sobre los confianza curvas agregar- en,
por favor salir a comentario en los JMP C comunidad sitio
y no olvidar para votar por esta presentación
si usted fundar eso interesante y o útil.
Gracias usted por mirando esta presentación, y yo esperar usted tener a estupendo día.
