El
mayoría
famoso
cita
en
todo
de
estadística
es
Jorge
Cajas
"Todo modelos son equivocado, pero alguno son útil."
Yo tengo escuchó este cita en casi cada conferencia
Yo tengo alguna vez estado a, y porque de este,
a mi recuerdo, Yo tengo de hecho evitado usando este cita en cualquier hablar antes.
Pero cuando I miró arriba
el primero tiempo él era alguna vez colocar en imprimir, él era en a 1976 diario
de el Americano Estadístico Asociación artículo.
Es encontró en a sección llamado Parsimonia.
Inmediatamente después eso primero instancia
de el cita, él negociaciones acerca de el importancia de descubrimiento
el más simple modelo eso describe el observado fenómenos.
Este cantidades a descubrimiento modelos eso oferta a razonable balance
de bondad de ajuste versus modelo complejidad y es exactamente
qué Soy yendo a ser hablando acerca de hoy en este presentación.
JMP y JMP Pro oferta a lote de diferente modelado capacidades,
cada con a lote de producción relacionado a elegir a modelo.
Hoy Soy yendo a ir en alguno detalle en alguno de el mayoría importante de estos,
destacando su motivación y el suposiciones detrás a ellos.
A lote de el discusión voluntad ser acerca de el AICc y Modelo BIC selección criterios,
cual son directo y muy datos- eficiente herramientas para direccionamiento el problema.
Caja tenía en mente con su cita,
cual es cómo a encontrar a útil modelo de a colocar de defectuoso o equivocado unos.
Como I era puesta este presentación juntos,
I fue a través de el derivaciones de el AIC y el Bic.
I buscado a conseguir a claro comprensión
de qué estos similar- mirando métodos en realidad son y qué suposiciones ellos hecho.
Después, afuera de curiosidad,
I hizo un Internet buscar de AIC versus BIC versus validación cruzada.
Él era interesante a ver en todo estos Internet formularios eso allá es aún
entonces mucho debate, incluso aunque estos métodos tener estado alrededor para 50 años.
Teniendo recientemente revisado el derivaciones de el métodos,
él aspecto como allá son aún a lote de conceptos erróneos afuera allá.
I pensar el razón para este es eso ambos modelo selección criterios
tener muy profundo y técnico derivaciones
a pesar de el sencillez de su fórmulas, ambos de a ellos son igual a menos dos veces
el probabilidad logarítmica de el equipado modelo,
más a simple pena basado en el número de modelo parámetros.
Tú no poder adivinar el razones
para el pena términos de el fórmula solo,
cual marcas a ellos parecer místico y arbitrario.
Uno de mi objetivos hoy es a intentar
a desmitificar estos sin yendo al agua en el matemáticas.
A poner este todo en el contexto de un análisis flujo de trabajo,
nosotros poder pensar de un análisis proyecto como teniendo cuatro importante pasos.
Nosotros primero tener a adquirir el datos, conseguir él organizado y limpiado arriba.
Entonces nosotros adaptar varios modelos a él en a forma
eso es cualquiera manual o automatizado por software como JMP o JMP Pro.
Una vez nosotros tenemos hecho eso, entonces nosotros necesidad a elegir uno de a ellos
como el modelo eso eran yendo a trabajar con emocionante adelante.
Este es a crítico paso en el proceso eso Bueno ser enfoque en hoy.
Es importante eso nosotros conseguir el modelo selección bien
porque el calidad de el resultados y el conclusiones nosotros hacer
en el fin requiere eso nosotros tener a razonablemente bien modelo.
Aquí son el principal maneras eso Yo tengo visto gente hacer decisiones acerca de modelos.
Hipótesis pruebas es probablemente el primero uno gente aprender acerca de.
Estos son mayoría comúnmente usado a determinar si a regresión coeficiente
es estadísticamente de modo significativo diferente de cero,
cual sonidos como a modelo selección problema.
Mientras ellos son a menudo usado en eso forma,
hipótesis pruebas son derivado bajo a específico colocar de suposiciones
eso explícitamente hace no cuenta para teniendo cambió el modelo
o teniendo usado a modelo eso era preferido como el mejor
entre varios alternativas.
Entonces nosotros tener el general empírico procedimientos eso evaluar modelos basado
en datos sostuvo afuera de el modelo adecuado proceso.
Estos técnicas poder ser aplicado a ambos clásico estadístico modelos
como Bueno como máquina aprendiendo modelos.
En mi opinión, resistencia validación, en particular, es el forma a ir
si tú tener a entero lote de datos.
Entonces nosotros tener qué todo llamado el pequeño datos analítico procedimientos.
Estos eran derivado para situaciones cuando tú tener a hacer a decisión
acerca de cual modelo a usar, pero tú no tener suficiente datos
a sostener afuera cualquier observaciones.
El mayoría comúnmente usado de estos son el AIC y el BIC.
Pero allá son otro Bueno- conocido técnicas
como C generalizada Validación de Ross y C de Mallow PAG.
Él vueltas afuera eso estos dos son de hecho asintóticamente equivalente
a el AIC, entonces en grande muestras tú debería conseguir el mismo conclusiones de GCV,
Malva CP, y el AIC, en particular, para en el menos cuadrícula- basado modelos.
Entonces nosotros también tener qué Enfermo llamar modelo- específico aproches como personaje
y parcialmente cuadrícula modelos y el cúbico agrupamiento criterio
en agrupamiento modelos.
Estos son bonito nicho y I no ser hablando acerca de a ellos cualquier más aquí hoy.
Entonces nosotros también tener visual herramientas como real por previsto parcelas
y República de China curvas.
A pesar de todo de cómo tú elegir su modelo,
estos parcelas son bien a llevar a mirar en antes emocionante adelante con a modelo
porque ellos proporcionar más interesante información
que cualquier individual estadística voluntad y poder decir a nosotros si el mejor modelo
eso nosotros tenemos consideró entonces lejos es aún a bien suficiente modelo para a nosotros a usar.
Mi propio primero encontrar con modelo selección criterios en mi profesional vida
era atrás en el medio- 2000, alrededor cuando JMP 5 y JMP 6 eran afuera.
JMP tenía agregado el capacidad a proporcionar capacidad análisis
para no- normal distribuciones.
Capacidad análisis es a muy importante herramienta
para evaluando si a fabricación proceso es " capaz"
de entregando productos eso son dentro especificación.
JMP usuarios buscado a determinar el " mejor distribución" para el datos
entonces su proceso capacidad métrica quería mejor reflejar el realidad
de su situación.
JMP clientes comprendido eso tú podría adaptar diferente distribuciones con JMP
y sabía eso muchos de el distribuciones vino con a bondad de ajuste prueba en a caso
de teniendo a martillo causando tú a encontrar clavos en todos lados.
Ellos eran intentando todo el distribuciones ellos podría encontrar y eran elegir el uno
con el más grande valor p como el distribución
para su capacidad análisis.
Ellos buscado a nosotros a codificar este en a nuevo adaptar todo distribuciones característica
eso quería automatizar este proceso para a ellos.
Pero nosotros eran bastante incómodo con este pedido para a número de razones.
Para uno cosa, el diferente distribuciones encajar JMP
vino con diferente tipos de bondad de ajuste pruebas.
El normal tenía a Shapiro- Wilk prueba.
El Weibull tenía a Cramér-von Mises prueba, y el LogNormal tenía a Kolmogorov prueba.
Es muy extraño a comparar pruebas
eso son bastante diferente de uno otro.
Otro problema con este acercarse es eso distribuciones con más parámetros
son yendo a tender a tener un borde en aquellos con menos.
Si nosotros elegir el distribución basado en el más grande valor p,
él voluntad siempre favor distribuciones
con más parámetros como nosotros ver aquí con el dos- parámetro normal comparado
con el cuatro- parámetro Johnson Son distribución.
Entonces para alguno de el distribuciones
como el Weibull Cramer de Apuestas W prueba,
nosotros solo tenía mesa valores de valores p yendo arriba a algo como P es igual 25.
Pero incluso si nosotros consolidado todo el bondad de ajuste pruebas abajo
a justo uno y consiguió preciso valores p para todo de a ellos,
Hay aún a más grande filosófico asunto en apostar y eso es eso hipótesis prueba
como estos poder solo cuantificar evidencia contra el nulo hipótesis.
Si el nulo hipótesis es verdadero,
entonces el valor p es a uniformemente repartido aleatorio variable.
En otro palabras, si el nulo hipótesis es verdadero,
entonces el probabilidad eso el valor p es entre 0.1 y 0.2 es exactamente
el mismo como el probabilidad eso él es entre 0.8 y 0.9.
S huida a valor p de 0.9 no es más evidencia eso el hipótesis
es verdadero que a valor p de 0.3.
Regresando a nuestro ejemplo, porque todo cuatro de estos distribuciones
tener bondad- de- adaptar valores p más grande que 0.05.
A través de este lente, todo cuatro distribuciones
adaptar el datos razonablemente Bueno, incluso aunque el bondad de ajuste pruebas decir
todo el distribuciones son bien, el conclusiones acerca de el proceso
generando el datos son diferente dependiente en el distribución.
Si tú usar a cima referencia valor de 1.33
a determinar si el proceso es capaz, entonces elegir el viable indica
eso el proceso es no suficientemente capaz a encontrarse el presupuesto,
mientras el otro distribuciones indicar eso el proceso es capaz.
Nosotros reconocer eso allá tenía a ser a mejor forma a determinar
el distribución automáticamente y vino a el conclusión
eso este debería ser visto como a muy básico amable de modelo selección problema.
En nuestro buscar para a sonido método para elegir a distribución,
nosotros tropezó al este muy bien libro en modelo selección por Burnham y Anderson.
Ellos dar cuidadoso derivaciones de el AIC de el perspectivas
de información, teoría, y validación cruzada.
Ellos también dar a derivación de el BIC en cómo el AIC poder ser derivado
en el mismo forma con a diferente suposición acerca de el previo distribución.
Burnham y Anderson también con cuidado espectáculo
hipótesis pruebas es bastante incoherente como a modelo selección estrategia.
El libro tenía a bonito grande impacto en mi propio puntos de vista de modelado
y también en JMP estadístico modelado plataformas.
Regresando a el distribución selección problema para el momento,
cuando nosotros fue adelante y agregado a distribución selector,
nosotros terminó arriba vocación él adaptar todo y nosotros base él en el AICc.
Aquí en el izquierda,
nosotros tener dos distribuciones de el capacidad análisis datos
nosotros eran mirando en antes, el normal y el Johnson Ellos son.
El Johnson De Su bondad de ajuste valor p es más grande que el normales porque él tiene
dos más parámetros que el normal distribución.
Ahora en el bien,
nosotros ver el resultados de a adaptar todo usando el AICc.
El normal llega afuera como el mejor- adecuado distribución,
pero el Johnson Su es cerca el abajo.
Este es porque el AICc es penalizando él para teniendo estos dos extra parámetros.
Este característica tiene ahora estado usado muchos, muchos veces
y I creer gente son generalmente bonito feliz con él.
Ahora Soy yendo a ir a través de
a un poco matemático pero con un poco de suerte accesible explicación
de qué el AICc en realidad es.
Todo bien.
Ahora Soy yendo a ir en alguno básico teoría detrás el AIC.
Enfermo ser como breve como posible y usar el mejor analogías como I poder,
pero I pensar él es importante a ser expuesto a el subyacente conceptos entonces tú poder ver
eso el AIC tiene a riguroso base eso tiene alguno sentido a él.
El AIC- tipo selección criterios son basado en a distancia- tipo métrico
entre probabilidad distribuciones llamado el Kullback- Leibler o CL divergencia.
Él cuantifica el cantidad
de información perdido por usando probabilidad distribución dos
uno probabilidad distribución uno es el correcto uno.
CL divergencia tiene el propiedad de siempre ser mayor que que o igual a cero
y es solo igual a cero cuando el dos probabilidad distribuciones
son el mismo.
Este es a decir eso usando el equivocado distribución siempre dirige
a a teóricamente cuantificable, estrictamente positivo información pérdida.
Este es bonito embriagador abstracto cosa,
entonces Soy yendo a traducir él en el idioma de estadístico modelado.
Cuando nosotros son usando datos en estadística a aprender acerca de cómo algo obras,
nosotros son explícitamente o implícitamente adecuado probabilidad modelos a el datos
a aproximado el verdadero modelo eso generado él.
Si nosotros sabía el verdadero probabilidad generando mecanismo, nosotros podría usar el CL divergencia
a cuantificar cómo lejos o cómo equivocado el modelo es de el verdad.
Nosotros podría entonces intentar varios modelos y encontrar el uno eso es el más cercano
a el verdad.
akaike conocido este y atascado el verdadero
y el modelo probabilidad fórmulas en el CL divergencia fórmula
y usado a pequeño álgebra a ver eso el CL divergencia tenía dos términos.
El primero término solo contiene el verdadero probabilidad- generando mecanismo
para el datos, cual nosotros poder nunca saber desde nosotros poder solo trabajar con modelos.
Sin embargo, este es a constante eso es el mismo para todo modelos
eso tú adaptar a el datos
como largo como nosotros jugar por a pareja simple normas.
El segundo término es qué akaike descubierto es empíricamente estimable y con a lote
de matemáticas, él encontró a simple fórmula a estimar este segundo término.
En particular,
él descubierto eso dos veces el CL divergencia es igual a a constante
eso es el mismo para todo modelos, más dos veces el negativo probabilidad logarítmica
de el datos usado a adaptar el modelo, más dos veces el número de parámetros.
Todo tenía estado multiplicado por a factor de dos justo a seguir el mismo convención
como a probabilidad relación prueba, desde el constante término es el mismo
para todo modelos como largo como nosotros no cambiar
el respuesta datos, nosotros poder adaptar varios modelos,
y el uno cuyo AIC es el pequeñísimo es el uno eso es estimado
a tener el K más pequeño L divergencia de el verdad y en a sentido es el uno
eso es el el menos equivocado.
Usando el AIC para modelo selección es enteramente análogo a allá ser
a recopilación de islas y tú desear a saber cual de el islas tú saber de
es más cercano a otro isla eso tú saber tú lo harás nunca ser capaz
a conseguir a.
El directo solución a este problema quería ser a calcular el distancias
de cada de el islas a el uno eso nosotros desear a conseguir cerca a.
Ahora, qué si el isla nosotros buscado a conseguir cerca a era rodeado
por a circular alto cerca eso nosotros podría ¿acercarse?
El isla es perfectamente en el medio de el cerca,
entonces el distancia de el centro de el isla a el cerca
es siempre el mismo.
Pero el cerca era lejos suficiente lejos de el isla eso él adjunto
eso nosotros no pude ver él o medida el distancia
de el cerca a el interior isla.
Nosotros poder aún estimar el distancia de cada isla a el cerca.
Porque el principal isla es en el centro de el cerca,
nosotros saber eso el isla más cercano a el cerca es el más cercano isla.
Este es exactamente el situación con el AIC.
Con el AIC, nosotros poder estimar el distancia de el verdad a cada de el modelos.
Cada AIC estimar es apagado por el mismo cantidad.
Mientras nosotros no poder estimar el absoluto distancia de el modelos
de el verdad, nosotros poder saber cual modelo es el más cercano
en a relativo sentido.
El original AIC es basado
en el probabilidad de el capacitación datos más a parámetro pena.
El capacitación probabilidad evalúa el bondad de adaptar de el modelo.
Nosotros no poder usar este término por sí mismo aunque, porque él es sesgado hacia abajo
como el modelo parámetros eran preferido a minimizar
el negativo probabilidad logarítmica.
Con a lote de matemáticas, akaike derivado a muy simple expresión
eso corrige para este inclinación.
El original pena es justo 2 K
dónde K es el total número de estimado parámetros.
Para lineal regresión con a pendiente
y un interceptar, nosotros también tener a contar el diferencia.
Para eso caso tú quería tener K es igual tres y no dos.
Allá son importante suposiciones eso condujo a el 2 K pena.
Nosotros poder caracterizar a ellos libremente eso el modelo tiene a ser razonablemente bien.
El AIC es aún yendo a ser robusto sin embargo, porque si a modelo es malo,
entonces el probabilidad componente voluntad ser grande y voluntad dominar
el pena entre el bien modelos.
El 2K término voluntad favor el menor modelos como largo
como el muestra tamaño es grande.
Sin embargo, él no llevar largo para gente a encontrar eso este original AIC
a menudo espectáculos modelos eso sobreajuste en pequeño muestras,
entonces a más preciso, más alto- orden aproximación a el inclinación era derivado.
Cuando este extra término es agregado,
el criterios se convierte conocido como el AICc o el corregido AIC.
Desafortunadamente, el reputación eso el AIC sobreajustes
tenía convertirse vulgar antes el corrección era descubierto
y ampliamente conocido acerca de.
El corrección se convierte infinito como K se acerca a N
emprendedor el modelo selección criterios lejos de modelos eso son cerca de saturado.
Aviso también eso el corrección término va a cero como N va a infinidad.
En grande muestras el AIC y AICc son equivalente.
El AICc es qué nosotros reportado en Triunfo porque él obras Bueno para pequeño muestras
y a pesar de él era derivado para Gaussiano distribuciones,
experiencia sugiere eso es bien suficiente con otro comúnmente usado distribuciones.
Ahora Soy yendo a ilustrar el AICc
en a real ejemplo eso era a cinco- factor central compuesto diseño con 31 corre,
y el respuesta era el cantidad de p ADN producido por a biorreactor.
Enfermo ilustrar el AICc usando el generalizado regresión plataforma,
donación él a lleno respuesta superficie modelo
con todo principal efectos interacciones y segundo- orden términos.
I adaptar cuatro modelos a el datos.
Uno es a lleno respuesta superficie modelo usando el menos cuadrícula eso era adaptar automáticamente.
Entonces I usar adelante selección
bajo el normal, logNormal, y exponencial distribuciones.
I eligió el exponencial distribución a ilustrar pobre modelo adaptar.
El modelos tenía 2 2, 9, 9, y 1 parámetros respectivamente,
y el modelo con el más bajo AICc era el logN normal con un AICc
de acerca de 334.8.
Nosotros poder romper el AIC y AICc cálculos
abajo a ver cómo diferente regiones de el pena son contribuyendo.
El lleno el menos cuadrícula modelo
tiene el más bajo probabilidad, pero el más alto AICc en general.
Cuando nosotros mirar en el segundo- orden correcciones y el original AIC valores,
nosotros ver eso es el segundo orden corrección término eso es emprendedor
el modelo selección criterios a ser muy grande para este modelo.
El logN normal adelante selección registro probabilidad es a pequeño más bajo
que el normal adelante selección uno.
Ellos ambos tener nueve parámetros, entonces su sanciones son el mismo
y el logN normal adelante selección modelo tiene el más bajo AICc.
El exponencial adelante selección modelo tiene el más pobres modelo adaptar como mesurado
por el probabilidad logarítmica, pero también solo tiene uno parámetro
en el modelo.
En general él tiene el pequeñísimo pena contribución a el AICc.
Pero el pobre adaptar de el modelo es semejante eso el probabilidad domina
y el exponencial modelo es el segundo de el el peor como mesurado por el AICc.
Si tú revisar el general derivación
de el AIC en el Burnham y Anderson libro,
tú lo harás ver eso qué es de hecho estimado es el esperado valor
de a hipotético prueba colocar probabilidad para a datos colocar eso tiene el mismo tamaño
y respuesta estructura, pero no valores como el capacitación colocar.
El esperado valores también llevar en consideración el variabilidad
en el estimar de el MLE.
I encontrar este validación cruzada interpretación de el AIC
a ser bonito irresistible.
I pensar es también importante a punto afuera eso este validación cruzada derivación
de el AIC hace no asumir en todo eso nosotros tener el correcto modelo.
A espectáculo eso este validación cruzada interpretación en realidad obras,
I creado a simulación fórmula usando un promedio de el modelos Yo tengo mostrado
en el anterior diapositivas como Bueno como alguno otro unos.
Este forma nosotros sabía eso ninguno de el modelos eran de hecho el correcto uno.
I adaptar cada de el cuatro modelos a nuevo capacitación datos a mil veces
y colocar él arriba entonces eso trabajo quería informe un independiente resistencia probabilidad
usando otro nuevo datos colocar.
I conservó cada de el cuatro modelos estructura
y distribuciones intacto y hizo no aplicar variable selección.
Este era a perfectamente imitar el exacto validación cruzada interpretación
de el AIC.
De allá, I creado a mesa de simulado
resistencia probabilidades y calculado su promedio para cada de el cuatro modelos.
Este es el AIC y AICc resumen mesa de antes,
con el simulación- basado promedio resistencia probabilidades logarítmicas
agregado encima aquí a el bien, tú poder ver eso el lleno normal modelo
resistencia probabilidad es muy cerca a es AICc valor
y eso el segundo- orden corrección término era básico para este fósforo a suceder.
En el otro mano,
tú ver eso el simulado promedio exponencial resistencia probabilidad logarítmica
es también muy cerca a el AICc.
Ambos el normal y logN normal resistencia probabilidades son cerca
a el original registro Normal modelos A CIC.
El normal resistencia probabilidad es a pequeño menor.
I atributo este a promediando a racimo de simulación modelos,
haciendo el simulado datos a pequeño poco más normalmente repartido
que el original datos era.
Allá son a pareja simple normas eso son necesario a hacer AICc comparaciones
en realidad válido entre diferente modelos.
El mayoría importante es eso el estocástico parte de el datos
tiene a permanecer el mismo, el mismo filas tener a ser usado
y él es el Y's en particular eso debe ser el mismo.
El X poder ser diferente, de curso, incluso si ellos eran originalmente aleatorio,
no solo debe el Y's ser el mismo, pero ellos no poder ser cambió o transformado.
El transformar quería tener a ser construido en el modelo adecuadamente.
El AIC es también solo definido
para bien educado máximo probabilidad estimadores
y otro cercanamente relacionado métodos.
Este explica por qué tú no ver AICc
para neural redes y otro máquina aprendiendo modelos.
También, tú tener a mantener en mente eso justo porque tú encontró a modelo eso el AICc
dice es el mejor, él no significar eso él es a bien modelo.
Usar su pasado experiencia y modelo diagnóstico parcelas a asegurar
eso el modelo es bien suficiente a ser útil.
Regresando a el pADN datos, nosotros ver dos equivalente modelos.
En el arriba, nosotros tener a logN normal modelo
y en el abajo nosotros tener a normal adaptar a el registro- transformado respuesta.
Tú poder ver eso el generalizado RS cuadrados
son el mismo para estos dos modelos, pero el AICcs son muy diferente.
Este es porque el logN normal adaptar
implícitamente construye el transformar en el probabilidad.
Pero el registro escala normal adaptar hace no.
En este caso, el bien cosa a usar es el logN normal.
Aquí está a rápido demostración eso tú tener a decidir el distribución
y el aporte variables en el mismo tiempo.
Aquí es simulado datos de a Tt Este tipo modelo
dos grupos de normalmente repartido datos con el mismo diferencia,
pero diferente medio.
Si tú adaptar todo en el distribución plataforma,
él elige el normal dos mezcla con un AICc de 1036.
Este es el correcto distribución
si tú no saber el grupo identidad de el filas.
Una vez tú incluir el agrupamiento variable aunque,
tú ver eso el normal llega afuera en arriba de un AICc de 717 o entonces.
Nosotros también intentó el Weibull logNormal
y gama y el normal aún vino afuera en arriba, incluso aunque aquellos distribuciones
hizo mejor en distribución sin incluido el agrupamiento variable.
Tú lo harías tener a intentar diferente modelo estructuras
y distribuciones juntos a encontrar el bien combinación.
Ahora Soy yendo a cambiar engranajes y hablar a pequeño poco acerca de el BIC,
cual es el otro principal analítico modelo selección criterios y JMP.
El BIC es motivado en a completamente diferente forma
que el AIC.
Schwartz usado a grande muestra argumento en a Bayesiano contexto a aproximado
el registro probabilidad de el datos después teniendo integrado el modelo afuera,
arrogante a departamento previo en el parámetros, un expresión similar a el AIC estallidos afuera
con a K registro en tipo pena término bastante que dos veces k.
Allá eran también otro términos en el integral eso son siempre ignorado.
Uno es K registro 2 pi, cual era consideró también pequeño
a trato con y el otro uno
es a normalizado diferencia de el MLE, cual quería también ser de Orden K.
I no estudiar el AIC o BIC en cualquier profundidad en escuela.
I justo recordar audiencia el abstenerse AIC sobreajustes,
BIC bajo encaja varios veces en diferente clases,
cual I interpretado como a fuerte escepticismo acerca de ambos de a ellos.
Comparando el AICc y Sanciones del BIC, nosotros ver eso el AICc voluntad prevenir
grande modelos de ser preferido cuando el muestra tamaño es pequeño,
mientras el BIC voluntad aún permitir grande modelos.
I ver el K registro y normalización constante pena en el BIC como un poco
menos irresistible que el validación cruzada interpretación de el AIC- tipo sanciones.
Algo eso dirige
a a marginal probabilidad de el datos es más abstracto a a mí que algo
eso es directamente interpretable como a validación cruzada métrico
tomando en cuenta parámetro incertidumbre.
Soy completamente consciente
eso Soy editorializando aquí, pero este es qué trabajó Bueno
para a mí entonces lejos.
Regresando a el p ADN Gama uno más tiempo.
Aquí son el mismo modelos adaptar en el pADN ejemplo
usando el BIC primero selección en arriba y el AICc en el abajo.
Aviso eso el BIC de el lleno normal modelo
es no como lejos lejos de el otro modelos como con el AICc.
El mejor modelo en general como calificado por el BIC es a logNormal,
pero con 13 parámetros este tiempo alrededor bastante que nueve.
El adelante seleccionado BIC normal modelo también tiene a pareja más parámetros.
En pequeño muestras, contrario a el AIC sobreajustes,
BIC bajo encaja, el AICc poder elegir menor modelos que el BIC en pequeño muestras.
Aquí nosotros ver el efectos preferido por el BIC y el AICc.
El colocar de Seleccionado por BIC efectos es a superconjunto de el unos preferido
por el AICc.
A también aviso, Curiosamente, eso todo cuatro efectos no preferido
por el AICc son estadísticamente significativo según el BIC.
Bajo el BIC, el pH al cuadrado término es muy significativo,
pero él no es presente en el AICc modelo, para ejemplo.
I quería decir eso todo el significativo efectos
debería tener asteriscos por a ellos,
pero todo significativo valores p tener asteriscos por a ellos y J Diputado informes.
En cambio, Enfermo justo decir eso I llevar valores p de efectos
después selección con a grano de sal.
A pesar de el dos modelos elegir diferente efectos,
alguno de a ellos muy estadísticamente significativo en el modelo.
Si nosotros mirar en el perfil
o variable importancia de estos dos modelos,
ellos decir a muy similar historia.
Alimentar tasa es por lejos el mayoría importante
y después eso el ordenando es el mismo entre el dos modelos.
Sólo pH impactos 3% de el variación en el respuesta superficie bajo el BIC
mejor modelo y no es incluido en todo en el AICc mejor modelo.
Este es a muy claro ejemplo
de estadístico significado y práctico pertinencia
ser dos diferente cosas.
Allá son a lote de opiniones afuera allá acerca de el AICc y el BIC.
Para ejemplo, Burnham y Anderson
decir eso ambos métodos son coherente para el Casi- verdadero modelo como N va
a infinidad.
Pero entonces Hay otros eso decir
eso el BIC es el solo uno coherente para el verdad.
Burnham y Anderson decir eso tú poder colocar arriba simulaciones a hacer uno mirar bien,
cambiar el forma es colocar arriba a pequeño poco y lo hará voltear el resultados.
Burnham y Anderson,
OMS son acerca de el mayoría intransigente AICc fans afuera allá en su simulaciones,
encontró eso el AICc elige menos en realidad malo modelos que el BIC.
I pensar es no a malo idea a mirar en ambos BIC y AICc
después aplicando variable selección.
Si el mejor modelos bajo ambos son bonito mucho el mismo, cual es a menudo el caso,
tú poder sentir bonito bien acerca de cualquiera de a ellos, si ellos son diferente
es bien a pensar acerca de el razones por qué y usar su sujeto asunto pericia
a ayuda hacer a decisión.
Mi último tema es modelo selección criterios y lineal mezclado modelos.
Este es a bonito complicado situación, especialmente porque allá no es consenso
entre software vendedores en cómo a calcular el modelo selección criterios.
A ilustrar este, I creado a dividir trama diseño con cuatro factores.
Allá son dos entero trama efectos y dos dividir trama efectos.
Si tú llevar el mismo datos y adaptar el mismo modelo en JMP Pro
y SAS usando adaptar mezclado y procedimiento mezclado,
tú voluntad ver eso el probabilidades y modelo selección criterios no fósforo,
pero el diferencia estimaciones hacer, tú conseguir diferente fijado efectos
parámetro estimaciones, pero el fijado efectos pruebas aceptar.
Uno de el razones para este es eso JMP y SAS fijado efectos diseño matrices
usar a diferente codificación estrategia para categórico efectos.
En el izquierda I tener el JMP diseño matriz para el dividir trama ejemplo,
y en el bien tú ver el SAS uno.
JMP crea a fila de menos unos
para el último nivel de categórico efectos cual es visto en azul aquí
mientras SAS crea a fila de ceros.
Ni uno de estos es bien o equivocado.
Es como cambio unidades o cambio coordinar sistemas.
JMP categórico efectos suma a cero, mientras SAS categórico efectos
poder ser interpretado como diferencias de el último nivel.
A pesar de el crudo parámetro estimaciones diferir de,
predicciones voluntad ser el mismo entre el dos codificaciones porque el modelos
son fundamentalmente equivalente.
Mayoría cosas eso asunto
no ser diferente entre el dos software productos.
Sin embargo, REML, el método usado a estimar mezclado efectos modelos
tiene un ambigüedad en él.
El base Gaussiano probabilidad en el arriba
voluntad ser el mismo en cualquiera software porque es a real probabilidad.
Pero el REML o residual probabilidad reportado por procedimiento mezclado
y JMP profesionales adaptar mezclado no es a real probabilidad.
Si él era a real probabilidad, entonces nosotros quería conseguir el mismo valores
a pesar de todo de cual codificación o software nosotros usado.
Este es porque Hay un extra pena agregado a el Gaussiano probabilidad
para REML eso reduce el inclinación de el diferencia Estimaciones.
Pero este depende en el diseño matriz
en a forma eso es sensible a el codificación usado.
JMP informes, el crudo Gaussiano probabilidad, y el AICc y BIC que él informes
son basado en eso bastante que el residual probabilidad.
El número de parámetros adaptar mezclado cuenta
es el total incluido ambos fijado efectos y diferencia parámetros.
Nosotros hizo él este forma a hacer él entonces eso tú poder usar JMP a comparar modelos
con diferente fijado- efecto estructuras como Bueno como diferencia modelos.
En SAS, ellos solo informe el residual o REML probabilidad logarítmica
y él informes modelo selección criterios basado en él.
Tú poder ver aquí eso él también solo cuenta diferencia parámetros como Bueno
porque el diferencia entre el SAS probabilidad
y es AIC es para reticente dos parámetros,
a diferencia componente y a residual.
Todo este medio es eso
tú poder solo usar p roca mezclado para comparando diferencia modelos
con el AIC porque el modelo selección criterios
incluye el REML pena y es solo cálculo diferencia parámetros.
Con todo pendiente respeto,
I poder pensar de alguno bien razones para el SAS acercarse,
y allá son probablemente alguno otro bien razones I no incluso saber de.
Pero I personalmente preferir el flexibilidad proporcionado por el JMP acercarse.
A resumir, si tú comparar resultados al otro lado de software
para no- mezclado modelos, el significar parámetro estimaciones puede diferir de,
pero de lo contrario todo demás debería ser el mismo.
Como largo como el software computa
el constantes y el probabilidad correctamente como JMP hace.
Cuando nosotros conseguir a Gaussiano mezclado modelos,
allá son muy importante software diferencias
y el alcance de el decisiones tú poder hacer acerca de el modelos
usando el software puede ser muy diferente
dependiente en el detalles de cómo es probabilidad es calculado.
JMP modelo selección criterios
son comparable ambos dentro el mismo plataforma
y al otro lado de otro modelado plataformas.
Enfermo cerca con este deslizar, cual da mi básico recomendaciones
para aplicando el herramientas discutido hoy.
Hipótesis pruebas es a herramienta para cuando tú necesidad a probar algo
y es mejor usado en situaciones cuando tú tener a bien idea
de el modelo estructura en avance.
Cuando estás laboral en a problema en industria y el muestra tamaño es pequeño,
I quería palo a clásico estadístico modelos
y usar el AICc como el primario herramienta para elegir entre a ellos.
Con más grande datos conjuntos, cuando I tener suficiente datos a sostener afuera
en el menos a tercero de el observaciones, I usar resistencia validación cruzada a comparar
clásico estadístico modelos como Bueno como máquina aprendiendo modelos.
En mi propio trabajar, I tender a evitar K- doblar validación cruzada
y es diferencia.
El modelo selección criterios son equivalente a él en más grande muestras,
y I tender a palo con más simple modelos con menor datos conjuntos.
I saber eso no todos es yendo a aceptar con a mí en este,
pero este es qué obras para a mí y es a bonito seguro forma
a acercarse modelo selección.
Eligiendo el mayoría útil modelo de a colocar de alternativas eso debe todo ser equivocado
en alguno nivel es un importante decisión, y estos son el principal Consideraciones
I tener cuando decidiendo al a modelo selección estrategia.
Agradecer tú para su atención y I mirar adelante a hablando con tú
en el Encontrarse el Experto Sesiones.
