Vocero | Transcripción |
| Fabio D'Ottaviano | Bien, gracias a todos por ver este video. Como pueden ver, hablaré sobre los efectos aleatorios faltantes en el aprendizaje automático. |
| Es una idea de trabajo en conjunto con mi colega Joe Young, ambos trabajamos para Dow Chemical Company trabajando en lenguaje coreano D y nos ayudamos a conocer cómo desarrollar nuevos procesos y principalmente nuevos productos. |
| Lo que veis aquí en esta pantalla es una gran jaula de bingo, porque nuestra charla aquí va a ser sobre simulación y la simulación tiene mucho que ver al menos para mí. |
| Con el caso del bingo, porque tú decides la distribución de tus bolas y números dentro del gran evento, luego sigues eligiéndolos como quieras. Está bien. |
| Esta charla también tiene que ver con la publicación, acabamos de decir. |
| Últimamente, con el mismo nombre, puedes ganar lo que deberías tener acceso a esta presentación, puedes hacer clic aquí y tendrás acceso al documento completo. Así que aquí hay solo un resumen de lo que hemos publicado allí. |
| Bien, ¿cuál es el contexto de esto? Bueno, en primer lugar, el aprendizaje automático tiene un atractivo de tipo plug and play para las sesiones de conocimiento. |
| Sé que no hay que dar por sentado nada que sea atractivo. Además, hoy en día existe un software muy fácil de usar, así que, ya sabes, a la gente le gusta hacer eso hoy en día. |
| Sin embargo, ya sabes, los efectos aleatorios están en todas partes y ejecutar estos efectos es algo curioso porque es un concepto un poco más complejo, por lo que tiende a no serlo. |
| Los cursos de estadística básica muestran temas más avanzados, por lo que habrá muchas personas que se dediquen al aprendizaje automático sin tener muchos conocimientos sobre efectos aleatorios. |
| E incluso si tienen esa comprensión, entonces el concepto de hecho aleatorio |
| Todavía no se ha generado un gran revuelo con personas que utilizan el aprendizaje automático porque solo hay unos pocos algoritmos que pueden hacerlo y que pueden usar efectos aleatorios. |
| Puedes consultar estas referencias aquí donde ves que hay algunos árboles y bosques al azar, y puede tomarlos, pero son recientes y no están, ya sabes, difundidos. |
| En todas partes. Por lo tanto, será difícil encontrar algo que pueda manejar efectos aleatorios en el aprendizaje automático. |
| Hablemos un poco sobre los efectos aleatorios. Como pueden ver aquí, al menos en la industria química de donde vengo, normalmente mezclamos. Digo tres componentes. Correcto. Estos son amarillo, rojo y verde. |
| Nosotros, nosotros hacemos esto, ya sabes, el porcentaje de cada uno de estos componentes en diferentes niveles. Y luego medimos las respuestas a medida que lo cambiamos, el porcentaje de estos componentes con un determinado equipo y, a veces, incluso tienes un operador o técnico de laboratorio que lo hará. |
| También interfiere en el resultado que quieres ver. Bien. Y luego, cuando hacemos este tipo de experimento, queremos generalizar, ¿es así como están los hallazgos, o cualquier predicción que estemos tratando de alcanzar? |
| Pero el problema es que sabes cuándo estoy mezclando estos componentes verdes aquí. Si compro la próxima vez al proveedor que me suministra este componente verde, el año que viene... |
| Y el tono verde, ya sabes, es muy verde y no sé cuál será la próxima vez que compre este componente verde. ¿Será que el proveedor me lo está dando exactamente del mismo verde porque hay una variabilidad en el suministro? |
| Además, puedo hacer que mi experiencia sea que estás usando un equipo determinado, pero si busco en mi laboratorio o en otros laboratorios, es posible que tenga diferentes marcas de estos equipos. |
| Y encima, también tienes, ya sabes, quizás alimentos cuya medición depende del operador que la está haciendo bien, así que también puedes interferir y empobrecer mi |
| Predicción aquí sobre mi generalización a |
| Haz lo que quiera predecir aquí además |
| Supongo que esto es lo más típico en la industria química, que es el experimento de variabilidad de lotes experimentales. |
| A lo largo del tiempo, si repites lo mismo una y otra vez. |
| Digamos que tienes un experimento aquí, obtienes tu modelo, tu modelo puede predecir algo, pero luego repites ese experimento para obtener otro Malden, obtienes otro modelo con las predicciones de estos tres modelos. |
| Puede que ahora sea considerablemente diferente. Nick es legible. Por lo tanto, también está el componente del tiempo. |
| Entonces, ¿cuál es el problema del que estoy hablando aquí? Bueno, normalmente tenemos datos almacenados y datos históricos, es decir, una colección de fragmentos de datos que hemos recopilado en el pasado. |
| Y la gente no se preocupó mucho por generalizar ese resultado. El resultado en el momento en que hicieron ese experimento. Entonces, cuando los recopilamos y los llamamos datos históricos, podemos o no tener etiquetas para el efecto aleatorio, ¿cierto? |
| Y luego, si tienes texto, que es al menos de donde yo vengo, esto es más una excepción a la regla, no tener impuestos para mí, hechos, al menos no para todos ellos. |
| Digamos que tienes etiquetas. Una cosa que puedes hacer es usar técnicas de aprendizaje automático que puedan manejar estos efectos aleatorios y llevarlos al modelo. Y eso es todo. No tienes ningún problema. |
| Pero, como dije, no es muy fácil insensibilizar las técnicas de aprendizaje automático que pueden obstaculizar los efectos aleatorios. Puede verse tentado a utilizar el aprendizaje automático. |
| Y deje que los efectos aleatorios entren en el modelo como si fueran fijos y luego se encontrará con estos problemas muy conocidos de que debe tratar el efecto aleatorio como fijo. |
| Sólo para decir una cosa, va a ser difícil predecir cualquier novedad que venga porque, por ejemplo, si su efecto aleatorio es europeo, más adelante sólo tendrá unos pocos |
| Operadores en sus datos, cierto, algunos nombres, pero si hay un nuevo operador que realiza días, no puede predecir cuál será el efecto de este nuevo operador. Entonces, aquí no hay acuerdo. |
| Y luego hay una cosa que puedes hacer. Lo haces. Deberías tener o no deberías tener ingresos fiscales que sacrificamos para nosotros nuevamente con cualquier técnica de aprendizaje automático. |
| Y si tienes aleatoriedad, deberías tener las etiquetas para ignorar el efecto aleatorio o, si no, lo vas a ignorar. Te guste o no. Entonces, lo que quiero hacer es simular menos un juego de disparos. Usamos la pesca con cuerda de saltar. |
| Y ya sabéis, espero que os hayan gustado los resultados. |
| Básicamente, la simulación. Usaré un modelo de efectos mixtos con efectos fijos y aleatorios. Y luego usaremos ese mismo modelo para estimar |
| Con la respuesta a esto para hacer el modelo después de simular y también modelo, los resultados de mi simulación aquí con una red neuronal derecha |
| Luego usamos este modelo aquí como el rendimiento predictivo de este modelo aquí. |
| Como punto de referencia, lo usamos para predecir el rendimiento de los bordes cercanos y, ya sabes, comparar más tarde. Están tomando su conjunto de prueba en cuadrados para ver qué sucederá. Aquí se cumple el efecto aleatorio, ¿no? |
| Bueno, bueno. A veces, cuando hablo de estas personas, pienso que estoy comparando un modelo lineal de efectos mixtos con una red neuronal de aprendizaje automático. Y ese no es el caso, ya sabes, aquí estamos comparando un modelo con y sin efectos aleatorios. |
| Incluso si hay un efecto aleatorio en los datos, podría hacerlo. Por ejemplo, un |
| Modelo lineal con ejecución de los mismos efectos versus un modelo lineal sin ejecución de los mismos efectos. |
| Y yo podría hacer una red neuronal con efectos aleatorios versus en orina que sin efecto aleatorio. Pero el problema es que hoy en día no hay ninguna maravilla y que, por ejemplo, pueda manejar efecto aleatorio. Así que me vi obligado a utilizar. Por ejemplo, un efecto mixto lineal de todos |
| Mis factores de simulación. Bueno, utilizaré algo que se usa habitualmente en la industria, que es una mezcla de lo que es un modelo de variable de proceso. |
| Digamos que tengo esos tres componentes. Te lo mostré antes. Sé que el amarillo, el rojo y el verde tienen un porcentaje determinado y llegan hasta uno. |
| Tengo una variable continua que, por ejemplo, puede ser la temperatura. Tengo una variable categórica que puede ser de tipo capitalista y tengo un efecto aleatorio que puede ser muy feo de un lote a otro de experimentos. Vale. |
| El modelo de simulación. Bueno, es bastante simple. Aquí tengo mi mezcla de efectos principales M1, M2 y tres. Correcto. Y verás en todo este modelo que todos los efectos fijos tienen uno o menos uno. Simplemente les asigné uno menos uno aleatoriamente. |
| Entonces, tengo los efectos principales de la mezcla. Aquí tengo la interacción de dos vías de la mezcla, la interacción de la mezcla sería una variable continua. |
| Y la interacción de la variable categórica con los componentes. Y finalmente, la introducción de la variable continua con la variable categórica. |
| Además, tengo estos, ¿por qué aquí elegimos mi efecto aleatorio y el Ej, que es mi error aleatorio? Correcto. Y ambos se distribuyen normalmente con cierta varianza aquí. Dije, la varianza entre un mejor experimento, correcto, y usa la divergencia dentro de la coincidencia del lote de experimentos. |
| De toda esta presentación, solo para hacer que toda esta fórmula represente una formación, digo de manera más ordenada o use esta forma, un héroe X en realidad representa todos los efectos de corrección y beta. |
| Representa todos los parámetros que utilicé. Correcto. Y mi por qué aquí. En realidad, lo esperado. ¿Por qué es XP? Es todo esto sin mi efecto aleatorio aquí y nos ocupamos de mi Renault Mayor. |
| Parámetros de simulación. Bueno, aquí tengo uno que es el tamaño de los datos, ¿no?, el que ella. ¿Qué pasa si no tengo tantos datos y |
| Más capas de datos y más datos aquí mismo. Tengo dos niveles de 110 000 roles en cada conjunto de experimentos aquí, en realidad, tengo 20 filas, un efecto perfecto de 200. La otra cosa que variaré será que D decida la insignia para el grupo, lo que prefiera. |
| A veces va a ser así. Tengo dos niveles, 4 % y 25 %, por lo que 4 % significa que si tengo 100 tiradas de estos, un lote de experiencia, mi lote, vamos a... |
| En realidad, se utilizarán para los roles. Por lo tanto, tendré 2525 lotes. Si tengo 100 rollos en total, el tamaño de mis lotes será del 25 % y solo tengo cuatro lotes. |
| Entonces, la otra variable que cambiamos aquí será la varianza total. Correcto. |
| Y bueno, tenemos dos niveles aquí, punto, cinco y 2,5 es la mitad del tamaño del efecto, ¿cierto? Entonces, la fórmula aquí es todos unos para el efecto fijo. |
| Y la otra es escribir y la suma de esta varianza total es la suma de mi variación entre lotes y dentro de los lotes, una varianza muy grande. Correcto. Y por último, la otra cosa que cambiaré es la relación entre dos dentro de los lotes. |
| Segmentos similares. Correcto. Entonces tengo uno y cuatro. Entonces, en uno de mis |
| Entre la variación de lotes va a ser igual a ganar y la otra va a ser cuatro veces mayor que ganar |
| Entonces, una vez que me instalé es para |
| Aquí hay cuatro factores. Digo parámetros y luego hacemos un factorial completo. ¿Usamos nuestros 16 números correctamente? |
| A dos niveles de tamaño de datos, dos niveles de tamaño de lote, dos niveles de varianza total. Angelo era el desierto. |
| Con eso, puedo calcularlo dentro de los segmentos correspondientes. Correcto. Y esa es la configuración para la simulación. Bien. Ahora, lo llamo hiperparámetro de simulación, porque puede cambiar a medida que |
| Lo que yo haría, y te lo mostraré en la demostración, sería 30 simulaciones de riesgo o corremos. Entonces, cada uno de los 16 lo que hice fue correr 30 veces cada uno. Correcto. Entonces, por ejemplo, |
| Haré una simulación de 123 niveles hasta que se ensucie y se corrijan los efectos. El nivel de dificultad de los efectos. Utilizo el diseño de sensación espacial. |
| Y la razón por la que utilizo este diseño de relleno de espacio es que no quiero confundir el efecto de falta de allí y el efecto en ese momento con el hecho de que posiblemente tengo alguna llamada de caridad o datos dispersos. |
| Lo cual es algo típico en los datos históricos. Correcto. No quiero que eso se interponga en mi camino. Quiero, prefiero diseñar y sentir el espacio, que nos distribuyamos. |
| Niveles de los efectos fijos en todo el espacio de entrada. Entonces, si me deshago de este problema de dispersión de datos o limpio la rareza correctamente y luego asignamos al lote, aleatorizamos el lote para cruzar las ejecuciones en la primera ronda y luego usamos el mismo |
| Secuencia en las otras 29 ejecuciones. Por lo tanto, en todas las ejecuciones, tenemos el mismo lote de ubicación. |
| Por último, todas las ubicaciones de Papá Noel se asignarán al azar para cada una de las ejecuciones de simulación. Así que déjenme salir del aire y comenzar a saltar. |
| Entonces, lo que haría es lo que solía hacer con un diseño de derrames con un propósito especial. Cargaré mi factor aquí solo porque quiero ser rápido aquí. De todos modos, aquí tengo mis 12345 efectos fijos. |
| Los diseños que dan sensación de espacio no aceptan una mezcla de variables, por lo que es necesario establecer |
| Restricciones lineales aquí, solo para decir, mira a estos tres tipos aquí y necesitas sumar uno. Eso es lo que voy a hacer aquí. |
| Está bien. |
| Entonces, con eso, una restricción satisfecha dará un ejemplo de la primera ejecución de este d, que es donde tengo un tamaño de datos de 100, un tamaño de lote relativo del 4%. |
| Variación total, varianza total, punto cinco y la proporción será uno. Entonces, si vuelvo aquí y necesito poner, necesito generar 100 ejecuciones. Además, si quiero replicar esta teoría y tienes que establecer la semilla aleatoria y la cantidad de inicios correctamente |
| Entonces, la única opción que tengo cuando digo restricción es el diseño de llenado rápido, más rápido y flexible. Y aquí está. Aquí está la tabla, así que puedes incluirla. |
| Una cosa que se ve es que si se utiliza un bloque ternario y se utilizan los tres componentes, se ve que todo se distribuye. Ups. |
| Tengo un problema aquí que ella |
| No |
| Déjame volver. Hay un problema con las restricciones, sí. Olvidé la que está aquí. Sí. |
| Muy bien, comencemos de nuevo. Cien |
| Colocar |
| Asiento aleatorio 21234 |
| Y empieza el número. Genial. |
| El próximo libro es una mesa de sensaciones. Sí. Y luego necesito comprobar si está todo bien distribuido. |
| Y lo averiguo. Sí. Bien, entonces miro mi variable categórica aquí. Quiero ver si se extiende a todas ellas. Como pueden ver, esto es para uno y dos. Genial. Ahora dije, déjenme cerrar todo eso, hacemos 30 simulaciones. Entonces, esta es una SIMULACIÓN, ¿CIERTO? TENGO 100 roles. |
| Pero ahora necesito hacer 30. Entonces lo que haré es agregar roles aquí. |
| 2900 |
| Al final |
| Y simplemente seleccionamos estas primeras 1000 ejecuciones, perdón, 100 ejecuciones, todas las variables, un año. |
| Y siento hasta el final de la mesa. Genial. Así que ahora repito el mismo diseño 30 veces. |
| Ahora, |
| Para que sea más rápido, simplemente abrí. Sin embargo, estoy usando esta tabla nuevamente. Simplemente uso otra tabla en la que ya tengo todo lo que quería mostrar configurado. |
| Entonces, sí, vuelvo a esta tabla, lo que tengo. Lo siguiente que haría sería crear una columna de simulación aquí, solo para indicar que... |
| Con esta fórmula, puedo decir que las simulaciones de hasta 100 filas son cien, esta simulación es una y luego cada cien cambias los números de simulación. Entonces, al final del día, obviamente obtengo 30 simulaciones con 100 tiradas. Cada gran |
| Luego, la ubicación del lote, solo para explicar lo que hicieron. Acabo de mostrar eso en PowerPoint. Tengo una granja. Ahora creará dos lotes del 4 % del tamaño total de los datos, lo que significa que tengo cuatro filas por lote aquí, luego cuatro y así sucesivamente. Y una vez que |
| Llego a 100 y salto de la simulación. Quiero volver a la simulación y luego todo vuelve a empezar. Bien. Así que al final del día ya estoy listo. |
| Aquí están los 25 lotes. Bien. |
| Entonces lo siguiente que haré será crear mi validación. |
| Columna, lo que significa que necesito dividir el conjunto correctamente. |
| Volviendo a esta demostración, volviendo a la presentación de PowerPoint, se ve que para la solución que voy a crear, pero la neurona que tenía |
| Se dividen los roles, el 60 % de ellos pertenecerá al conjunto de entrenamiento, el 20 % al conjunto de validación y el 22 % restante al conjunto de prueba. Entonces, ¿cómo hago eso en ese caso? Volviendo a John |
| Ahí vamos. Déjame ocultar esto. |
| Bien, entonces aquí está la validación, viene la validación. ¿Cómo hago eso? Ya está ahí, pero no explico cómo lo hago, voy a Analizar |
| Haz una columna de validación, usa tu columna de simulación, tiene una certificación, vas y luego simplemente lo haces. |
| Punto 6.5 2.2 y un usuario una semilla aleatoria aquí solo para asegurarme de que veas que así es como creo esa columna correctamente |
| Entonces si vuelvo a mi presentación aquí. |
| Todo el 60% que pertenece al conjunto de entrenamiento para el nuevo año y ese 10 a 20% que |
| También pertenece al conjunto de validación para la red cercana. Ahora, ambos pertenecen a un conjunto llamado conjunto de modelado para los efectos de mezcla. Por lo tanto, el efecto de mezcla. |
| Modelo, no habrá validación. Solo se estima el modelo con este 80% y el conjunto de prueba de la solución de efecto mixto que será el mismo 20% que uso para el nuevo año en esa solución. Entonces, en ese caso, vuelvo a saltar y |
| Vaya aquí este |
| Y es genial escuchar una fórmula en la que sabes que cero significa la validación de la red neuronal y cero significa entrenamiento, así que entrenamiento, sigue entrenando. |
| Uno es la configuración de validación que será mi modelo y el otro es mi conjunto de prueba, y también será mi conjunto de prueba aquí. Así que creé estos y luego... |
| nombre de la columna para todas sus etiquetas, cero va a ser modelado y uno va a ser escritorio, de esa manera puede ver aquí que todo lo que está guardado aquí, él lo dice aquí, pero lo que está forzando una validación se convierte en modelado. Entonces, finalmente, necesito establecer las fórmulas para mi respuesta. |
| Entonces, para el valor esperado de mi simulación, solo tengo que fijar la fórmula de los efectos aquí, no hay ningún término aleatorio aquí. Está bien. Y ese es mi valor esperado, mi esposa y mi esposa ij va a ser |
| Esto y mira la fórmula tienes la y que es mi valor esperado más aquí tengo una fórmula para generar |
| Un dato aleatorio |
| Valor que sigue una distribución normal con media cero y entre sigma sigma |
| Entre sigma. Es como configurar las variables aquí y como una variable de tabla porque puedo cambiar el valor más tarde como una semana sin tener que ir a la fórmula. Pero de todos modos, esto va a generar un valor único cada vez que cambie el número de lote. Entonces, si mi lote es |
| Aquí ese será el mismo valor cuando lo cambie a 22 crea otro valor. |
| Y cuando cambio de una simulación a otra, tengo un valor de 25 por lote, 25 en nuestra simulación uno y luego, cuando salto al lote uno de la simulación, se crea otro valor. |
| Correcto. Y aquí está mi número aleatorio normal con cosas de Sigma que puse sobre la mesa aquí, correcto. Así que mira, replicamos el trato que ejecutamos. Tengo Sigma 05 y 05. |
| Muy bien, entonces ahora tengo aquí la solución para mi simulación del modelo de efectos de mezcla justo antes de eso, déjame volver aquí y mostrarte lo que estoy haciendo. |
| Por ejemplo, para el modelo de efecto de mezcla, mi modo de simulación es este, pero mis pies, ese modelo, serán el problema, podría ser el análisis del sombrero. |
| Y mi pequeño ser aquí va a ser hackeado, ¿cierto? Entonces, es nuestra playa para cumplir con los valores que he simulado. |
| Y luego, en el modelo de efectos mixtos, tengo que usar un modelo de predicción. Uno es el modelo condicional de ajuste cuando uso |
| Mi estimación de los efectos aleatorios y la otra es mi estimación marginal cuando no la tengo. Correcto. Entonces tengo estos dos tipos de modelos. |
| Esto es bueno para predecir cosas que ya tengo en los datos. Y esto es algo que solía predecir cuando no tenía un conjunto de datos completo, ¿no? |
| Para el nuevo año y que estoy usando un, ya sabes, el tipo predeterminado estándar de cerca y al final y saltar, que sabes que no estoy usando solo porque es difícil porque prácticamente funciona. |
| Aquí tienes los cinco efectos fijos. Utilizo una capa con tres nodos, todas funciones tangentes hiperbólicas, como puedes ver aquí. |
| Y luego tienes aquí una función llamada hx, que es la suma de las funciones de distrito, más un término de sesgo aquí, ¿verdad? |
| Entonces, si agrego más nodos, no mejorará. Si solo usas dos nodos, empeorará aún más. Por eso, usaré esto en todas partes y eso es lo que te mostraré aquí. |
| Mi programa. Ups. Está bien. |
| Espectáculo. |
| Vuelvo a ti. Así que |
| Aquí tengo mi |
| Solución del modelo de efectos mixtos. ¿Cómo se me ocurrió? Solo para mostrarles. Aquí tengo la respuesta. Puse validación de los efectos mixtos por simulación. |
| Todos mis efectos fijos de un año y mi efecto aleatorio es mi lote, ¿no? Y luego una simulación genética, esta primera. Ves la simulación uno y va hasta el final de la simulación Turquía, ¿no? |
| No podría usar, por ejemplo, esa función simular salto aquí porque estoy cambiando la columna de validación para cada lote, entonces no puedo, al menos no sé cómo hacerlo, cómo incorporar la columna de validación en la fórmula de |
| Yo blanco G. |
| Y. Bueno. Bueno, oops, volvamos aquí. Ahora tengo otro guión aquí y te llevará un poco de tiempo. |
| No debería ser un gran problema. |
| Cuando estoy haciendo por ejemplo. |
| Las carreras, las carreras, las carreras. Tenemos 1000 filas por simulación que pueden tomar cursos de todo el tiempo, algo así como 10 a 15 minutos. |
| Realizar las simulaciones auditivas al mismo tiempo aquí debería generar algunos resultados. |
| Y |
| Allá vamos. |
| Bien, entonces aquí tengo, nuevamente, si miras, cada uno de ellos tiene cinco tres notas, ¿de acuerdo? Y tienes la simulación uno hasta la simulación 30. |
| Bien. Ahora que ya tengo todo listo para la primera carrera de mi año, lo siguiente que tengo que entender es qué tipo de cuadrados son. Voy a compararlos. |
| Aquí tenemos cinco tipos de cuadrados, ¿no? Aquí está la fórmula de r al cuadrado. ¿Por qué diferencio los cuadrados di por tipo? Porque depende de lo que uses, lo real y lo predicho en esta fórmula. |
| Ya sabes cuál es tu cambio al cuadrado. Por ejemplo, tengo aquí... Oh, estos son tipos de r al cuadrado o comparar |
| Por ejemplo, Rosa gira el conjunto de entrenamiento. Lo que simulé en comparación con la forma que obtuve para la red neuronal aquí porque cuando estás en ella. Y sabes, eso es realmente |
| El caso, por ejemplo, es que en todos los tres es lo mismo porque estoy comparando a mi esposa y los sombreros de mi esposa son iguales. Entonces tengo el tipo ocho, ¿no? |
| Luego tengo otro tipo de lo que llamo tipo be donde comparo. No estoy comparando el valor simulado con el |
| Efecto aleatorio en el término de error aleatorio Estoy comparando el valor esperado de mi simulación con la forma en que toma |
| Entonces, esto me hace enviar al conjunto de reglas de prueba que siempre son las mismas, solo que la forma en que se calcula el r cuadrado va a cambiar porque de esta manera aquí. |
| Cuando tengo lo que llamo el conjunto de prueba condicional, veo el rendimiento futuro del padre porque eso es exactamente lo que obtenemos cuando tenemos un conjunto de datos, porque no podemos saber el rendimiento real. |
| No tenemos el modelo real que es para eso que necesitas simular y luego tienes el conjunto de prueba esperado, que en realidad es la misma rosa, pero ahora estoy comparando el |
| Valor esperado. Y puedo decir, a falta de una palabra mejor, un rendimiento futuro real. Por lo tanto, el rendimiento aparente no es necesariamente el rendimiento futuro real. Vale. |
| Para el modelo de efecto de mezcla es lo mismo. Ahora tengo otro tipo de r cuadrado, porque aquí estoy comparando el valor simulado con mi |
| Predicción condicional de tierras agrícolas aquí y uso la estimación para tener efectos aleatorios, pero cuando quiero predecir el futuro. Entonces, bueno, nadie rompe los conjuntos de prueba de ambas condiciones aquí, tengo otro cuadrado aquí d que compara todo el valor de simulación para I |
| ¿Por qué ij en lugar de mi modelo marginal aquí? No estoy usando be aquí, ¿verdad? Leslie tiene un quinto tipo de nuestro cuadrado, que es lo que esperaba que enviara. |
| Nuevamente, el conjunto de prueba siempre tiene los mismos roles, solo que los estoy usando aquí. Ahora, el valor esperado versus mi margen. Mucho. Entonces, el problema es |
| Si no tienes cuidado, puedes calcular mal el R cuadrado. |
| Entonces lo que hago es, siempre que tengo aquí. Y si tuviera que mezclar el modo de efecto. No uso nada de lo que está en este informe, todo lo que hago es guardar las columnas aquí. Guardé mi |
| Predicción del modelo marginal a la derecha. Aquí ha guardado la fórmula de predicción del modelo condicional a la derecha y crearé columnas con este formato sin forma para el modelo de efecto de mezcla. Ahora, para el |
| Cerca de eso también puedes guardar las fórmulas. Me gusta decir fórmulas rápidas, porque solo quiero calcular nuestros cuadrados. Así que las guardé como fórmulas rápidas y luego lo que ves es que creo estas cinco columnas aquí. |
| Está bien, entonces déjame ir con ellos. |
| Entonces, ahora mi tipo A, si recuerdas a Taipei de la presentación aquí, estoy comparando el por qué simulado ij con mi cerca en ese modelo. Entonces, lo que hago aquí. Lo siento, lo que hago aquí es |
| Voy a llamarlos para que les den la información y ustedes ven aquí. Prediciendo qué y prediciendo dy AJ |
| Bueno, aquí está. Ahora tengo aquí a De Niro salvado y eso del doble de lo que vale es igual a este valor. |
| Pero ahora cambiaría la predicción de lo que está aquí. Esto es predecir el valor esperado. Correcto, de esa manera puedo usar esta fórmula que funciona aquí, que es la comparación de modelos. Puedo usar este tipo A y compro una simulación y crecí con la validación. |
| Y luego lo que obtienes es todo lo que necesitas en Dr Squares. |
| Para ver desde |
| De la simulación uno |
| Todo se reduce a la simulación 30 y lo tienes por conjunto para que luego puedas combinar la tabla de datos y tengas todo ordenado, ¿verdad? Para los demás, también tengo un script aquí, por ejemplo, para que sean |
| Él era la fórmula de la paz. Ahora bien, en esta columna, yo solo predije que establecí el r cuadrado para el conjunto de prueba, no para el modelo, no para el conjunto de validación. Así que la simulación. Uno es un año. |
| Y luego, si vas hasta aquí abajo, tienes la simulación 30. Y nuevamente, siempre puedes combinar la tabla de datos y tus datos aparecen como el mismo formato de tabla para todos estos cuadrados. |
| Y Daniel, obviamente puedo tener otro script aquí para los cuadrados de fuego tipo co elegimos el conjunto de modelado del modelo de efecto mixto correcto y la simulación uno hasta el conjunto moderno a la simulación 30 y sabes que hacemos lo mismo. |
| Ahora, en el conjunto de pruebas, estoy prediciendo por qué ij, ¿no? Entonces, el secreto aquí es que a veces hay uno en el lago. Aquí nuevamente tengo la misma fórmula porque es mi modelo marginal de la |
| Solución del modelo de efecto mixto. Lo único que cambió es lo que dices en tu columna. Asegúrate de predecir qué y luego puedes usar esto para calcular todos estos cuadrados. |
| Está bien. |
| Permítanme volver a la presentación y ahora que tengo todos esos cuadrados juntos, apilan sus tablas y luego pueden hacer la visualización, como quieren. |
| Pero aquí estoy realmente interesado en el conjunto de pruebas condicionales de ambas soluciones y lo esperado, lo cual, dicho aquí, puedo pasar 45 minutos hablando solo sobre esta tabla que se muestra aquí. |
| Pero a mí no me interesan realmente los valores absolutos del r al cuadrado, sino más bien una forma comparativa de comparar nuestros cuadrados. |
| Pero necesito días solo para verificar una cosa, que es, como puedes ver aquí, cuando el tamaño de los datos aquí como puedes ver |
| Usa el puntero aquí. Hazlo más fácil. Tengo todos los cuadrados. Creé aquí versus todos los factores que tienes. Correcto. |
| Entonces, ves que cuando tengo un conjunto de datos pequeño, lo que sucede es que estoy cerca y eso se está entrenando correctamente debido a mi entrenamiento. |
| Y mis conjuntos de validación tienen una especie de distribución cuadrada que se superpone. Pero luego, cuando observamos el conjunto de prueba condicional, que en realidad son los datos, siempre tenemos los correctos porque nunca tenemos el valor esperado. |
| Siempre está en el nivel inferior, como puedes ver, para todos estos cuando tengo este pequeño conjunto de datos, pero luego cuando tengo un conjunto de datos más grande. |
| La situación es diferente con 1000 roles, entonces todos están alineados, ya sabes, como si se superpusieran. Así que los entrené correctamente. Nuevamente, el valor absoluto de nuestro cuadrado aquí no tiene mucho interés, lo que realmente les importa es cómo, ya sabes, si regresas a |
| En una de las diapositivas anteriores, ahora quiero comparar. Verá, tengo que comparar el rendimiento predictivo de mi modelo de efectos mixtos de referencia con mi red neuronal para probar ese cuadrado oscuro, ¿cierto? Esto es lo que obtendrá. |
| Déjame conseguir este molde. Entonces, lo que tienes aquí son nuevamente todos los verbos. Tenía para hacer nosotros, y si ellos |
| Enfermedad y su solución neta o no mezcló la solución de efectos. Entonces, puede ver que para el conjunto de prueba condicional, que es la parte del rendimiento. Entonces, si está en eso, siempre sabrá cuándo los tamaños de datos son pequeños. |
| El efecto de mezcla maltés siempre hace un mejor trabajo aquí cuando se incluye el |
| El efecto aleatorio está justo en el momento en que estás y eso es porque siempre existe este |
| Su mediana o incluso su promedio son todos más altos, pero luego, cuando tienes un conjunto de datos más grande, entonces |
| Ya sabes que esa diferencia ya no existe hasta cierto punto, incluso el nuevo funciona mejor, pero ese es el rendimiento actual. |
| Ahora, el verdadero. Ahora se ve que el modelo de efecto mixto ha tenido un mejor desempeño que el de escritura versus Internet. |
| Y aquí ya no hay más, ya sabes, ni siquiera fundamentos, ya sabes, porque al fin y al cabo, el modelo de efecto directo. Está haciendo un mejor trabajo, especialmente en este escenario que es big data, datos más grandes. |
| Últimos conjuntos o variabilidad y más entre den con invitados en este momento encontrar esas líneas que tengo aquí va a hacer esto va a hacer para cada ejecución de simulación va a hacer la diferencia entre el efecto de mezcla. |
| R cuadrado versus año nuevo y que son cuadrados. Así que, aquí vamos. |
| Aquí tengo cuatro gráficos, así que concentrémonos en uno. Lo que tienes en el eje y es el cuadrado del aire acondicionado. Luego, mezcla menos la diferencia en el cuadrado del acondicionador, perdón, el |
| El efecto de la mezcla r al cuadrado menos entonces estás en ese cuadrado. Entonces, eso es lo que obtienes aquí, y esa es la diferencia en un patrón para el desempeño futuro. |
| Y aquí, en el eje x, lo que tienes es esta diferencia en el R cuadrado esperado. Elegimos tu desempeño futuro real, ¿cierto?, o sesgo. Si quieres |
| Ahora tengo cuatro bloques. ¿Por qué? Porque si piensas en eso, cuando tienes datos históricos y no tienes la tecnología, sabes, |
| Ya sabes, si estás analizando los datos, posiblemente tengas control sobre dos cosas: el tamaño de los datos y el tamaño relativo del lote. |
| ¿Por qué? Porque no puedes controlar cuál será la variabilidad de tus datos. Y si tus efectos aleatorios van a ser mucho mayores que tu aire aleatorio. Entonces, las únicas dos cosas que puedes hacer son: |
| Tenga algún control sobre el tamaño de los datos y el tamaño relativo del lote. Si no tiene la etiqueta, al menos puede tener una idea de si puede usar sus datos históricos. |
| Debería estar compuesto por muchos, muchos dormitorios, solo uno o dos lotes. Correcto. Así que ese es el tipo de control que tienes. |
| Al menos podrás tener una idea del tamaño del lote cuando tengas datos estadísticos. |
| Entonces, lo que estoy comparando aquí es que nuevamente tengo la diferencia en el problema del rendimiento aparente, solo diferencias positivas, significa que el modelo de efectos mixtos tiene un mejor rendimiento. |
| Si esta diferencia aquí también es positiva, significa que el efecto de la mezcla es un mejor desempeño futuro, ¿cierto? |
| Y como puedes ver aquí, cuando tienes un conjunto de datos pequeño, no importa lo que hagas. |
| Y el modelo de efecto de mezcla tiene un mejor rendimiento y, a veces, mucho mejor, porque al hablar de diferencias en R cuadrado, pueden superar con creces los uno. |
| Correcto, entonces obtiene un rendimiento mucho mejor si lo coloca en uno o en el futuro. Entonces, cuando los tamaños de datos son pequeños, realmente no hay |
| No, no hay solución aquí. Sin embargo, cuando se observa el tamaño de los datos, los datos más grandes aparecen en el lado correcto, pero cuando se tiene esta pequeña cantidad de lotes, es correcto. |
| Aquí sucede algo curioso porque aquí ya sabes la diferencia suficiente para financiar el rendimiento futuro del eje Y es negativo en la mayoría de ellos. |
| Lo que significa que el trabajo cercano y mejor en términos de patentes en la prueba de la plaza Tahrir está bien o condicional. |
| Toca ese cuadrado oscuro. Entonces, cuando lo hagas, ¿quién se parecerá a la nueva orina? Sería un gran trabajo mejor que |
| El modelo de efecto de mezcla. Sin embargo, cuando se observa el conjunto del eje x, a la derecha, que es la diferencia en el rendimiento futuro real, puede resultar bastante engañoso. |
| Bien, entonces aquí tienes una gran cantidad de datos, pero solo unos pocos lotes, sabes que vas a obtener una buena prueba, el conjunto de prueba son cuadrados. Pero luego, cuando intentas implementar tu molde en el futuro. |
| Puede que te metas en problemas, pero cuando miras aquí, tenemos una situación de mitigación en la que tienes muchos datos y muchos lotes, por lo que tienden a no ser tan diferentes. Correcto, entonces |
| Como conclusión, debe utilizar un aprendizaje automático con efectos aleatorios no despreciables cuando el conjunto de datos es pequeño, ya que el rendimiento predictivo del conjunto de prueba probablemente será deficiente. |
| Independientemente de cuántos grupos de lotes tenga, esto se debe a que el aprendizaje automático requiere el tamaño mínimo de datos para tener éxito. Correcto. Por lo tanto, no hay |
| No hay forma de ganar el juego aquí. Ahora bien, cuando el tamaño de los datos es grande y solo tienes unos pocos clústeres, y esa es una situación un tanto engañosa porque tu conjunto de pruebas predice que el rendimiento puede ser bueno, pero el rendimiento, probablemente, sería Brewer más adelante cuando implementes el modelo. |
| Algunas personas me dicen, bueno, ¿por qué no usas la regularización?, dijo que incluso si lo hicieras, no lo harías en estas situaciones porque... |
| Su conjunto de prueba R al cuadrado puede ser bueno, pero no sabe si lo necesita correctamente, por lo que no podrá saberlo. |
| Ya sabes, cuál es tu rendimiento futuro a largo plazo, simplemente mirando tus pruebas en el cuadrado oscuro o algún tipo de error. |
| Pero luego, cuando su conjunto de datos es grande y tiene muchos grupos por día, toda la situación se mitiga y el efecto de sesgo del tipo de promedio más cercano desaparece porque cada efecto aleatorio, ya sabe, es la suma de todos ellos. |
| Es cero. Así que cuanto más tengas la última versión, más podrás obtenerla. |
| En primer lugar, ya sabes, solo quería decir que una cosa que aprendí de eso es que cuando los datos no están diseñados a propósito, hay dos cosas que siempre recuerdo. |
| El mundo de las máquinas no puede abordar los datos simplemente porque son grandes. Es necesario tener un nivel mínimo de diseño para que funcione. |
| Pero cuanto mayor sea el tamaño de los datos, más probable es que ya exista un nivel mínimo de diseño en ellos por pura casualidad. Muy bien. Y gracias si quieres contactarnos. Somos parte de la comunidad Jump. Estas son nuestras direcciones. Gracias. |
