756658_es-ES

liliconcom

Maximizar el éxito de la ciencia de datos con calidad de la información (InfoQ) y JMP® (2021-EU-45MP-750)

Ron Kenett, presidente de KPA Group y Samuel Neaman Institute, Technion
Christopher Gotwalt, Director de Investigación y Desarrollo Estadístico del JMP, SAS

El análisis de datos, desde experimentos diseñados y regresión generalizada hasta aprendizaje automático, se está implementando a un ritmo acelerado. Al mismo tiempo, la preocupación por la reproducibilidad de los hallazgos y la interpretación errónea del valor p indican que los análisis estadísticos bienintencionados pueden llevar a conclusiones erróneas y decisiones erróneas. Para que un proyecto de análisis de datos alcance sus objetivos, es necesario evaluar el alcance y la solidez de las conclusiones derivadas de los datos y las herramientas disponibles. Este enfoque en la estrategia estadística requiere un marco que aísle los componentes del proyecto: los objetivos, el procedimiento de recopilación de datos, las propiedades de los datos, el análisis proporcionado, etc. El marco InfoQ proporciona procedimientos estructurados para realizar esta evaluación. Además, InfoQ es fácil de implementar en JMP. En esta presentación, ofrecemos una descripción general de InfoQ junto con estudios de casos prácticos, basados ​​en la investigación de consumidores y la industria farmacéutica, para ilustrar cómo se puede utilizar JMP para realizar una evaluación InfoQ, destacando situaciones de InfoQ alto y bajo. También ofrecemos consejos que muestran cómo se puede utilizar JMP para aumentar la calidad de la información mediante un diseño de estudio mejorado, sin necesidad de adquirir más datos. Esta charla está dirigida a estadísticos, expertos en aprendizaje automático y científicos de datos cuyo trabajo es convertir números en información.

Transcripción generada automáticamente...

Vocero	Transcripción
	Hola.
	Mi nombre es Ron Kenett. Este
	es una charla conjunta con Chris
	Gotwalt y nosotros básicamente
	tengo dos mensajes
	Eso debería salir de la
	hablar. Una es que deberíamos
	Realmente estar preocupado por
	información e información
	calidad. La gente tiende a hablar
	sobre los datos y la calidad de los datos, pero
	Los datos realmente no son el problema.
	Somos estadísticos. Somos
	científicos de datos. Convertimos números,
	datos en información para que
	Nuestro objetivo debería ser asegurarnos
	que generemos alta calidad
	información. El otro mensaje
	¿Es que JMP puede ayudarte?
	lograr eso, y esto es
	En realidad resultando estar en
	formas sorprendentes. Así que al combinar
	La experiencia de Chris y un
	Introducción a la información
	calidad, esperamos que estos dos
	Los mensajes llegarán
	claramente. Así que si tuviera que
	resumir lo que es
	Quiero hablar de eso, después de todo,
	Todo es cuestión de información
	calidad. Di una charla en
	en la Cumbre de Praga hace cuatro años
	Hace tiempo y esa charla era genérica.
	Se habló de mover el
	Viaje desde la calidad por diseño.
	Mi viaje haciendo información
	calidad. En esta charla nos centramos
	sobre cómo se puede hacer esto con
	JMP. Este es un informe más detallado.
	Y hablar más técnicamente que el
	Charla general que di en Praga.
	Puedes ver esa charla.
	Hay un enlace aquí. Puedes
	encuéntrelo en la comunidad JMP.
	Así que vamos a hablar de
	calidad de la información, que es
	el potencial del conjunto de datos, una
	conjunto de datos específico, para lograr un
	objetivo particular, un objetivo específico,
	con el método empírico dado.
	Entonces en esa definición tenemos
	tres componentes que son
	enumerados. Uno es un dato determinado
	conjunto. Aquí están los datos. El
	El segundo es el objetivo,
	El objetivo del análisis, cuál
	Esto es lo que queremos lograr.
	Y el tercero es cómo lo haremos.
	hacer eso, que es, con qué
	métodos que vamos a generar
	información y ese potencial
	se evaluará con el
	función de utilidad. Y lo haré
	Comenzaremos con una introducción a
	calidad de la información y luego
	Chris se hará cargo,
	Discutir el caso de estudio y
	Le mostraremos cómo llevar a cabo una
	evaluación de la calidad de la información.
	Eventualmente esto debería
	Responda la pregunta cómo JMP
	apoya InfoQ, que
	Serían las viñetas
	que puedes...los puntos para llevar
	de la charla. La configuración para
	Esto es lo que nosotros animamos.
	lo que llamé una vista del ciclo de vida
	de estadísticas. En otras palabras,
	No sólo análisis de datos.
	Deberíamos saber...deberíamos ser parte
	de la elicitación del problema
	fase. Además, el objetivo
	fase de formulación, que merece
	una discusión. Deberíamos
	Obviamente estar involucrado en el
	esquema de recopilación de datos si es
	a través de experimentos o a través de
	encuestas o a través de observaciones
	datos. Entonces también deberíamos tomar
	Es hora de formular la
	hallazgos y no solo sacarlos
	informes impresos sobre
	coeficientes de regresión
	Estimaciones y sus
	importancia, pero deberíamos
	También discutimos cuáles son las
	¿Hallazgos? Operacionalización de
	hallazgos significado, OK, ¿qué podemos hacer?
	¿Qué tienen que ver estos hallazgos? ¿Qué son?
	las implicaciones de la
	¿Hallazgos? Esto debería...
	Es necesario comunicarlo a la
	las personas adecuadas en el camino correcto,
	y eventualmente deberíamos hacer un
	evaluación de impacto para determinar,
	Bien, ya hicimos todo esto; ¿qué ha pasado?
	sido el valor añadido de nuestra
	¿Trabajo? Hablé de la vida
	ciclo de sus estadísticas unos años
	Hace tiempo. Este es el requisito previo,
	La perspectiva de lo que
	Voy a hablar de eso. Así que mientras yo
	mencionado, la información
	La calidad es el potencial de una
	conjunto de datos particular para lograr un
	objetivo particular utilizando dado
	métodos de análisis empírico. Esto
	se identifica a través de cuatro
componentes	el objetivo, los datos,
	el método de análisis y el
	medida de utilidad. Entonces, en una en una
	expresión matemática, la
	utilidad de aplicar f a x,
	condición en la meta, es como nosotros
	identificar InfoQ, información
	calidad. Esto fue publicado en
	la Real Sociedad Estadística
	Serie A en 2013 con ocho
	participantes, por lo que fue ampliamente
	discutido. Algunas personas pensaron
	Esto fue fantástico y algunos
	La gente tuvo muchas críticas sobre
	Esa idea, por lo que esta es una idea más amplia.
	consideración del alcance de lo que
	La estadística se trata. También
	escribió en 2006, nos conocimos
	y Galit Shmueli, un libro llamado
	Calidad de la información. Y en
	el contexto de la información
	calidad hicimos lo que se llama
	deconstrucción. David Hand tiene
	Un artículo llamado Deconstrucción
	de Estadística. Esta es la
	deconstrucción de la información
	calidad en ocho dimensiones. Yo
	Cubrirá estas ocho dimensiones.
	Esa es mi parte en la charla y
	Entonces Chris mostrará cómo esto
	se implementa de forma específica
	estudio de caso.
	Otro aspecto que se relaciona con
	Este es otro libro que tengo.
	Esto es reciente, hace un año.
	titulado El verdadero trabajo de los datos
	Ciencia y hablamos de qué
	¿Cuál es el papel de los datos?
	científicos en organizaciones y
	En ese contexto, destacamos
	La necesidad del científico de datos
	estar involucrado en la generación
	de la información como una...información
	calidad como cumplimiento de los objetivos de
	la organización. Así que déjame
	Cubre las ocho dimensiones. Eso es
	Esa es mi introducción. La
	El primero es la resolución de datos. Nosotros
	tener una meta. Bueno, nosotros lo haríamos
	Me gustaría saber el nivel de gripe.
	porque en el país o en el
	zona donde vivimos, porque eso
	afectará nuestra decisión sobre
	si ir al parque donde
	Podríamos conocer gente o ir a
	a...a un concierto de jazz. Y eso
	El concierto es mañana.
	Si buscamos los datos de los CDC sobre
	El nivel de gripe, esos datos son
	actualizado semanalmente, para que podamos obtener
	la línea roja en el gráfico
	tenemos delante de vosotros, así que
	Podría obtener datos de unos días.
	Hace tiempo, quizás bueno, quizás no bueno
	Suficiente para nuestro oro. Busque en Google Flu.
	que se basa en búsquedas
	relacionado con la gripe, se actualiza
	momentáneamente, para que esté actualizado
	En línea, probablemente dará
	nos proporciona mejor información. Así que para
	Nuestro objetivo, la línea azul, la
	Tendencia de Google...la gripe de Google
	Indicador de tendencias, es probablemente
	más apropiado. El segundo
	La dimensión es una estructura de datos.
	Para lograr nuestro objetivo, vamos a:
	Mirar los datos. Deberíamos...
	debe identificar las fuentes de datos
	y la estructura de estos datos
	fuentes. Por lo tanto, algunos datos podrían ser
	texto, algunos podrían ser video, algunos
	Podría ser, por ejemplo, el
	red de recomendaciones. Esta
	Es una imagen de Amazon sobre cómo si
	Miras el libro y estás...
	Voy a conseguir algo
	Otros libros recomendados. Y si
	vas a estos otros libros,
	Vas a tener más datos
	recomendado. Así que los datos
	La estructura puede venir en todo tipo de formas.
	de formas y figuras y esto puede
	ser texto. Esto puede ser funcional.
	datos. Pueden ser imágenes. Somos
	Ya no se limita a lo que usamos
	para llamar a los datos, que es lo que
	buscar en una hoja de cálculo de Excel.
	Los datos podrían estar dañados,
	Podría tener valores faltantes, podría
	tienen patrones inusuales que
	cual sería
	algo que investigar. Algunos
	patrones, donde están las cosas
	repetido. Quizás algunos de los datos
	Es solo copiar y pegar y ya está.
	Me gustaría que me advirtieran sobre
	Tales opciones. La tercera
	La dimensión es la integración de datos.
	Cuando consideramos los datos de
	Estas diferentes fuentes, estamos
	Vamos a integrarlos para que podamos
	¿Puede hacer algún análisis de vinculación?
	a través de una identificación. Por ejemplo, nosotros
	haría eso, pero al hacerlo,
	Podríamos crear algunos problemas, por ejemplo
	Por ejemplo, al divulgar datos.
	que normalmente debería ser
	anonimizados. Datos
	integración, sí, eso lo hará
	Permítanos hacer cosas fantásticas,
	Pero si los datos se perciben como
	tener cierta exposición a la privacidad
	problemas, entonces tal vez la calidad
	de la información de la
	análisis que vamos a hacer
	va va a ser
	Afectado. Por lo tanto, la integración de datos
	Debería ser examinado muy, muy cuidadosamente.
	con cuidado. Esto es lo que la gente
	Probablemente se utiliza para llamar a ETL
	Extraer, transformar y cargar. Nosotros
	Ahora tenemos métodos mucho mejores para
	haciendo eso. La opción de unirse, para
	Por ejemplo, en JMP se ofrecerá
	opciones para hacer eso.
	Relevancia temporal. Bueno, eso es.
	bastante claro. Tenemos datos. Es
	Estampado de alguna manera. Si vamos
	para hacer el análisis más tarde, más tarde
	después de la recopilación de datos, y
	Si el despliegue que nosotros
	considere es aún más tarde, entonces el
	Los datos podrían no ser temporales
	relevante. En un común
	situación, si queremos comparar
	¿Qué está pasando ahora? Nos gustaría
	Me gustaría poder hacer esto
	comparación con datos recientes o
	datos antes de la pandemia
	Empezó, pero no hace 10 años
	antes. Las estadísticas oficiales
	En los registros de salud solía haber dos
	o tres años de retraso en términos
	de tiempo, lo que lo hizo muy
	Dificulta el uso de los datos oficiales
	estadísticas en la evaluación
	¿Qué está pasando con el?
	pandemia. Cronología de datos y
	El objetivo está relacionado con la decisión
	que hacemos como resultado de nuestra
	objetivo. Así que si, por ejemplo, nuestro
	El objetivo es pronosticar la calidad del aire,
	Vamos a usar algunos
	modelos predictivos en el aire
	Índice de calidad reportado en un
	diariamente. Esto nos da un...
	a seis escalas de peligroso a
	Bien. Hay algunos valores.
	que representan niveles de
	Preocupación por la salud. Cero-50 es bueno;
	300-500 es peligroso y el
	cronología de datos y objetivo
	significa que deberíamos ser capaces de
	hacer un pronóstico diario
	base. Así que los métodos que utilizamos
	debe actualizarse diariamente
	base. Si, por el contrario,
	Nuestro objetivo es descubrir cómo es
	Este índice AQI calculado, entonces
	No están realmente limitados por el
	La puntualidad del análisis.
	Sabes, podríamos llevarnos nuestro
	tiempo. No hay urgencia en
	Realizar el análisis en un
	a diario. Generalización,
	La sexta dimensión, se trata de
	Tomando nuestros hallazgos y
	considerando dónde podría esto
	aplicar en términos más generales,
	otras poblaciones, todas
	situaciones. Esto se puede hacer
	intuitivamente. Los gerentes de marketing que
	He visto un estudio sobre el
	mercado, llamémoslo A, podría
	Ya entiendo cuales son las
	implicaciones para el Mercado B
	Sin datos. Personas que están
	Los físicos podrán
	hacer predicciones basadas en
	mecánica sobre primeros principios
	sin sin datos.
	Así que parte de la generalización
	se hace con datos. Este es el
	base estadística
	generalización, de dónde partimos
	la muestra a la población.
	Las inferencias estadísticas tratan sobre
	generalización. Generalizamos
	De la muestra a la
	población. Y algunos pueden ser
	basado en dominio, en otras palabras,
	utilizando el conocimiento experto, dominio
	experiencia, no necesariamente con
	datos. Tenemos que reconocer que
	La generalización no es sólo
	Terminado con las estadísticas.
	La séptima dimensión es
	operacionalización de la construcción,
	que es realmente de lo que se trata
	que medimos. Queremos
	evaluar el comportamiento, las emociones, qué
	es que podemos medir, eso
	nos dará datos que reflejen
	comportamiento o emociones.
	El ejemplo que doy aquí
	Típicamente es dolor.
	Sabemos lo que es el dolor. ¿Cómo?
	¿Medimos eso? Si vas a un
	hospital y le preguntas a la enfermera,
	¿Cómo se evalúa el dolor?
	Te diré que tenemos una escala,
	Del 1 al 10. Es muy
	cualitativo, no muy
	Científico, diría yo. Si nosotros
	quiero medir el nivel de
	alcohol en los conductores en el...en
	El camino será difícil.
	medir. Así que podríamos medir
	La velocidad como medida sustitutiva.
	Otra parte de
	La operacionalización es la otra
	Fin de la historia. En otras palabras
	Palabras, la primera parte, la
	El constructo es lo que medimos,
	lo cual refleja nuestro objetivo. El el
	fin...el resultado final aquí es que
	Tenemos hallazgos y queremos
	Haz algo con ellos. Queremos
	para operacionalizar nuestro hallazgo.
	Esto es lo que la acción
	La operacionalización se trata de...
	Se trata de lo que haces con el
	hallazgos y luego ser
	presentado aquí en un podio. Nosotros
	solía hacer tres preguntas.
	Estos son muy importantes
	Preguntas que hacer. Una vez que tengas
	He hecho algunos análisis y tienes
	Alguien delante de ti que
	dice, oh, muchas gracias,
	Ya terminaste...tú, el estadístico
	o el científico de datos. Entonces esto
	Esto te lleva un paso más allá,
	Haciendo que le preguntes a tu cliente
estas sencillas preguntas	¿Qué hacer?
	¿Quieres lograrlo? ¿Cómo lo harás?
	haces eso y como lo haras
	saber si lo has logrado
	¿Eso? Podemos ayudar a responder, o
	Al menos apoya, algunos de estos
	Preguntas que hemos respondido.
	La octava dimensión es
	comunicación. Te estoy dando una
	Ejemplo de un antiguo muy famoso
	Mapa del siglo XIX, que
	está mostrando la marcha de la
	El ejército de Napoleón de Francia a
	De Moscú a Rusia. Ya ves el
	Los números son el ancho de
	La ruta indica el tamaño
	del ejército, y luego en
	negro ya ves lo que le paso
	ellos en su camino de regreso.
	Así que básicamente esto fue un
	marcha desastrosa. Nosotros, nosotros, nosotros, nosotros
	¿Puedo relacionar este viejo mapa con?
	mapas existentes, y hay un
	Complemento JMP, que puede
	Encuentra en la Comunidad JMP, para
	te lo muestro con gráficos de burbujas,
	gráficos de burbujas dinámicas qué es esto
	Parece que ya lo he cubierto.
	Muy rápidamente las ocho informaciones
	Dimensiones de calidad. Mi último
	diapositiva es de lo que he hablado
	acerca de un histórico
	perspectiva, realmente poner algo
	proporciones a lo que estoy diciendo.
	Creo que realmente estamos en la era
	de la calidad de la información. Utilizamos
	preocuparse por el producto
	calidad en el siglo XVIII, la
	siglo XVII. Luego nos trasladamos a
	calidad del proceso y servicio
	calidad. Este es un breve memorando
	al proponer un gráfico de control,
	1924, creo.
	Luego pasamos a la gestión.
	Calidad. Este es el Juran
	trilogía de diseño, mejora
	y control. Seis Sigma (definir,
	medir, analizar, mejorar)
	El proceso de control es el
	Proceso de mejora de Juran,
	y Juran era el abuelo
	de Six Sigma en ese sentido.
	Luego, en los años 80, llegó Taguchi.
	en. Habla de robusta
	Diseño. ¿Cómo podemos manejarlo?
	variabilidad en las entradas por la adecuada
	¿Decisiones de diseño? Y ahora estamos
	en la era de la información
	calidad. Tenemos sensores. Nosotros
	Tenemos sistemas flexibles. Somos
	Dependiendo de la IA y la máquina
	aprendizaje y minería de datos y nosotros
	se están reuniendo grandes, grandes, grandes
	números, pero que llamamos grandes
	datos. El interés en la información
	La calidad debe ser lo primero
	interés. Voy a intentarlo y
	Convencerte de, con la ayuda
	de Chris, eso.
	Estamos aquí y JMP puede
	Ayúdanos a lograrlo en un
	De una manera realmente inusual.
	Lo que verás al final de
	El caso de estudio que Chris presentará
	El espectáculo también muestra cómo hacerlo.
	evaluación de la calidad de la información y
	en un estudio específico, básicamente
	generar una información de calidad
	Puntuación. Así que, si vamos de arriba hacia abajo, yo
	Puedo contarles este estudio, este
	trabajo, este análisis es quizás del 80% o
	Tal vez el 30% o tal vez el 95%.
	Y a través del ejemplo aprenderéis:
	Mira cómo hacerlo. Hay una
	Complemento JMP para proporcionar esto
	evaluación. En realidad es...
	bastante fácil. Hay
	Nada realmente sofisticado
	sobre eso. Así que ya terminé y
	Chris, después de ti. Gracias, Ron. Entonces...
	Ahora voy a repasar el
	análisis de un conjunto de datos de una manera
	que llama explícitamente a la
	diversos aspectos de la información
	calidad y mostrar cómo JMP puede ser
	utilizado para evaluar una mejora
	para InfoQ. En primer lugar, estoy...
	Voy a pasar por el InfoQ
	Componentes. El primer InfoQ
	El componente es el objetivo, por lo que en
	En este caso el enunciado del problema
	¿Era una empresa química?
	Quería una formulación que
	maximizó el rendimiento del producto mientras
	minimizando una impureza molesta
	que resultó de la reacción.
	Así que ese era el objetivo de alto nivel.
	En términos estadísticos, queríamos
	para encontrar un modelo que se ajuste con precisión
	predijo una respuesta en base a los datos
	establecido para que pudiéramos encontrar un
	combinación de ingredientes y
	pasos de procesamiento que conducirían
	a un mejor producto.
	Los datos se configuran en 100
	formulaciones experimentales con
	un ingrediente principal, X1, y
	10 aditivos. También hay un
	factor de procesamiento en 13
	respuestas. Los datos son
	completamente fabricados pero fueron
	simulado para ilustrar lo mismo
	fortalezas y debilidades de la
	datos originales. Los datos
	También se hizo la formulación
	grabado Estaremos mirando
	estos datos de cerca, por lo que quiero
	elaborar más allá de señalar
	que fueron recogidos en un
	de manera ad hoc, cambiando uno o dos
	aditivos a la vez en lugar de
	como un diseño o aleatorizado
	Experimento. Hay mucho
	formas de analizar estos datos, la
	El más típico es el menos
	Modelado de cuadrados con avance
	selección de respuestas seleccionadas.
	Esa era mi intención original.
	para esta charla, pero cuando mostré
	los datos a Ron, él inmediatamente
	reconoció las columnas de respuesta
	como series de tiempo a partir de análisis
	química. Aunque los datos
	fueron simulados, pudo ver el
	estructura. Podía ver cosas
	en los datos que no vi
	Y leí que no lo era. Encontré
	Esto es sorprendentemente
	Impresionante. Está más allá de lo
	alcance de esta charla, pero hay
	Un enfoque aún mejor basado en
	modelado de conjuntos utilizando
	ponderado fraccionariamente
	arranque. Phil Ramsey,
	Wayne Levin y yo tenemos otro
	Hablar de esta metodología en
	El descubrimiento europeo
	Conferencia de este año. La
	Este enfoque es prometedor porque
	Puede ajustar modelos a los datos con
	interacciones más activas que
	Hay carreras. La cuarta y última.
	componente de la calidad de la información
	es la utilidad, que es lo bien que nos sentimos
	son capaces de evaluar nuestros objetivos. O
	¿Cómo medimos lo bien que lo hemos hecho?
	¿Evaluamos nuestros objetivos? Hay una
	aspecto del dominio que se encuentra en este
	caso que queramos tener una
	formulación que conduce a
	maximizó los rendimientos y minimizó los
	Residuos en el posprocesamiento de la
	material. La estadística
	La utilidad de análisis se refiere a la
	modelo en el que encajamos. Lo que somos
	ir por lo menos
	la precisión de los cuadrados de nuestro modelo en
	En términos de lo bien que somos capaces de
	predecir qué...qué pasaría
	resultado del candidato
	combinaciones de formulación...de
	factores de mezcla. Ahora voy
	Pasar por una serie de preguntas
	que conforman un InfoQ detallado
	evaluación tal como se organiza en
	ocho dimensiones de la información
	calidad. Quiero destacar
	que no todas las preguntas serán
	igualmente relevante para diferentes
	ciencia de datos y estadística
	proyectos, y que esto no es
	pretendía ser un dogma rígido pero
	más bien un conjunto de cosas que son
	Es una buena idea preguntarse.
	Estas preguntas representan una especie de
	de la sabiduría analítica de datos que
	Mira más ampliamente que sólo el
	aplicación de un determinado
	tecnología estadística. Una copia
	de una hoja de cálculo con estos
	Preguntas junto con sugerencias para
	Características de JMP que son las más
	Útil para responder una
	Se subirá uno en particular
	a la Comunidad JMP junto
	con esta charla para que la uses. Como
	Procedo a pasar las preguntas,
	Haré una demostración de un análisis de
	Los datos en JMP. Pregunta 1
es	¿Es la escala de datos utilizada?
	¿Alineado con el objetivo establecido? Entonces
	Las X que tenemos están formadas por
	una sola variable categórica
	procesamiento y los 11 continuos
	entradas. Estas se miden
	como porcentajes y también son
	registrado al medio por ciento. Nosotros
	No tengo las cantidades totales de
	los ingredientes, solo los
	porcentajes. Los totales son
	información que se perdió
	o nunca registrados. Hay
	otros potencialmente importantes
	piezas de información que son
	Falta aquí. El tiempo entre
	formulando los lotes y
	Ya no es necesario tomar medidas
	y podría haber habido otros
	información a nivel de covariable que
	Falta aquí lo que tendría
	describió las condiciones bajo
	en el que se produjo la reacción.
	Sin más información que la que yo
	tengo, no puedo decir lo importante que es
	Este tipo de información de covariables
	Habría sido. Tenemos
	Información sobre el día de la
	lote, para que pueda usarse como
	Posiblemente una madre sustituta. En general,
	tener lo que, con suerte, es lo más
	insumos importantes, así como
	mediciones de las respuestas que
	deseamos optimizar. Podríamos tener
	Tenía más información, pero esto
	Parece lo suficientemente prometedor como para intentarlo
	y análisis con. El segundo
	pregunta relacionada con los datos
	La resolución es qué tan confiable y
	¿Son precisos los dispositivos de medición?
	y fuentes de datos. Y el hecho
	es que no tenemos mucho
	Información específica aquí. El
	estadístico interno el
	La empresa habría tenido más
	información. En este caso nosotros
	No tengo más remedio que confiar en que
	Los químicos formularon y
	grabó bien las mezclas. El
	tercera pregunta relativa a los datos
La resolución es	son los datos
	análisis adecuado a los datos
	¿Nivel de agregación? ¿Y el?
	La respuesta aquí es sí, suponiendo
	que su sistema de medición es
	precisos y que los datos son
	Lo suficientemente limpio. Lo que vamos a hacer
	terminar haciendo en realidad es
	Vamos a utilizar el
	Explorador de datos funcionales para
	extraer el principio funcional
	componentes, que son datos
	tipo de datos derivados
	agregación. Y luego estamos
	Voy a modelar esos
	componentes principales funcionales
	usando las variables de entrada. Entonces
	Ahora pasamos a los datos
	dimensión de la estructura y la
	La primera pregunta que nos hacemos es: ¿es la
	datos utilizados alineados con el
	¿Objetivo declarado? Y creo que el
	La respuesta es un sí rotundo. Estamos...
	tratando de maximizar
	rendimiento. Tenemos medidas para
	eso, y las entradas son
	registrado como Xs. El segundo dato
	La pregunta de estructura es dónde
	Las cosas realmente empiezan a ponerse difíciles.
	Interesante para mí. Así que esto es
	son los detalles de integridad
	(valores atípicos, valores faltantes, datos
	cuestiones de corrupción) descritas y
	¿Manejado apropiadamente? Entonces, desde
	Aquí podemos usar JMP para poder
	Para entender dónde están los valores atípicos
	son, idear estrategias para
	¿Qué hacer con los valores faltantes?
	observar sus patrones y así
	En adelante. Así que aquí es donde
	las cosas se van a poner un poco
	Un poco más interesante. El primero
	Lo que vamos a hacer es...
	Vamos a determinar si hay
	cualquier valor atípico en los datos que tenemos
	necesidad de preocuparse por. Así que
	Para hacer eso, vamos a ir
	en la exploración de valores atípicos
	plataforma fuera de la proyección
	Menú. Vamos a cargar el
	variables de respuesta, y porque
	Esta es una configuración multivariable,
	Vamos a utilizar una nueva función
	en JMP Pro 16 llamado Robusto
	Valores atípicos del PCA. Así que vemos dónde
	Los grandes residuos están en esos
	tipo de gráficos de tipo Pareto.
	Hay una instantánea que muestra dónde
	Hay algunos potencialmente
	Observaciones inusualmente grandes. Yo
	Realmente no creo que esto se vea bien
	demasiado inusual o preocupante para mí.
	Podemos salvar los grandes valores atípicos
	a una tabla de datos y luego mirar
	ellos en la distribución
	plataforma y lo que vemos es...
	Parece una distribución normal
	con el centro quitado. Así que yo
	Creo que estos son datos que son
	Viene de algo así como lo mismo
	población y no hay nada
	Realmente no hay de qué preocuparse aquí,
	en cuanto a valores atípicos. Entonces, una vez que tenemos
	Se ha ocupado del valor atípico
	Situación en la que entramos y exploramos
	valores faltantes. Entonces, lo que estamos haciendo es...
	Lo primero que vamos a hacer es...
	para cargar las Ys como...en el
	plataforma, y ​​luego vamos
	para utilizar el valor faltante
	instantánea para ver qué patrones
	Están entre nuestros desaparecidos
	valores. Parece que el
	Los valores faltantes tienden a ocurrir en
	grupos horizontales, y hay
	También los mismos valores faltantes
	a través de filas. Así que puedes ver que
	con las manchas negras aquí.
	Y luego vamos a aplicar un
	imputación automatizada de datos,
	que sigue adelante y salva
	columnas de fórmula que imputan
	valores faltantes en el nuevo
	columnas que utilizan un tipo de regresión
	algoritmo que fue desarrollado por
	Un estudiante de doctorado mío llamado Milo
	Página en NC State. Para que podamos jugar.
	dar una vuelta un poco y conseguir un
	Sentido de cómo es el ADI
	El algoritmo está funcionando. Así que es
	creó estas columnas de fórmula
	que están desprendiendo elementos de
	La columna de imputación ADI, que es
	una columna de fórmula vectorial y la
	función de imputación de puntuación
	está calculando lo esperado
	Valor de las celdas faltantes dado
	las células que no faltan, siempre
	Tiene un valor faltante. Y es
	simplemente llevando a cabo un no
	Valor faltante. Así que puedes ver 207
	En YO...Y6 ahí. Es inicialmente
	207 pero luego lo cambio a
	Falta y ahora está siendo
	Se imputa a 234.
	Así que haré esto un par de veces.
	Puedes ver cómo es.
	trabajando. Así que aquí pondré un gran
	Valor para Y7 y eso es ahora.
	han sido reemplazados. Y si bajamos
	y añadimos una fila,
	Entonces todos los valores faltantes están ahí
	inicialmente y la columna significa
	son reemplazados por el
	imputaciones. Si yo fuera a ir
	Adelante y agregue valores para algunos de
	Esas células que faltan, sería
	empieza a hacer el condicional
	Expectativa de los aún desaparecidos
	células que utilizan la información
	Eso está en el que falta....el
	No faltan. Así que nuestro siguiente
	La pregunta sobre la estructura de datos es
	son los métodos de análisis
	¿Es adecuado para la estructura de datos?
	Así que tenemos 11 entradas de mezcla.
	y una variable de procesamiento que es
	categóricos. Esos van
	ser insumos para al menos
	Modelo tipo cuadrados. Tenemos
	13 respuestas continuas y
	Podemos modelarlos usando...
	utilizando individualmente el mínimo
	cuadrados. O podemos modelar
	director funcional
	componentes. Los...ahora hay
	problemas. Las X son...las
	Las variables de entrada no han sido
	aleatorizado en absoluto. Es muy
	Está claro que iban a ensuciar
	alrededor con uno o más de
	los compuestos y luego mover
	A otro. Así que el
	orden en el que el
	Las variables de entrada fueron variadas
	Fue algo fortuito. Es un
	clara falta de aleatorización, y
	Eso va a ser negativo
	impacta nuestra...la generalización
	y la fuerza de nuestras conclusiones.
	La integración de datos es la tercera
	Dimensión de InfoQ. Estos datos
	son notas de laboratorio ingresadas manualmente
	que consiste principalmente en una mezcla
	porcentajes y equipos
	lecturas. Solo podemos suponer
	que los datos fueron ingresados
	correctamente y que las X estén
	alineado correctamente con las respuestas.
	Si ese no es el caso, entonces el
	El modelo tendrá un sesgo grave
	problemas y tener
	Problemas con la generalización.
	La integración es un problema más grave
	con datos observacionales
	Problemas científicos en máquinas
	ejercicios de aprendizaje, que laboratorio
	experimentos como este. Aunque
	No aplica aquí, lo haré.
	Señalar que la privacidad y
	Las preocupaciones sobre confidencialidad pueden ser
	identificado mediante el modelado de la
	parte sensible de los datos que utiliza
	el componente a publicar
	en los datos. Si el resultado
	Se predice el modelo, entonces uno
	Debería preocuparse por la privacidad
	Las preocupaciones no se están satisfaciendo. Temporal
	La relevancia se refiere a la
	secuenciación del tiempo operativo de
	Recopilación, análisis y análisis de datos
	despliegue y si existen brechas
	Entre esas etapas se llega a una
	disminución de la utilidad de
	la información contenida en el estudio.
	En este caso, sólo podemos simplemente
	Espero que el material llegue bien
	son razonablemente consistentes y
	que el equipo de prueba es
	razonablemente preciso, lo cual es una
	Suposición no verificable en este momento
	punto. La resolución temporal que tenemos
	tener cuando se realiza la recopilación de datos
	a nivel de día, lo que significa
	que no hay mucha manera de que
	Podemos verificar si hay tiempo
	variación dentro de cada día.
	La cronología de los datos y el objetivo es
	sobre la disponibilidad de
	variables relevantes tanto en términos
	de si la variable es
	presente en absoluto en los datos o
	Si la información es correcta
	Estará disponible cuando el modelo
	se implementa. Para fines predictivos
	modelos, esto se relaciona con modelos
	estar en forma para datos similares a
	Lo que estará presente en ese momento
	El modelo será evaluado en
	nuevos datos. De esta manera, nuestros datos
	El conjunto está ciertamente bien. Para
	establecer la causalidad, sin embargo,
	No estamos en tan buena situación
	forma debido a la falta de
	La aleatorización implica que el tiempo
	Los efectos y los efectos factoriales pueden
	confundirse, lo que lleva al sesgo
	en nuestras estimaciones. Endogeneidad,
	o causalidad inversa, podría
	Claramente puede haber un problema aquí, ya que
	variables como la temperatura y
	El tiempo de reacción podría ser claramente
	impactando las respuestas, pero tienen
	no se han registrado. En general,
	Hay muchas cosas que no sabemos
	sobre esta dimensión en un
	Sentido de calidad de la información.
	El resto de InfoQ
	La evaluación se realizará
	depende del tipo de
	análisis que hacemos. Así que en este
	punto voy a seguir adelante y
	Realizar un análisis de estos datos
	utilizando los datos funcionales
	Plataforma Explorer en JMP Pro
	que me permite modelar a través de
	todas las columnas simultáneamente
	de una manera que se basa en
	componentes principales funcionales,
	que contienen la cantidad máxima
	de información a través de todos aquellos
	columnas tal como se representan en la
	el formato más eficiente posible.
	Voy a estar trabajando en el
	versiones imputadas de las columnas
	que calculé anteriormente en el
	presentación. Y voy a
	señalar que voy a estar
	trabajando para encontrar combinaciones de
	los factores de mezcla que logran
	lo más cerca posible en un
	sentido de mínimos cuadrados, un ideal
	curva que fue creada por el
	practicante que maximiza la
	cantidad de producto potencial que
	Podría estar en un lote mientras
	minimizando la cantidad de
	impurezas que ellos
	Pensé de manera realista en un lote
	Podría contener. Así que empiezo el
	análisis yendo al análisis
	Menú, abra la sección Funcional
	Explorador de datos. Este tiene filas como
	funciones. Voy a cargar mi
	filas imputadas y luego voy
	para poner en mi formulación
	componentes y mi procesamiento
	columna como complemento
	variable. Tenemos una identificación
	función, ese es el ID del lote. Aquí yo
	Entro. Puedo ver las funciones,
	tanto la superposición en su conjunto, como
	Puedo ver las funciones individuales.
	Entonces puedo cargar el objetivo.
	función, que es la ideal.
	Y eso cambiará la
	análisis que resulta una vez que yo
	empezar a adentrarse en el modelaje
	Pasos. Así que estos son bastante
	funciones simples, así que solo estoy
	Voy a modelarlos con
	Estrías B.
	Y luego voy a entrar en mi
	Análisis funcional DOE.
	Esto va a encajar en el modelo.
	que conecta las entradas en
	el principio funcional
	componentes y luego conectar todos
	El camino a través de la
	funciones propias para hacerlo así
	Somos capaces de recuperar el
	funciones generales tal como son
	cambiado, ya que estamos variando el
	factores de mezcla. El
	componente principal funcional
	El análisis ha indicado que
	Hay cuatro dimensiones de
	variación en estas respuestas
	funciones. Para entender qué
	Quieren decir, sigamos adelante y
	Explorar con el perfilador FPC.
	Así que mira este panel aquí mismo.
	Ajusto el FPC 1 y podemos ver
	que este FPC está asociado con
	altura del pico. FPC2, se ve
	como si fuera una especie de pico
	estrechez. Es casi como una
	director de resolución
	componente. El tercero es
	relacionado con una especie de rodilla
	la izquierda del pico dominante.
	Y el Pico 4 parece que es
	Principalmente relacionado con la
	impureza, así que eso es lo que
	El significado subyacente es de
	Estos cuatro funcionales
	componentes principales.
	Así que hemos caracterizado nuestro objetivo
	como maximizar el producto y
	minimizando la impureza y
	Lo hemos comunicado en el
	análisis a través de este ideal o
	curva dorada que suministramos en
	El comienzo del FDE
	ejercicio que estamos haciendo. Para obtener lo mejor
	lo más cerca posible de ese ideal
	curva, activamos la deseabilidad
	funciones. Y luego podemos ir
	y maximizar la deseabilidad.
	Y encontramos que el óptimo
	La combinación de entradas se trata de
	4,5% de
	Ingrediente cuatro, 2% de
	Ingrediente 6. 2,2% de
	Ingrediente 8 y 1,24% de
	Ingrediente 9 utilizando procesamiento
	Método dos. Repasemos cómo
	Hemos llegado hasta aquí. Primero
	calculó la respuesta faltante
	columnas. Luego encontramos B-spline
	modelos que se ajustan a esas funciones
	bien en la plataforma FDE. A
	componentes principales funcionales
	El análisis determinó que había
	eran cuatro funciones propias
	caracterizando la variación en
	estos datos. Estos cuatro
	se determinaron funciones propias
	a través del perfilador FPC a cada uno
	tener un tema razonable
	significado de la materia. Lo funcional
	El análisis del DOE consistió en
	aplicando podado hacia adelante
	selección a cada uno de los
	puntuaciones FPC individuales utilizando el
	Factores del DOE como variables de entrada.
	Y vemos aquí que estos tienen
	combinaciones encontradas de
	interacciones y efectos principales
	que fueron más predictivos para
	cada uno de los principales funcionales
	Los componentes puntúan individualmente.
	El generador de perfiles funcionales DOE
	Ha capturado todo con elegancia
	aspectos en una sola representación
	que nos permite encontrar el
	paso de procesamiento de formulación que
	Se prevé que tenga resultados deseables
	propiedades medidas por alto
	Rendimiento y baja impureza.
	Así que ahora podemos hacer un InfoQ
	evaluación de la
	generalización de los datos en
	El análisis. En este caso,
	Estamos más interesados ​​en
	generalización científica, como
	El experimentador es un ser profundamente
	Químico experto trabajando
	con este compuesto. Así que estamos
	Voy a depender más de
	su experiencia en la materia
	Luego, sobre principios estadísticos
	y herramientas como pruebas de hipótesis
	y así sucesivamente. El objetivo es
	principalmente predictivo, pero el
	La generalización es un tipo de
	problemático porque el
	El experimento no fue diseñado. Nuestro
	capacidad de estimar interacciones
	se debilita para técnicas como
	selección hacia adelante e imposible
	mediante análisis de mínimos cuadrados de
	El modelo completo. Porque el
	El estudio no fue aleatorio,
	Podría ser tiempo no registrado en
	efectos de orden. No tenemos
	covariable potencialmente importante
	Información como la temperatura y
	tiempo de reacción. Esto crea
	Otro gran interrogante
	respecto a la generalización.
	Repetibilidad y
	La reproducibilidad del estudio es
	También es un desconocido aquí ya que tenemos
	No hay información sobre el
	variabilidad debida a la
	sistema de medición. Afortunadamente,
	Tenemos herramientas como JMP
	evaluar el diseño para comprender
	el diseño existente así como
	Aumentar el diseño que puede en gran medida
	mejorar la generalización
	realización del análisis.
	Augment puede mejorar la información
	sobre los efectos principales y
	interacciones y una segunda ronda
	de experimentación podría ser
	aleatorizado para mejorar también
	generalización. Así que ahora estoy
	Voy a pasar por un par de
	Pasos sencillos para mostrar cómo
	mejorar la generalización
	Rendimiento de nuestro estudio utilizando
	herramientas de diseño en JMP. Antes de...
	haz eso, quiero señalar
	que tuve que tomar los datos y
	convertirlo para que fuera
	proporciones en lugar de en
	porcentajes. De lo contrario, el diseño
	Las herramientas no estaban realmente de acuerdo
	con los datos muy bien. Así que nosotros
	entrar en el diseñador de evaluaciones
	y luego cargamos nuestras Ys y
	Nuestras X. Solicité la capacidad de
	Manejar interacciones de segundo orden.
	Entonces... sí, recibí esta alerta.
	diciendo, oye, no puedo hacer eso
	Porque no somos capaces
	estimar todas las interacciones
	Dado un factor a la vez
	datos que tenemos. Así que respaldé
	Arriba. Vamos al aumento.
	diseñador, carga todo,
	Establecer aumento. Elegiremos y yo...
	diseño óptimo porque somos
	Realmente preocupado por
	Rendimiento previsto aquí.
	Y yo
	Establezca el número de ejecuciones en 148.
	El diseñador personalizado solicitó
	141 como mínimo, pero fui a
	148 solo para estar seguro
	que tenemos toda la capacidad para
	estimar todas nuestras interacciones
	bastante bien. Después de eso,
	tarda unos 20 segundos en
	Construir el diseño. Así que ahora
	que tenemos el diseño, estoy
	Vamos a mostrar los dos más
	herramientas de diagnóstico importantes en
	El diseñador de aumentos para
	evaluar un diseño. En el
	A la izquierda tenemos la fracción de
	Diseño de la parcela espacial. Esto es
	mostrando que el 50% del volumen
	del diseño tiene
	una varianza de predicción que es
	menor que 1. Entonces 1 sería
	equivalente al residual
	error. Así que podemos conseguir
	mejor que el error de medición
	predicciones de calidad sobre el
	La mayor parte del diseño. En el
	Bien, tenemos el mapa de colores.
	correlaciones. Esto muestra
	que podemos estimar
	Todo bastante bien. Hay
	algunos...por la mezcla
	restricción, estamos consiguiendo algo
	fuertes correlaciones entre
	Interacciones y efectos principales.
	En general, los efectos son bastante
	limpio. Y las interacciones son
	bastante bien separados uno del otro
	otro, y los efectos principales
	están bastante bien separados de
	unos a otros también. Después
	mirando el diseño
	diagnósticos, podemos hacer el
	mesa. Aquí he mostrado la
	Las primeras 13 de las carreras aumentadas
	y vemos que tenemos...nosotros
	tener más aleatorización. No tenemos
	tienen uso del mismo efecto principal
	una y otra vez rayas.
	Esto es evidencia de una mejoría.
	aleatorización y en general la
	El diseño va a poder
	Estimar mucho mejor el principal
	efectos e interacciones que tienen
	Recibió mejor, mayor calidad
	información en esta segunda etapa
	de experimentación. Así que la entrada
	Las variables, las X, son precisas.
	representaciones de la mezcla
	proporción, por lo que es una clara
	interés objetivo. El
	Las respuestas son un sustituto cercano
	por la cantidad del producto
	y la cantidad de impureza que hay en
	Los lotes. Estamos bastante bien en
	7.1. allí. Las justificaciones
	están claros. Después del estudio, nosotros
	Por supuesto, puedo ir a preparar uno.
	lote que es la formulación
	que fue recomendado por el FDOE
	perfilador. Pruébelo y vea si
	Estamos obteniendo el tipo de
	el rendimiento que estábamos buscando
	para. Está muy claro que eso
	sería la forma en que podemos
	evaluar qué tan bien lo hemos logrado
	nuestros objetivos de estudio. Así que ahora bajo el
	última dimensión de InfoQ
	Comunicación. Al describir la
	curva ideal como objetivo
	función, el DOE funcional
	Profiler establece el objetivo y el
	resultados del análisis cristalino
	claro. Pero esto se puede expresar
	a un nivel que es fácil
	interpretado por los químicos y
	gerentes de las instalaciones de I+D.
	Y como ya hemos hecho nuestro detallado
	evaluación de la calidad de la información,
	Hemos sido sinceros sobre el
	fortalezas y debilidades de la
	diseño del estudio y datos
	colección. Si los resultados
	No generalicemos, ciertamente
	saber dónde buscar dónde está
	Los problemas eran. Una vez que te conviertes
	familiarizado con los conceptos,
	Hay un buen complemento escrito
	por Ian Cox que puedes usar para
	Haz una pregunta informativa cuantitativa rápida
	evaluación. El complemento tiene
	deslizadores para la parte superior e inferior
	límites de cada dimensión de InfoQ.
	Estas dimensiones se combinan
	utilizando una función de deseabilidad
	Enfoque para un intervalo general
	para el InfoQ de la izquierda.
	A continuación se presenta una evaluación de la
	Datos y análisis que cubrí en
	Esta presentación. El complemento es
	También es una herramienta de pensamiento útil que
	te hará considerar cada uno de
	Las dimensiones de InfoQ. También es una
	una forma práctica de comunicarse
	Evaluaciones de InfoQ para usted
	clientes o a su gerencia, como
	Proporciona una vista de alto nivel de
	calidad de la información sin
	usando mucha técnica
	conceptos y jerga. El complemento
	También es útil como base para
	Una comparación de InfoQ. Mi
	Esperanza original para esto
	La presentación debía ser un poco
	un poco más ambicioso. Esperaba
	Para cubrir el análisis que hice
	Acabo de pasar por eso, así como
	Otro más sencillo, uno donde me salto
	Ingresando las respuestas y haciendo
	un modelo lineal multivariante simple
	modelo de regresión de la respuesta
	columnas. Hoy solo puedo
	Ofrecer una evaluación final de eso
	enfoque. Como puedes ver,
	varios de los InfoQ
	las dimensiones sufren sustancialmente
	Sin los más sofisticados
	análisis. Está muy claro que
	El análisis simple conduce a
	Puntuación InfoQ mucho más baja.
	El límite superior de lo simple
	El análisis no es mucho más alto
	que el límite inferior del más
	sofisticado. Con
	experiencia, ganarás
	intuición sobre lo que es un buen InfoQ
	La puntuación es para la ciencia de datos
	proyectos en su industria y
	Adquiera mejores hábitos a medida que
	Ya no será ciego a la
	cuellos de botella de información en su
	Recopilación, análisis y análisis de datos
	Implementación del modelo. Información
	Calidad con un fácil uso
	interfaz. Esta fue mi primera
	calidad de la información formal
	evaluación. Hablando por mí mismo,
	la calidad de la información
	El marco ha dado palabras y
	estructura a muchas cosas que yo
	Ya lo sabía instintivamente.
	Ya ha cambiado como yo
	Abordar nuevos análisis de datos
	proyectos. Te animo a que vayas
	A través de este proceso usted mismo
	sus propios datos, incluso si esos datos
	y el análisis ya es muy
	Te resulta familiar. Te lo garantizo.
	que serás más sabio y
	científico de datos más eficiente
	Por eso. Gracias.

Modelado estadístico avanzadoAnálisis y modelado de datos básicosInvestigación de mercados y consumidoresOrganización del contenidoDiseño de experimentosModelado predictivo y aprendizaje automáticoIngeniería de Calidad y ProcesosAnálisis de confiabilidad