Un problema en la minería de datos y las estadísticas es recopilar datos y manipularlos en su software. Afortunadamente, JMP hace esto muy fácil.
Sin embargo, una vez que tenga los datos, ¿qué debe hacer? Primero, debe examinar lo que recopiló y "discutir" los datos (limpiándolos, por ejemplo) y luego debe analizarlos. En esta publicación de blog, examinaremos las tres áreas: recopilación de datos web, manipulación y análisis de datos.
Recopilación de datos
Las noticias recientes se han centrado en varios aspectos de la inmigración a los Estados Unidos. Entonces, exploremos las tendencias en la inmigración a los EE. UU., examinando específicamente el número de personas que obtienen el estatus de residente permanente legal, las "Tarjetas Verdes". Los datos relevantes están disponibles de forma gratuita en el gobierno de EE. UU. Anuario de Estadísticas de Inmigración 2016 .La página web específica de la que extraeremos datos es esta:
https://www.dhs.gov/immigration-statistics/yearbook/2016/table1
Esta tabla tiene dos columnas de información: Año y Número, como se ve a continuación. Estos datos son personalmente significativos para mí ya que mi esposa fue una de estas personas que se sumaron al recuento de 2014. Sin ella, el recuento habría sido 1.016.517 en 2014.
Table 1: 2016 Yearbook of Immigration StatisticsTable 1: 2016 Yearbook of Immigration StatisticsTable 1: 2016 Yearbook of Immigration StatisticsTable 1: 2016 Yearbook of Immigration StatisticsTabla 1: Anuario de Estadísticas de Inmigración 2016
Extracción de datos web
Ahora que tenemos la página web de destino para analizar, necesitamos introducir los datos en JMP . Para esto podemos usar Internet abierto . Esta es una herramienta poderosa, que se puede encontrar yendo a Archivo > Abrir Internet .A partir de ahí, vemos la siguiente función (con la URL de interés ya pegada).Tenemos algunas opciones sobre cómo abrir la página web en JMP.Para este ejemplo, abriremos la página web como datos y esperamos que las dos columnas de datos se detecten adecuadamente, lo que depende de que los desarrolladores de la página web organicen las cosas de manera lógica.Una vez que tengamos la URL pegada y seleccionemos cómo abrir la URL, podemos hacer clic en DE ACUERDO .
Internet Open dialog box in JMPInternet Open dialog box in JMPInternet Open dialog box in JMPInternet Open dialog box in JMPCuadro de diálogo Abrir Internet en JMP
A continuación, JMP buscará en la página web tablas que posiblemente contengan datos. Lo que JMP ha detectado se nos mostrará en forma de lista. Afortunadamente, esta página web sólo tenía un elemento que JMP creía que eran datos. Necesitamos seleccionar la(s) tabla(s) que deseamos abrir, tabla 1 aquí y luego haga clic DE ACUERDO .
Importing Detected TablesImporting Detected TablesImporting Detected TablesImporting Detected TablesImportación de tablas detectadas
JMP ahora creará una nueva tabla de datos que contiene los datos extraídos de la web.
Resultant Data TableResultant Data TableResultant Data TableResultant Data TableTabla de datos resultantes
Disputa de datos
A primera vista, los datos parecen haberse cargado de manera efectiva; por ejemplo, ambas variables son continuas (como era de esperar), y al mirar los datos no se muestra nada fuera de lo común. Sin embargo, si trazamos los datos (usando Generador de gráficos por ejemplo), vemos que tenemos un valor atípico en el año 1976.
Data wrangling reveals an outlierData wrangling reveals an outlierData wrangling reveals an outlierData wrangling reveals an outlierLa discusión de datos revela un valor atípico
Aparentemente, 1976 fue ingresado como 19761. Entonces debemos considerar algunas posibilidades:
- ¿Alguien hizo "dedo gordo" 19761 y agregó un "1" extra a este año?
- ¿El "1" va con la segunda columna de datos, es decir, 1.499.093 personas en 1976?
- ¿Es algo más?
Si volvemos a la página web original, vemos que la tercera opción es la respuesta correcta.El "1" adicional proviene de una nota a pie de página que JMP transcribió como parte del año. La nota a pie de página presenta información al lector sobre el cambio de año fiscal que ocurrió en 1976. Para realizar este análisis, eliminaremos únicamente el "1"; sin embargo, un análisis más exhaustivo podría analizar si esto se sobrecuenta accidentalmente en años adyacentes.
Debo hacer una observación adicional para los investigadores: es relativamente fácil solucionar este problema ya que, naturalmente, entendemos los años. Sin embargo, si existiera un problema similar en los datos de inmigración, es posible que no podamos detectarlo, ya que varía mucho. Por lo tanto, si está creando tablas de datos para Internet, piense en futuros investigadores y coloque sus notas a pie de página en las columnas más intuitivas.
Análisis e interpretación de datos
Para un análisis rápido, usaremos Ajustar Y por X y crear varios modelos. Podemos crear más que simples modelos de regresión lineal en Ajustar Y por X , como se discute en Capítulo 9 de mi libro. Bioestadística utilizando JMP .
Primero realizaremos un ajuste lineal de primer orden, es decir, regresión lineal, mediante Línea de ajuste . Esta línea, la línea roja a continuación, obviamente no es un buen modelo para nuestros datos. Por lo tanto, procederemos a crear varios ajustes polinomiales de orden superior, de segundo a sexto orden, como se ve a continuación.
Applying Various Curve FitsApplying Various Curve FitsApplying Various Curve FitsApplying Various Curve FitsAplicar varios ajustes de curvas
Visualmente, podemos ver que el ajuste de segundo orden (línea verde) tampoco parece modelar bien los datos. Sin embargo, los ajustes de tercer a sexto orden parecen capturar algunas de las complejidades de los datos sin procesar. Para mí, el ajuste de sexto orden parece el mejor ya que no tiene el aumento aparentemente exponencial alrededor del año 2017 que vemos en los ajustes de tercer y cuarto orden. Si bien el ajuste de quinto orden parece decente al final de los datos, tiene un comienzo extraño. Por lo tanto, el modelo de sexto orden luce mejor entre estas opciones.
A partir de aquí, querríamos examinar los residuos, etc. También puede ser útil un análisis aproximado examinando la varianza explicada. La siguiente tabla proporciona una evaluación aproximada de la calidad de los modelos mediante R cuadrado y R cuadrado ajustado. El R cuadrado ajustado es importante ya que nos penaliza por agregar variables adicionales.En general, la evaluación muestra que el modelo de sexto orden explica muchas variaciones. Sumado a nuestra evaluación visual de los modelos, el ajuste de sexto orden parece ser el mejor modelo creado con este enfoque.
| Orden |
R-cuadrado |
R cuadrado ajustado |
| 1 |
0.336 |
0.333 |
| 2 |
0,359 |
0.353 |
| 3 |
0.552 |
0.545 |
| 4 |
0.562 |
0.553 |
| 5 |
0,639 |
0.630 |
| 6 |
0,669 |
0,659 |
Ahora bien, esta interpretación es con respecto a los cuadrados medios de un problema que tiene muchos grados de libertad asignados al error. Por lo tanto, la calidad de cualquier predicción de cualquiera de estos modelos podría ser baja.
El siguiente paso podría ser explorar más a fondo las capacidades de modelado de series temporales en JMP utilizando estos datos. Sin embargo, ¡esto es suficiente por un día!
Para obtener más información sobre la recopilación de datos, incluso desde la web, consulte el Capítulo 2 de mi libro. Bioestadística utilizando JMP .El capítulo 3 del libro cubre la discusión de datos en profundidad.
