Un problema nel data mining e nelle statistiche è la raccolta dei dati e la loro manipolazione nel software. Fortunatamente, JMP rende tutto molto semplice.
Tuttavia, una volta che hai i dati, cosa devi fare? Per prima cosa devi esaminare ciò che hai raccolto e "discutere" i dati (pulendoli, ad esempio) e poi devi analizzarli. In questo post del blog esamineremo tutte e tre le aree: raccolta dei dati web, gestione dei dati e analisi.
Raccolta dati
Le notizie recenti si sono concentrate su vari aspetti dell'immigrazione negli Stati Uniti. Esploriamo quindi le tendenze dell'immigrazione negli Stati Uniti, esaminando in particolare il numero di persone che ottengono lo status di residente permanente legale, "carta verde". I dati rilevanti sono disponibili gratuitamente presso il governo statunitense nel Annuario delle statistiche sull'immigrazione 2016 .La pagina web specifica da cui estrarremo i dati è questa:
https://www.dhs.gov/immigration-statistics/yearbook/2016/table1
Questa tabella ha due colonne di informazioni: Anno e Numero, come mostrato di seguito. Questi dati sono personalmente significativi per me poiché mia moglie era una di queste persone che si aggiungevano al conteggio del 2014. Senza di lei nel 2014 il conteggio sarebbe stato di 1.016.517.
Table 1: 2016 Yearbook of Immigration StatisticsTable 1: 2016 Yearbook of Immigration StatisticsTable 1: 2016 Yearbook of Immigration StatisticsTable 1: 2016 Yearbook of Immigration StatisticsTabella 1: Annuario delle statistiche sull'immigrazione 2016
Estrazione dati web
Ora che abbiamo la pagina web di destinazione da analizzare, dobbiamo inserire i dati JMP . Per questo, possiamo usare Internet aperto . Questo è uno strumento potente, che può essere trovato andando su File > Internet Apri .Da lì vediamo la seguente funzione (con l'URL di interesse già incollato).Abbiamo alcune scelte su come aprire la pagina Web in JMP.Per questo esempio, apriremo la pagina Web come dati e speriamo che le due colonne di dati vengano rilevate in modo appropriato, il che dipende dall'organizzazione logica delle cose da parte degli sviluppatori della pagina Web.Una volta incollato l'URL e selezionato come aprire l'URL, possiamo fare clic OK .
Internet Open dialog box in JMPInternet Open dialog box in JMPInternet Open dialog box in JMPInternet Open dialog box in JMPInternet Aprire la finestra di dialogo in JMP
Successivamente, JMP cercherà nella pagina Web le tabelle che potrebbero contenere dati. Ciò che JMP ha rilevato ci verrà visualizzato sotto forma di elenco. Fortunatamente, questa pagina Web conteneva un solo elemento che JMP riteneva fossero dati. Dobbiamo selezionare le tabelle che desideriamo aprire, Tabella 1 qui, quindi fare clic OK .
Importing Detected TablesImporting Detected TablesImporting Detected TablesImporting Detected TablesImportazione delle tabelle rilevate
JMP creerà ora una nuova tabella dati che contiene i dati raschiati dal web.
Resultant Data TableResultant Data TableResultant Data TableResultant Data TableTabella dati risultante
Discussione dei dati
A prima vista, i dati sembrano essere stati caricati in modo efficace: ad esempio entrambe le variabili sono continue (come ci aspetteremmo) e uno sguardo ai dati non mostra nulla di straordinario. Tuttavia, se tracciamo i dati (usando Costruttore di grafici per esempio), vediamo che abbiamo un valore anomalo nell'anno 1976.
Data wrangling reveals an outlierData wrangling reveals an outlierData wrangling reveals an outlierData wrangling reveals an outlierLa discussione dei dati rivela un valore anomalo
A quanto pare, il 1976 è stato inserito come 19761. Dobbiamo quindi considerare alcune possibilità:
- Qualcuno ha "fat finger" 19761 e ha aggiunto un "1" extra a quest'anno?
- L'"1" va con la seconda colonna di dati, cioè 1.499.093 persone nel 1976?
- È qualcos'altro?
Se torniamo alla pagina web originale, vediamo che la terza opzione è la risposta giusta.Il "1" in più proviene da una nota a piè di pagina che è stata trascritta da JMP durante l'anno. La nota a piè di pagina presenta informazioni al lettore sul cambiamento dell'anno fiscale avvenuto nel 1976. Ai fini di questa analisi, rimuoveremo solo il numero "1"; tuttavia, un'analisi più approfondita potrebbe verificare se questo conteggio sia accidentalmente eccessivo negli anni adiacenti.
Dovrei sottolineare un ulteriore punto per il ricercatore: è relativamente facile risolvere questo problema poiché comprendiamo naturalmente gli anni. Tuttavia, se un problema simile esistesse nei dati sull’immigrazione, potremmo non essere in grado di rilevarlo poiché varia notevolmente. Pertanto, se stai creando tabelle di dati per Internet, pensa ai futuri ricercatori e inserisci le note a piè di pagina nelle colonne più intuitive.
Analisi e interpretazione dei dati
Per una rapida analisi, utilizzeremo Adatta Y per X e creare vari modelli. Possiamo creare molto più che semplici modelli di regressione lineare Adatta Y per X , come discusso in Capitolo 9 del mio libro Biostatistica utilizzando JMP .
Per prima cosa adatteremo un adattamento lineare del primo ordine, cioè una regressione lineare, per selezione Linea adatta . Questa linea, la linea rossa sotto, ovviamente non è un buon modello per i nostri dati. Pertanto, procederemo a creare vari adattamenti polinomiali di ordine superiore, dal secondo al sesto ordine, come mostrato di seguito.
Applying Various Curve FitsApplying Various Curve FitsApplying Various Curve FitsApplying Various Curve FitsApplicazione di vari adattamenti di curve
Visivamente, possiamo vedere che neanche l'adattamento del secondo ordine (linea verde) sembra modellare bene i dati. Tuttavia, gli adattamenti dal terzo al sesto ordine sembrano catturare alcune delle complessità dei dati grezzi. A mio avviso, l'adattamento del sesto ordine sembra il migliore poiché non presenta l'aumento apparentemente esponenziale intorno all'anno 2017 che vediamo negli adattamenti del terzo e del quarto ordine. Sebbene l'adattamento del quinto ordine sembri decente alla fine dei dati, ha un inizio strano. Pertanto, il modello del sesto ordine sembra il migliore tra queste opzioni.
Da qui, vorremmo esaminare i residui, ecc. Può essere utile anche un'analisi approssimativa esaminando la varianza spiegata. La tabella seguente fornisce una valutazione approssimativa della qualità dei modelli tramite R quadrato e R quadrato corretto. L'R quadrato corretto è importante poiché ci penalizza per l'aggiunta di variabili aggiuntive.Nel complesso, la valutazione mostra che il modello del sesto ordine spiega molte variazioni. Abbinando ciò alla nostra valutazione visiva dei modelli, l'adattamento del sesto ordine sembra essere il miglior modello creato utilizzando questo approccio.
| Ordine |
R quadrato |
R quadrata modificata |
| 1 |
0,336 |
0,333 |
| 2 |
0,359 |
0,353 |
| 3 |
0,552 |
0,545 |
| 4 |
0,562 |
0,553 |
| 5 |
0,639 |
0,630 |
| 6 |
0,669 |
0,659 |
Ora, questa interpretazione riguarda la media dei quadrati per un problema che ha molti gradi di libertà assegnati all'errore. Pertanto, la qualità di qualsiasi previsione derivante da uno qualsiasi di questi modelli potrebbe essere bassa.
Il prossimo passo potrebbe essere quello di esplorare ulteriormente le funzionalità di modellazione delle serie temporali in JMP utilizzando questi dati. Tuttavia, questo è sufficiente per un giorno!
Per ulteriori informazioni sulla raccolta dei dati, anche dal web, dai un'occhiata al capitolo 2 del mio libro Biostatistica utilizzando JMP .Il capitolo 3 del libro tratta in modo approfondito la disputa sui dati.
