<meta http-equiv="Content-Type" content="text/html; charset=UTF-8" />Ogni tanto prendo atto del campo data nei miei set di dati demo e mi rendo conto che sto lavorando con intervalli di date che risalgono a più di 10 anni fa. Di solito è molto lavoro o per lo meno scomodo ottenere i dati aggiornati o falsificarli aggiungendo un paio di anni alla colonna della data. Penso che sia fattibile programmare l'acquisizione di nuovi dati e formattarli in modo che siano pronti per la demo. Ho il sospetto che diverse persone lo stiano già facendo in piccoli progetti marginali.
Allego uno script che fa un lavoro abbastanza equo e ottiene un set di dati. Lo script aggiunge alcune colonne calcolate pertinenti, quindi aggiunge alcuni grafici e script di analisi alla tabella in modo che sia pronto per l'uso.
Il set di dati sono i dati sull'influenza di Google. Il fenomeno osservato è che la frequenza dei termini di ricerca sull'influenza sembra essere parallela alle tendenze di sorveglianza dell'influenza del CDC. Anche se l’entità della risposta sembra variare leggermente di anno in anno, i tempi sembrano coincidere abbastanza bene.
Sfondo:
http://gking.harvard.edu/files/gking/files/0314policyforumff.pdf
http://www.theatlantic.com/technology/archive/2014/03/in-defense-of-google-flu-trends/359688/
Tendenze influenzali di Google
Cosa c'è nel set di dati:
I dati vengono impostati come trend di ricerca per diverse città, località statali, tutti gli stati (regioni HHS cancellate). I dati vengono raccolti settimanalmente e sono presenti colonne con formula temporale per anno, settimana, mese, stagione influenzale (anno+6 mesi) e settimana della stagione influenzale.C'è anche una colonna di modifica settimana su settimana e una colonna di tendenza di ricerca cumulativa per anno insieme ad alcune colonne di cluster.Tutti i calcoli vengono eseguiti in una formula o dallo script che estrae i dati. La latitudine e la longitudine della posizione sono incorporate nello script in modo che aggiorni automaticamente i nuovi dati, il che è utile per i grafici a bolle, che sembrano ottimi con questo set di dati.
I grafici nella tabella mostrano le tendenze in modi diversi e includono anche un adattamento non lineare dei dati cumulativi. I risultati dell'adattamento non lineare sono utili per trovare i punti di flesso per ciascuna località per anno. Questo è un modo per classificare quanto velocemente ogni luogo ha raggiunto circa il 50% del suo livello massimo di infezione durante la stagione (o chi ha avuto il livello peggiore più velocemente ogni anno).
C'è un piccolo trucco da cercare. La colonna della posizione contiene sia stati che città. Quindi filtra per tipo di posizione prima di provare a utilizzare la posizione nel ruolo mappa per il generatore di grafici, altrimenti GB non riconoscerà la posizione come stati.
Se hai già uno script che fa qualcosa del genere, pubblicalo su questo thread (per favore).
Ti auguro il meglio,
Byron
PS Ho aggiunto un secondo script, si spegne e ottiene i dati attuali dell'indice dei prezzi degli alloggi Freddie Mac. La demo FMHPI è probabilmente uno dei set di dati più utilizzati e abusati disponibili. Mostra la potenza del clustering nel trovare stati con tendenze HPI simili. Anche in passato era relativamente complesso e richiedeva alcuni passaggi sostanziali di manipolazione della tabella per arrivare alla cifra finale. Alcune persone hanno persino scritto alcuni interessanti flussi di lavoro EG per eseguire la manipolazione dei dati. In JMP 12, la nuova opzione Stacked Data nella piattaforma Cluster rende l'intera parte della demo relativa al clustering incredibilmente semplice. (Consiglio di raggruppare l'intero intervallo di tempo, quindi il tempo a partire dal 2000 e poi gli ultimi 7 o 8 anni.Utilizza il filtro di riga per creare i sottoinsiemi, quindi utilizza GB, Data vs HPI, Stato come overlay e cluster come wrap. Aggiungi un commutatore rapido di colonne per alternare tra i diversi cluster.)
Questi dati sono in genere indietro solo di circa un quarto, quindi vale la pena aggiornarli se intendi utilizzarli.Nello script, il file Excel del sito Freddie Mac viene aperto e formattato in una tabella in pila che dovrebbe essere pronta.
