Clustering e Big Data: profili di utilizzo dell'alimentazione dei clienti per una utility elettricaMi sto preparando per una visita a un cliente di power utility (JMPPRO) interessato a raggruppare i propri clienti in base al consumo di energia. Misurano ogni account e campionano l'utilizzo di energia ogni 15 minuti. Quando fai la matematica su questo, si trasforma rapidamente in big data (96 letture al giorno su 10K clienti sono circa 1 milione di letture al giorno). Sto cercando di utilizzare il clustering per raggruppare gli account dei clienti in base a modelli di utilizzo dell'energia simili. Sono nuovo nel clustering, quindi non sono sicuro di usare il metodo migliore. Ho provato a impilare e dividere i dati, la suddivisione sembra funzionare meglio anche se in una settimana di letture sono già 672 colonne con 10K righe per gli account dei clienti. Il clustering gerarchico dà un risultato molto bello ma non può gestire 10K righe, funziona benissimo su 2K righe ma non su 3K righe. K Significa che il clustering può gestire tutte le 10K righe ma i risultati non sono buoni come gerarchici, molti account diversi sono raggruppati insieme. Quindi in questo momento, sto inscatolando i dati con solo 7 giorni di misurazione e account 2K. Sto ottenendo un risultato molto bello e dimostra la tecnica ma è molto campionato dal caso d'uso reale. Se mi manca qualcosa, apprezzerei alcuni suggerimenti. Ho un file di esempio ma è grande, 190 MB.
Ri: Clustering e Big Data - Profili di utilizzo dell'alimentazione dei clienti per una utility elettricaHo ricevuto alcune richieste per vedere il file di esempio e l'ho pubblicato nello scambio di file. Il download stesso è un piccolo file e c'è uno script incorporato che costruirà la tabella. Fai attenzione a come selezioni i parametri perché puoi finire con una tabella gigante.
Sto usando una funzione coseno per simulare la curva di consumo di energia durante il giorno. Duke mi ha detto che aspetto ha davvero questa curva, che è come un coseno con una gobba per il consumo di energia pomeridiana e serale.
https://community.jmp.com/t5/JMP-Sample-Data/Power-Company-Metering-Example-Data/ta-p/42016
Ri: Clustering e Big Data - Profili di utilizzo dell'alimentazione dei clienti per una utility elettricaGrazie a tutti per i vostri contributi. Alcuni di voi erano interessati al file. Sto inserendo due file nello scambio di file, uno di essi funge da file di controllo e l'altro ha uno script incorporato per creare una tabella di dati di grandi dimensioni. Finisce con circa 6 milioni di file e impiega 2 minuti alla fine. I due file devono essere collegati tramite Account, ma non sono sicuri che funzioni dopo aver mescolato i file, quindi potrebbe essere necessario stabilire il join virtuale. Il file di controllo si chiama "Informazioni cliente" e il file di autocostruzione si chiama "Esempio Power Comany - Tabella di autocostruzione (grande)". Assicurati solo che entrambi i file siano aperti nella sessione JMP prima di eseguire lo script incorporato.
Ri: Clustering e Big Data - Profili di utilizzo dell'alimentazione dei clienti per una utility elettricaSolo un breve commento alla risposta di Dons su nn:
Nelle compagnie energetiche hanno usato esattamente questo approccio, prendendo un campione e trovando i cluster appropriati e quindi usando le reti neurali per predire il resto dei dati in questi cluster. L'ho fatto abbastanza spesso mentre lavoravo per MathWorks e ha funzionato abbastanza bene. Ovviamente dovresti controllare il modello nn di volta in volta poiché le cose possono cambiare nel tempo e anche i gruppi iniziali possono cambiare.
Queste aziende usano spesso queste classificazioni per specificare quale contratto e offerta di prezzo forniscono ai nuovi clienti dove richiedono un profilo di consumo. Inoltre a volte lo usano per prevedere gli utilizzi per i loro clienti per poter scambiare le risorse gratuite senza mettersi nei guai nelle ore di punta.
Migliore
balestruccio
Ri: Clustering e Big Data - Profili di utilizzo dell'alimentazione dei clienti per una utility elettricaVolevo aggiungerlo per clustering gerarchico con Opzione Fast Ward, puoi ancora analizzare i dati fino a 200.000 righe. http://www.jmp.com/support/help/13/Overview_of_Platforms_for_Clustering_Observation.shtml
Ri: Clustering e Big Data - Profili di utilizzo dell'alimentazione dei clienti per una utility elettricaIn base alla tua descrizione, penso che sia il modo di raggruppare gli account sui dati costituiti da colonne di consumo energetico e righe di account. Come hai scoperto, il clustering gerarchico non è in grado di gestire un numero elevato di righe, ma K-mean può. Questo è noto nel clustering ed è una delle considerazioni chiave quando si sceglie tra i due metodi. Hai detto che il raggruppamento di Kmean raggruppa molti account diversi mentre il clustering gerarchico no. Mi chiedevo quanti cluster avevi impostato durante l'esecuzione di K-mean. E, come confronto, quanti cluster hai utilizzato clustering gerarchico? Forse devi provare un numero maggiore di cluster con K-medie.
Ri: Clustering e Big Data - Profili di utilizzo dell'alimentazione dei clienti per una utility elettricaSono d'accordo con Mark. Il trucco sarà quello di aggregare i dati in metriche significative per ridurre il numero di righe (non sono sicuro di cosa si possa fare con le colonne, dato che presumo rappresentino i clienti). Che ne dite di calcolare l'uso mediano per diversi periodi di tempo (ad esempio, ora del giorno, giorno della settimana, settimana dell'anno, mese dell'anno, ecc.), Quindi ricavare un punteggio di deviazione per ciascuno di questi (quadrata sommata o differenza assoluta, forse) . Vorrei anche prendere in considerazione una versione ridotta di questi, dal momento che sospetto che saranno molto distorti. Un'altra idea sarebbe quella di raggruppare un sottocampione, come il tuo, quindi utilizzare una rete neurale (o albero) per prevedere il cluster.
Non mi dispiacerebbe vedere il file di esempio, se potessi condividerlo.
don
Ri: Clustering e Big Data - Profili di utilizzo dell'alimentazione dei clienti per una utility elettricaSi potrebbe inoltre considerare la possibilità di derivare nuove risposte significative. Ad esempio, picco di utilizzo, picco di utilizzo negli ultimi sei mesi, utilizzo medio e così via. I dati non elaborati contengono informazioni ma come tali cosa dice ogni quindici minuti?
