214462_it-IT

liliconcom

Non è una domanda su JMP, ma spero che qualcuno possa aiutare - Stima StdDev da Min, Max, Avg

In primo luogo, questa non è una domanda su JMP ma una domanda di statistiche generali, quindi mi scuso se non è appropriato pubblicarla qui.Ma spero che qualcuno nella community di JMP possa aiutarmi.

 

Ho una serie di campioni di dati, in cui ogni campione ha registrato Min, Avg (Mean) e Max.I dati sono campionato ogni secondo, ma solo registrato ogni 15 minuti.Quindi ciascuno dei miei punti dati di 15 minuti ha il minimo dei campioni di 1 secondo, il massimo dei campioni di 1 secondo e la media dei campioni di 1 secondo nell'intervallo di 15 minuti.

 

Ho un numero di questi punti dati di 15 minuti, diciamo 24 ore (96 punti dati).Vorrei provare a stimare lo StdDev del valore nel periodo di 24 ore, come se avessi effettivamente tutti i campioni da 1 secondo nel periodo di 24 ore.Penso che se ciascuno dei miei punti dati di 15 minuti avesse anche lo StdDev dei campioni di 1 secondo, sarebbe più semplice, ma non lo faccio; solo MIn, Max e Avg.

 

Qualsiasi guida sarebbe apprezzata.

Ri: Non è una domanda su JMP, ma spero che qualcuno possa aiutare - Stima StdDev da Min, Max, Avg

CIAO @wsande ,

Sono d'accordo con @gzmorgan0 E @P_Bartell suggerimenti di , ma lasciami rispondere ad alcune delle tue domande specifiche:

 

"Lo StdDev dei valori 15mAvg è 0,00513... ciò implicherebbe una popolazione StdDev di 0,1538 (= 0,00513 * 30).Tuttavia, l'intervallo totale dei miei dati nelle oltre 80 ore è di soli 0,05 Max(15mMax) - Min(15mMin).Mi sarei aspettato che l'intervallo fosse di diverse SD, non una frazione di una SD."

 

Posso vedere come potrebbe sembrare strano, ma quello che hai è la portata del mezzo di campioni di taglia 900, non l'intervallo dei dati originali. se guardi nel mio esempio prima, la gamma dei miei mezzi di taglia 900 era di circa 20. L'intervallo dei dati originali era superiore a 1000. Raccogliendo insieme le osservazioni e calcolando una media, i numeri risultanti, ognuno dei quali è una media di 900 osservazioni, tendono ad essere vicini l'uno all'altro rispetto ai punti dati originali (ed è per questo che possiamo affermare che la deviazione standard delle medie campionarie sarà inferiore alla deviazione standard dei dati originali di un fattore radice quadrata(n)). Quindi, tornando al tuo caso, la portata del tuo significa è 0,05, che dati campioni di 900 sappiamo essere sostanzialmente più piccoli dell'intervallo dei dati originali. Pertanto, non dovrebbe sorprendere che la deviazione standard che stimiamo per i dati di generazione originali sia maggiore.

 

 

"Mi chiedo se mi sto imbattendo in un "problema di quantizzazione.La risoluzione dei miei campioni è 0,01, ovvero 2 volte la SD che misuro sulle medie dei campioni"

Dato ciò che sappiamo dal significato del campione qui, dovremmo aspettarci che l'intervallo dei dati nei campioni originali di 1 secondo sia più ampio, quindi si spera che tu non ti trovi in una situazione in cui il tuo dispositivo di misurazione non è in grado di misurare con precisione il fenomeno di interesse.Non posso davvero parlarne, però.

 

 

"Non so se questo stia in qualche modo distorcendo i risultati.In realtà ho> 200 di questi set di dati, per diversi "canali", e in genere l'intervallo è compreso tra 3x e 5x la StdDev della media del campione."

 

Sono d'accordo che dovremmo aspettarci che la gamma di mezzo campione è maggiore della deviazione standard di mezzo campione.Ma questo è vero anche nel primo grafico che hai mostrato, Range = 0,05 e StDev = 0,0051. Tuttavia, con campioni grandi come 900, non dovremmo aspettarci che l'intervallo di mezzo campione è maggiore della deviazione standard della variabile originale da cui vengono estratti i campioni.

 

 

"Una cosa mi chiedo...Se invece di campioni di 1 secondo, la popolazione sottostante fosse costituita da campioni di 10 secondi, allora ci sarebbero solo 90 campioni per intervallo di 15 minuti e il calcolo della SD della popolazione cambierebbe di un fattore 3. ( SQRT(90) invece di SQRT(900) ).Eppure il processo continuo sottostante non sarebbe cambiato.Faccio fatica a pensare a questo..."

 

Fantastica domanda! All'inizio sembra sconcertante, ma spero che lo spieghi in un altro modo. Se nei dati originali avevi dati raccolti ogni 10 secondi, anziché ogni 1 secondo, le medie del campione nella tua tabella finale sarebbero costruite con campioni di dimensione 90 e non 900. La deviazione standard dei dati originali non cambierebbe , ma la deviazione standard del tuo mezzo campione Cambierebbe. Usiamo alcuni numeri reali per chiarire questo:

 

Prendi il mio esempio originale, una popolazione con una deviazione standard di 120. Quando abbiamo avuto campioni di 900, abbiamo scoperto che la deviazione standard della distribuzione di quelle medie campionarie era 4. Lo abbiamo fatto empiricamente, ma avremmo anche potuto applicare la formula sigma / root(n), 120/30 = 4. Se avessimo solo le medie di campioni di dimensione 900 e avessimo trovato la deviazione standard di quelle medie, avremmo potuto lavorato all'indietro, sigma*root(n), 4*30 = 120.

 

Che dire del caso con i dati raccolti ogni 10 secondi e poi calcolati in media? Beh, come hai detto, avresti 90 osservazioni per ogni media. Ciò implica che la deviazione standard dei tuoi campioni di 90 osservazioni sarebbe 120 / sqroot(90) = 12,65. Si noti che questa deviazione standard è maggiore rispetto a quando avevamo medie di campioni di dimensione 900. Con meno osservazioni in ciascuna media, la deviazione standard delle medie è maggiore: variano di più da campione a campione perché ci sono meno osservazioni che bilanciano le cose (legge dei grandi numeri in azione, ovvero la coerenza dello stimatore, migliora con più dati). Quindi, lavoriamo nell'altro modo. Se questo fosse il tipo di dati a cui avevi accesso, per mezzo di campioni di dimensione 90 da osservazioni effettuate ogni 10 secondi, la deviazione standard con cui dovresti lavorare sarebbe 12,65 e prenderesti 12,65 * radice quadrata (90) = 120. Quindi, non cambia nulla della popolazione... ciò che è cambiato è il processo attraverso il quale hai misurato la natura e la conseguenza di quel processo sulla variabilità delle osservazioni a cui hai accesso.

 

Detto questo, tutto ciò presuppone osservazioni indipendenti e distribuite in modo identico. Se ci sono effetti sistematici/autocorrelazione/ecc come @gzmorgan0 accennato, queste semplici formule non descrivono più adeguatamente cosa accade quando prendiamo quei mezzi.

 

Spero che questo chiarisca alcune cose!

@giuliano

 

 

 

 

Ri: Non è una domanda su JMP, ma spero che qualcuno possa aiutare - Stima StdDev da Min, Max, Avg

@wsande ,

 

Alcuni suggerimenti/commenti:

1. Dalla mia esperienza con i semiconduttori, canali diversi possono avere distribuzioni diverse, quindi solo un avvertimento con la generalizzazione su più popolazioni.
2. Questo suggerimento è in linea con @P_Bartell L'esame orale. Suggerisco per ogni canale di guardare la distribuzione e un grafico di tendenza degli intervalli di 15 min (15 min max - 15 min min).Indica la risoluzione dei tuoi dati, temo che potresti avere molti zeri. Comunque molto tempo fa, quando la potenza di calcolo e l'archiviazione dei dati erano costose, i dati aggregati erano all'ordine del giorno. Un approccio semplice consisteva nel presupporre che il 95% degli intervalli del campione rappresentasse 4 dev std, ovvero max = +2 dev std e min = -2 dev std, quindi range/4 è stato utilizzato come dev.Questo potrebbe fornire alcune informazioni sui tuoi dati.
3. Se l'analisi n. 2 ha molti intervalli zero, questo potrebbe essere il motivo, i dati grezzi non vengono riportati e gli intervalli di 15 minuti con intervalli > 0 suggeriscono uno spostamento/modifica del valore. Se questo è lo scenario, allora il numero di turni/transizioni per periodo di tempo potrebbe essere una metrica migliore di std dev per la stabilità del canale (o il tempo tra le transizioni).

Non sono sicuro del tuo obiettivo, ma segui il consiglio dell'esame orale di Peter e traccia le medie e gli intervalli per sequenza e guarda le distribuzioni.Spesso le statistiche riassuntive dei dati delle serie temporali non descrivono adeguatamente il comportamento dell'unità monitorata.

 

JMP semplifica questa operazione con un paio di clic.

 

Ri: Non è una domanda su JMP, ma spero che qualcuno possa aiutare - Stima StdDev da Min, Max, Avg

Grazie mille per la spiegazione dettagliata.Tuttavia, c'è qualcosa che sta succedendo con i miei dati in modo tale che questo mi sta dando risultati che non hanno molto senso.

 

Ho un set di dati da> 80 ore, non solo 24 ore.Quindi, > 300 campioni.Lo StdDev dei valori 15mAvg è 0,00513. Con 900 punti dati da 1 secondo per periodo di 15 minuti, ciò implicherebbe una popolazione StdDev di 0,1538 (= 0,00513 * 30).Tuttavia, l'intervallo totale dei miei dati nelle oltre 80 ore è di soli 0,05 Max(15mMax) - Min(15mMin).Mi sarei aspettato che l'intervallo fosse di diverse SD, non una frazione di una SD.

 

Mi chiedo se mi sto imbattendo in un "problema di quantizzazione.La risoluzione dei miei campioni è 0,01, ovvero 2 volte la SD che misuro sulle medie dei campioni.

 

 

Non so se questo distorca in qualche modo i risultati.  

In realtà ho> 200 di questi set di dati, per diversi "canali", e in genere l'intervallo è compreso tra 3x e 5x lo StdDev delle medie del campione.

 

 

Una cosa mi chiedo...Se invece di campioni di 1 secondo, la popolazione sottostante fosse costituita da campioni di 10 secondi, allora ci sarebbero solo 90 campioni per intervallo di 15 minuti e il calcolo della DS della popolazione cambierebbe di un fattore 3. ( SQRT(90) invece di SQRT(900) ).Eppure il processo continuo sottostante non sarebbe cambiato.Faccio fatica a pensare a questo...

 

 

Ri: Non è una domanda su JMP, ma spero che qualcuno possa aiutare - Stima StdDev da Min, Max, Avg

Per aggiungere una prospettiva a entrambi @giuliano E @gzmorgan0 's risponde, quando ero seduto per l'esame orale culminante nel mio MS in matematica applicata e programma di statistica al Rochester Institute of Technology con il capo dipartimento Dr. John Hromi e il professor Mason Wescott, mi è stata posta prima questa domanda:

 

"Il tuo capo ti consegna una pila di dati che sono stati raccolti nel tempo e vuole che tu li analizzi. Cosa farai dopo?" Penso che la mia risposta sia stata qualcosa del tipo: "Creerei un istogramma dei dati e poi, poiché i dati sono serie temporali in natura, un grafico di esecuzione o un grafico di controllo se posso creare sottogruppi razionali dai dati. Quindi cercherò il centro, lo spread, qualsiasi cosa insolita o sospetta sull'istogramma e infine il run chart o il grafico di controllo, la stabilità nella media e lo spread".

 

Ovviamente ero un mucchio di nervi all'esame. Due statistici industriali di prima categoria che si sono dimenticati delle statistiche più di quanto io saprò mai.

 

Il dottor Hromi sorrise e disse qualcosa del tipo: "Buona risposta... procediamo".

Ri: Non è una domanda su JMP, ma spero che qualcuno possa aiutare - Stima StdDev da Min, Max, AvgChe è un punto così importante che ho trascurato di menzionare, @gzmorgan0 ! Stavo assumendo osservazioni indipendenti e distribuite in modo identico, ma potrebbe certamente non essere così.Ri: Non è una domanda su JMP, ma spero che qualcuno possa aiutare - Stima StdDev da Min, Max, Avg

@wsande ,

 

@giuliano la risposta di è una risposta perfetta se i dati sottostanti sono casuali senza forti effetti sistematici . Il controesempio riportato di seguito è estremo, ma dimostra come un effetto sistematico possa risultare in una media molto stabile e, quindi, lo std dev della media è una sottostima dell'errore std.

 

Usando la tabella di Julian, crea una colonna chiamata Sistematica con la formula:

If(
 Row() == 1, Random Integer( 850, 1150 ),
 Modulo( Row(), 100 ) == 1, Random Integer( 850, 1150 ),
 Modulo( Row(), 100 ) == 51, Lag( :Systematic, 1 ) * -1,
 Lag( :Systematic, 1 )
)

Di seguito è riportata una schermata dei singoli dati di un secondo per un blocco di 15 minuti selezionato

Puoi vedere che c'è variazione nei dati grezzi. Tuttavia, i dati riepilogati del blocco di 15 minuti, tutte le medie sono pari a zero, perché questo esempio è appositamente impostato per essere un caso estremo. Anche se gli effetti sistematici non fossero così estremi, un modello sistematico forte può rendere la media artificialmente stabile.

 

Questo controesempio non ha lo scopo di minare @giuliano è la soluzione, ma vuole essere una cautela. Se possibile, dovresti provare a trovare un metodo per arrivare a un paio di intervalli casuali dei dati grezzi, per escludere forti eventi sistematici e ciclici.  

 

Ri: Non è una domanda su JMP, ma spero che qualcuno possa aiutare - Stima StdDev da Min, Max, Avg

CIAO @wsande ,

 

Penso che tu sia fortunato. Con i dati che hai, non hai problemi a stimare la deviazione standard della variabile al campionamento originale di 1 secondo. Tutto ciò di cui hai bisogno è la deviazione standard (o varianza) delle medie stesse (il minimo e il massimo non sono necessari).

 

Le varianze si comportano in modo prevedibile quando si opera su di esse. In questo caso, l'operazione tra i dati originali e i dati riepilogati che hai è dividendo per una costante (il numero di osservazioni, 900, il numero di secondi in 15 min). La base per la formula dell'errore standard è in realtà ciò che applicheremo qui. Ricordiamo che la deviazione standard della distribuzione campionaria della media è Sigma / RadiceSq(n), dove sigma è la deviazione standard della popolazione e n è la dimensione del campione. In termini di varianza, questa è solo varianza/n -- abbastanza semplice per quanto riguarda le formule!

 

Quindi, in che modo questo aiuta? Sappiamo che hai 900 osservazioni che entrano in ogni media nella tua tabella dati (60 campioni/min * 15 min per registrazione). Nella tabella che hai, hai 96 osservazioni (significa per ogni 15 minuti, 4 all'ora x 24 ore = 96). A scopo illustrativo, supponiamo di sapere che la deviazione standard di significa che hai è 4. Quale deviazione standard nella risoluzione originale di 1 secondo risulterebbe se avessimo applicato la formula sigma/sqroot(n)? Facciamolo girare.

deviazione standard delle medie = sigma/radicesq(n)

4 = sigma/rootq(900)

4*radicesq(900) = sigma

sigma = 120.

Viola!

 

La forma distributiva della popolazione non ha importanza. Le varianze funzionano in questo modo indipendentemente dalla forma sottostante. Non dobbiamo nemmeno fidarci della matematica. Facciamolo in JMP e vediamo cosa succede. Ecco una tabella di 86.400 osservazioni, la tua tabella di risoluzione di 1 secondo:

Questa è la distribuzione della variabile originale, fatta con una funzione Random Normal(): Media di 1000, Deviazione standard di 120 (beh, questa è una funzione casuale, quindi è vicina).

Riassumiamo per blocco di 15 minuti utilizzando Tabelle > Riepilogo:

Ciò fornisce la tabella riassuntiva di seguito, con la media per ciascun blocco.

Diamo un'occhiata alla distribuzione dei mezzi (che è essenzialmente il tuo tavolo finale):

Ed eccoci qua, la deviazione standard della distribuzione campionaria della media (che è ciò che abbiamo costruito) è 4 -- sigma/sqroot(n) proprio come ci dice la teoria.

 

Un avvertimento ... questa distribuzione di campionamento empirica è solo di 96 osservazioni della distribuzione di campionamento teoricamente infinita, quindi ogni volta che ripeti questo esperimento otterrai una stima leggermente diversa. Se dovessimo costruire la tabella originale per avere milioni e milioni di blocchi di 15 minuti e poi campionare migliaia e migliaia di mezzi di quei blocchi di 15 minuti, saremmo piuttosto morti. Potremmo dimostrarlo empiricamente, ma lo sappiamo teoricamente. E il punto è davvero che la nostra stima migliore e imparziale del sigma della popolazione quando abbiamo l'errore standard (la deviazione standard delle medie), è prendere quell'errore standard e moltiplicarlo per sqroot(n).

 

Quindi, TLDR: prendi la deviazione standard che hai dei mezzi e moltiplica per sqroot (900).

 

Spero che aiuti!

@giuliano