Modifica della deviazione standard con i pesi nella piattaforma "Distribuzione".Questo argomento generale è già stato discusso in precedenza Qui ma sono insoddisfatto. L'esperto di JMP ha pubblicato una formula che forse spiega cosa sta succedendo. Ma ho una domanda concettuale. Penso che la ponderazione sia utile per aggiustare le stime se si vuole ponderare, ad esempio, alcuni sottocampioni più di altri. Ad esempio, se si avessero 100 uomini e 1.000 donne e si volesse stimare la media e la SD di un campione che aveva un numero uguale di uomini e donne, si potrebbero ponderare le osservazioni rispettivamente di 1100/100 e 1100/1000.
Il punto è questo: se inizio con una qualsiasi distribuzione di osservazioni in JMP e cambio il peso da "1", la media rimane la stessa (come dovrebbe: non dovrebbe importare se peso tutte le osservazioni di 1, 2, 3, o 6.000), ciò non dovrebbe modificare la media della distribuzione, ma la deviazione standard cambia. Perché questo ha senso? Esperti di JMP, vi preghiamo di non fornire semplicemente la formula che mostra, se così fosse, che ciò accade. Perché avrebbe senso concettualmente? Mi sembra che né la media né la DS dovrebbero cambiare se si pesa 2 (che di fatto raddoppia la dimensione del campione) o 3 (che la triplica). Certo aumenta la somma dei quadrati, ma la SD è una funzione della somma MEDIA dei quadrati.
Grazie.
Mike Bailey
ps allego un file "Weightsdata" che puoi usare per verificare se vuoi. La variabile "Peso" ha un valore pari a 1, quindi pesarla non dovrebbe cambiare le cose; "Peso 2" ha un valore di 2 e "Peso 3" ha un valore di 3.
Modellazione statistica avanzataAnalisi e modellazione dei dati di baseRicerche sui consumatori e sul mercatoAccesso ai datiEsplorazione e visualizzazione dei datiProgettazione di esperimentiPersonalizzazione di massaIngegneria della qualità e dei processiRi: Modifica della deviazione standard con i pesi nella piattaforma "Distribuzione".CIAO @PMort3 : Mi dispiace, ma non vedo come sia rilevante il tuo ultimo punto; cosa c'entra "statisticamente improbabile" con la definizione di DS ponderata?cioè, dici che il valore p è circa 0,95. E a quale ipotesi statistica corrisponde quel valore p?cioè, qual è la tua ipotesi nulla e alternativa?
E... non sono sicuro di quale sia la definizione "corretta" di SD ponderata (mi sembra che dipenda da cosa stai cercando di stimare). E mi viene in mente una citazione dal link stackexchange sopra che potrebbe valere la pena ripetere per la nostra considerazione: "Alla luce del riferimento aggiunto (che non è autorevole, ma è un riferimento) sto rimuovendo il voto negativo. Non sto votando a favore di questa risposta, tuttavia, perché i calcoli mostrano che la ponderazione proposta non produce una stima imparziale di nulla (tranne quando tutti i pesi sono uguali a 1). La vera difficoltà qui - che è colpa della domanda, non della risposta - è che non è chiaro cosa questa "deviazione standard ponderata" stia tentando di stimare (corsivo mio) . Senza una stima definita, non vi è alcuna giustificazione per introdurre un fattore (M−1)/M per "ridurre la distorsione" (o per qualsiasi altra ragione)."
Ri: Modifica della deviazione standard con i pesi nella piattaforma "Distribuzione".Vorrei dare seguito alla domanda di Mike.Mike, condivido la tua frustrazione per il calcolo JMP.
La formula descritta nella documentazione JMP non è coerente con lo standard NIST a cui viene fatto riferimento nel collegamento stackexchange, vedere itl.nist.gov/div898/software/dataplot/refman2/ch2/weightsd.pdf .La definizione NIST normalizza i valori del peso, fornendo uno stdev coerente.
Una soluzione alternativa per rendere JMP conforme allo standard NIST consiste nel creare e utilizzare una colonna di valori di peso che si sommano a:
- (n-1), dove n è il numero nel campione; O
- n, dove n è il numero in una popolazione.
Come esempio del problema, esegui una distribuzione ponderata utilizzando i dati "Y" di Mark, che sono ~ distribuiti normalmente.
- Usando un peso pari a 1 per ciascun dato (ovvero la soluzione alternativa di JMP), otteniamo uno stdev di circa 0,98, il che ha senso: ad esempio, aggiungendo 0,98 alla media di ~0,02 si ottiene un valore di 1,0, che si adatta a circa l'84esimo percentile della distribuzione quantilica (cioè circa + 1 sigma).
- Se si utilizza qualsiasi altro valore di ponderazione, JMP fornirà un valore fuorviante per lo sviluppo stdev ponderato.Ad esempio, JMP fornisce un valore stdev ponderato di 1,38 per i dati di Mark con un peso di 2 per ciascun dato, ben al di sopra del 90° percentile.Non ha senso.Per convincerti, esegui semplicemente l'opzione "test std dev" nel menu di distribuzione: ti dirà che 1,38 è statisticamente improbabile (valore p ~ 0,95).
-Paolo
Ri: Modifica della deviazione standard con i pesi nella piattaforma "Distribuzione".A rischio di essere accusato di "aver semplicemente fornito la formula", ti rimando a due riferimenti da considerare.Alla fine dipende da cosa si intende per "peso". E qualsiasi comprensione concettuale non può, almeno per me, essere valutata separatamente dalla definizione (e di conseguenza dalla formula). Il primo collegamento è la formula utilizzata da JMP (colpevole come accusato). Il secondo collegamento è una discussione più sfumata che spero illumini. Nel primo caso, è facile capire perché la SD aumenta (di sqrt (peso)) all'aumentare del peso (come descrivi).
Dettagli statistici per le statistiche riassuntive (jmp.com).
https://stats.stackexchange.com/questions/6534/how-do-i-calculate-a-weighted-standard-deviation-in-excel
.
