Pas une question JMP, mais en espérant que quelqu'un puisse vous aider - Estimation StdDev à partir de Min, Max, AvgTout d'abord, ce n'est pas une question JMP mais une question de statistiques générales, donc je m'excuse s'il est inapproprié de la poster ici.Mais j'espère que quelqu'un de la communauté JMP pourra m'aider.
J'ai une série d'échantillons de données, où chaque échantillon a Min, Avg (Moyenne) et Max enregistré.Les données sont échantillonné chaque seconde, mais seulement enregistré toutes les 15 minutes.Ainsi, chacun de mes points de données de 15 minutes a le Min des échantillons de 1 seconde, le Max des échantillons de 1 seconde et la Moyenne des échantillons de 1 seconde sur l'intervalle de 15 minutes.
J'ai un certain nombre de points de données de 15 minutes, disons 24 heures (96 points de données).J'aimerais essayer d'estimer le StdDev de la valeur sur la période de 24 heures, comme si j'avais réellement tous les échantillons d'une seconde sur la période de 24 heures.Je pense que si chacun de mes points de données de 15 minutes avait également le StdDev des échantillons de 1 seconde, ce serait plus simple, mais ce n'est pas le cas; juste MIn, Max et Avg.
Toute orientation serait appréciée.
Re : Pas une question JMP, mais j'espère que quelqu'un pourra vous aider - Estimation de StdDev à partir de Min, Max, AvgSalut @wsande ,
je suis d'accord avec @gzmorgan0 et @P_Bartell , mais permettez-moi de répondre à quelques-unes de vos questions spécifiques :
"Le StdDev des valeurs 15mAvg est de 0,00513... ce qui impliquerait un StdDev de population de 0,1538 (= 0,00513 * 30).Cependant, la plage totale de mes données sur plus de 80 heures n'est que de 0,05 Max (15 mMax) - Min (15 mMin).Je me serais attendu à ce que la plage soit de plusieurs SD et non d'une fraction de SD."
Je peux voir à quel point cela peut sembler étrange, mais ce que vous avez, c'est la gamme des au moyen d'échantillons de taille 900, pas la plage des données d'origine. si vous regardez dans mon exemple précédent, la fourchette de mes moyennes de taille 900 était d'environ 20. La plage des données d'origine était supérieure à 1000. En collectant des observations ensemble et en calculant une moyenne, les nombres résultants, chacun d'eux une moyenne de 900 observations, ont tendance à être proches les uns des autres que les points de données d'origine sont proches les uns des autres (et c'est pourquoi nous pouvons affirmer que l'écart type des moyennes de l'échantillon sera inférieur à l'écart type des données d'origine d'un facteur racine carrée(n)). Donc, revenons à votre cas, la portée de votre moyens est de 0,05, ce qui, compte tenu des échantillons de 900 que nous connaissons, est nettement inférieur à la plage des données d'origine. Ainsi, il ne devrait pas être surprenant que l'écart type que nous estimons pour les données de génération d'origine soit plus grand.
"Je me demande si je ne rencontre pas un "problème de quantification.La résolution de mes échantillons est de 0,01, soit 2 x l'écart-type que je mesure sur les moyennes des échantillons"
Étant donné ce que nous savons de l'échantillon signifie ici, nous devrions nous attendre à ce que la plage des données dans les échantillons originaux d'une seconde soit plus grande, donc j'espère que vous n'êtes pas dans une situation où votre appareil de mesure n'est pas capable de mesurer avec précision le phénomène d'intérêt.Je ne peux pas vraiment en parler, cependant.
"Je ne sais pas si cela fausse en quelque sorte les résultats.J'ai en fait > 200 de ces ensembles de données, pour différents "canaux", et généralement la plage est de 3x à 5x le StdDev des moyens de l'échantillon."
Je conviens que nous devrions nous attendre à ce que la gamme des moyen d'échantillonnage est plus grand que l'écart-type de la moyen d'échantillonnage.Mais c'est même vrai dans le premier graphique que vous avez montré, Range = 0,05 et StDev = 0,0051. Cependant, avec des échantillons aussi grands que 900, il ne faut pas s'attendre à ce que la gamme des moyen d'échantillonnage est supérieur à l'écart-type de la variable d'origine à partir de laquelle les échantillons sont tirés.
"Une chose que je me demande...Si au lieu d'échantillons de 1 seconde, la population sous-jacente était des échantillons de 10 secondes, alors il n'y aurait que 90 échantillons par intervalle de 15 minutes, et le calcul de la population SD changerait d'un facteur 3. ( SQRT(90) au lieu de SQRT(900) ).Pourtant, le processus continu sous-jacent n'aurait pas changé.J'ai du mal à m'y retrouver..."
Fantastique question ! Cela semble déroutant au début, mais permettez-moi, espérons-le, d'expliquer cela d'une autre manière. Si, dans les données d'origine, vous aviez des données collectées toutes les 10 secondes, plutôt que toutes les 1 seconde, les moyennes d'échantillon dans votre tableau final seraient construites à partir d'échantillons de taille 90 et non 900. L'écart type des données d'origine ne changerait pas , mais l'écart type de votre moyen d'échantillonnage changerait. Utilisons quelques nombres réels pour clarifier cela :
Prenons mon exemple original, une population avec un écart type de 120. Lorsque nous avions des échantillons de 900, nous avons constaté que l'écart type de la distribution de ces moyennes d'échantillon était de 4. Nous l'avons fait de manière empirique, mais nous aurions pu aussi simplement appliquer la formule sigma / racine(n), 120/30 = 4. Si nous n'avions que les moyennes d'échantillons de taille 900, et trouvé l'écart type de ces moyennes, nous aurions pu travaillé à rebours, sigma*racine(n), 4*30 = 120.
Qu'en est-il du cas où les données sont collectées toutes les 10 secondes puis moyennées ? Eh bien, comme vous l'avez dit, vous auriez 90 observations pour chaque moyenne. Cela implique que l'écart type de vos échantillons de 90 observations serait de 120 / sqroot(90) = 12,65. Notez que cet écart type est plus grand que lorsque nous avions des moyennes d'échantillons de taille 900. Avec moins d'observations dans chaque moyenne, l'écart type des moyennes est plus grand - elles varient plus d'un échantillon à l'autre car il y a moins d'observations équilibrant les choses (loi des grands nombres en action, alias la cohérence de l'estimateur, ça va mieux avec plus de données). Alors, travaillons dans l'autre sens. Si c'était le genre de données auxquelles vous aviez accès, des moyennes d'échantillons de taille 90 à partir d'observations prises toutes les 10 secondes, l'écart type avec lequel vous auriez à travailler serait de 12,65, et vous prendriez 12,65 * racine carrée (90) = 120. Donc, rien dans la population ne change... ce qui a changé, c'est le processus par lequel vous avez mesuré la nature et la conséquence de ce processus sur la variabilité des observations auxquelles vous avez accès.
Tout compte fait cependant, tout cela suppose des observations indépendantes et identiquement distribuées. S'il y a des effets systématiques/autocorrélation/etc comme @gzmorgan0 mentionné, ces formules simples ne décrivent plus adéquatement ce qui se passe lorsque nous prenons ces moyens.
J'espère que cela clarifie certaines choses !
@julien
Re : Pas une question JMP, mais j'espère que quelqu'un pourra vous aider - Estimation de StdDev à partir de Min, Max, Avg@wsande ,
Quelques suggestions/commentaires :
- D'après mon expérience avec les semi-conducteurs, différents canaux peuvent avoir des distributions différentes, donc juste une mise en garde avec la généralisation à plusieurs populations.
- Cette suggestion va dans le sens @P_Bartell examen oral. Je vous propose pour chaque canal de regarder la distribution et un tableau de bord des plages de 15 min (15 min max - 15 min min).Donnez la résolution de vos données, je crains que vous n'ayez beaucoup de zéros. Quoi qu'il en soit, il y a longtemps, lorsque la puissance de calcul et le stockage des données étaient coûteux, les données agrégées étaient monnaie courante. Une approche simple consistait à supposer que 95 % des plages de l'échantillon représenteraient 4 écart type, c'est-à-dire max = +2 écart type et min = -2 écart type, donc la plage/4 a été utilisée comme écart type.Cela pourrait donner un aperçu de vos données.
- Si l'analyse de # 2 a de nombreuses plages de zéro, cela peut être la raison, les données brutes ne sont pas rapportées, et des intervalles de 15 minutes avec des plages> 0, suggèrent un décalage/changement de la valeur. Si tel est le scénario, le nombre de décalages/transitions par période de temps pourrait être une meilleure mesure que le développement standard pour la stabilité du canal (ou le temps entre les transitions).
Je ne suis pas sûr de votre objectif, mais suivez les conseils de l'examen oral de Peter et tracez les moyennes et les plages par séquence et regardez les distributions.Souvent, les statistiques récapitulatives des données de séries chronologiques ne décrivent pas de manière adéquate le comportement de l'unité surveillée.
JMP facilite cette opération en quelques clics.
Re : Pas une question JMP, mais j'espère que quelqu'un pourra vous aider - Estimation de StdDev à partir de Min, Max, AvgMerci beaucoup pour l'explication détaillée.Cependant, il se passe quelque chose avec mes données, de sorte que cela me donne des résultats qui n'ont pas tout à fait de sens.
J'ai un ensemble de données de> 80 heures, pas seulement 24 heures.Donc, > 300 échantillons.Le StdDev des valeurs 15mAvg est de 0,00513. Avec 900 ponts de données de 1 seconde par période de 15 minutes, cela impliquerait une population StdDev de 0,1538 (= 0,00513 * 30).Cependant, la plage totale de mes données sur plus de 80 heures n'est que de 0,05 Max (15 mMax) - Min (15 mMin).Je me serais attendu à ce que la plage soit de plusieurs SD et non d'une fraction de SD.
Je me demande si je ne rencontre pas un "problème de quantification".La résolution de mes échantillons est de 0,01, soit 2 fois l'écart-type que je mesure sur les moyennes des échantillons.
Je ne sais pas si cela fausse en quelque sorte les résultats.
J'ai en fait> 200 de ces ensembles de données, pour différents "canaux", et généralement la plage est de 3x à 5x le StdDev des moyens de l'échantillon.
Une chose que je me demande...Si au lieu d'échantillons de 1 seconde, la population sous-jacente était des échantillons de 10 secondes, alors il n'y aurait que 90 échantillons par intervalle de 15 minutes, et le calcul de la population SD changerait d'un facteur 3. ( SQRT(90) au lieu de SQRT(900) ).Pourtant, le processus continu sous-jacent n'aurait pas changé.J'ai du mal à me faire à ce sujet...
Re : Pas une question JMP, mais j'espère que quelqu'un pourra vous aider - Estimation de StdDev à partir de Min, Max, AvgPour ajouter une certaine perspective aux deux @julien et @gzmorgan0 ', lorsque j'étais assis pour l'examen oral final de mon programme de maîtrise en mathématiques appliquées et statistiques au Rochester Institute of Technology avec le chef de département, le Dr John Hromi et le professeur Mason Wescott, on m'a d'abord posé cette question :
« Votre patron vous remet une pile de données qui ont été recueillies au fil du temps et veut que vous les analysiez. Que ferez-vous ensuite ?" Je pense que ma réponse était quelque chose comme: "Je créerais un histogramme des données, puis, puisque les données sont de nature chronologique, soit un diagramme de progression ou un diagramme de contrôle si je peux créer des sous-groupes rationnels à partir des données. Ensuite, je chercherais le milieu, la propagation, tout ce qui est inhabituel ou suspect sur l'histogramme et enfin sur le diagramme de progression ou de contrôle, la stabilité dans la moyenne et la propagation."
Bien sûr, j'étais un tas de nerfs avant l'examen. Deux Une liste de statisticiens industriels qui en ont oublié plus sur les statistiques que je n'en saurai jamais.
Le Dr Hromi a souri et a dit quelque chose comme : "Bonne réponse... allons-y."
Re : Pas une question JMP, mais j'espère que quelqu'un pourra vous aider - Estimation de StdDev à partir de Min, Max, AvgQue c'est un point si important que j'ai oublié de mentionner, @gzmorgan0 ! Je supposais des observations indépendantes et identiquement distribuées, mais ce n'est certainement pas le cas.Re : Pas une question JMP, mais j'espère que quelqu'un pourra vous aider - Estimation de StdDev à partir de Min, Max, Avg@wsande ,
@julien la réponse de est une réponse parfaite si les données sous-jacentes sont aléatoires sans effets systématiques forts . Le contre-exemple ci-dessous est extrême, mais montre comment un effet systématique peut entraîner une moyenne très stable et, par conséquent, l'écart type de la moyenne est une sous-estimation de l'erreur type.
À l'aide de la table de Julian, créez une colonne appelée Systematic avec la formule :
If(
Row() == 1, Random Integer( 850, 1150 ),
Modulo( Row(), 100 ) == 1, Random Integer( 850, 1150 ),
Modulo( Row(), 100 ) == 51, Lag( :Systematic, 1 ) * -1,
Lag( :Systematic, 1 )
)
Vous trouverez ci-dessous une capture d'écran des données individuelles d'une seconde pour un bloc de 15 minutes sélectionné.
Vous pouvez voir qu'il y a des variations dans les données brutes. Cependant, les données résumées du bloc de 15 minutes, toutes les moyennes sont nulles, car cet exemple est délibérément configuré pour être un cas extrême. Même si les effets systématiques n'étaient pas aussi extrêmes, un modèle systématique fort peut rendre la moyenne artificiellement stable.
Ce contre-exemple ne vise pas à saper @julien 's solution, mais censé être une mise en garde. Si possible, vous devriez essayer de trouver une méthode pour obtenir quelques intervalles aléatoires des données brutes, afin d'exclure les événements cycliques systématiques forts.
Re : Pas une question JMP, mais j'espère que quelqu'un pourra vous aider - Estimation de StdDev à partir de Min, Max, AvgSalut @wsande ,
Je pense que tu as de la chance. Avec les données dont vous disposez, vous n'avez aucun problème à estimer l'écart type de la variable à l'échantillonnage d'origine de 1 seconde. Tout ce dont vous avez besoin est l'écart type (ou la variance) des moyennes elles-mêmes (le min et le max ne sont pas nécessaires).
Les variances se comportent de manière prévisible lorsqu'elles sont utilisées. Dans ce cas, l'opération entre les données d'origine et les données résumées dont vous disposez consiste à diviser par une constante (le nombre d'observations, 900, le nombre de secondes en 15 min). La base de la formule de l'erreur standard est en fait ce que nous allons appliquer ici. Rappelons que l'écart type de la distribution d'échantillonnage de la moyenne est Sigma / SqRoot(n), où sigma est l'écart type de la population et n est la taille de l'échantillon. En termes de variance, il s'agit simplement de variance/n - assez simple en ce qui concerne les formules !
Alors, comment cela aide-t-il? Nous savons que vous avez 900 observations qui entrent dans chaque moyenne de votre tableau de données (60 échantillons/min * 15 min par enregistrement). Dans le tableau que vous avez, vous avez 96 observations (moyennes pour chaque 15 min, 4 par heure x 24 heures = 96). À titre d'illustration, supposons que nous sachions que l'écart type de la signifie que vous avez est 4. Quel écart type dans la résolution originale de 1 seconde en résulterait si nous avions appliqué la formule sigma / sqroot(n) ? Retournons-le.
écart type des moyennes = sigma/racine carrée(n)
4 = sigma/racine carrée(900)
4*racine carrée(900) = sigma
sigma = 120.
Viola !
La forme de distribution de la population n'a pas d'importance. Les variances fonctionnent de cette façon quelle que soit la forme sous-jacente. Nous n'avons pas non plus à faire confiance aux calculs. Faisons cela dans JMP et voyons ce qui se passe. Voici un tableau de 86 400 observations, votre tableau de résolution 1sec :
C'est la distribution de la variable d'origine, faite avec une fonction Random Normal() : Moyenne de 1000, écart type de 120 (enfin, c'est une fonction aléatoire, donc c'est proche). 
Résumons par bloc de 15 min en utilisant Tableaux > Résumé :
Cela donne le tableau résumé ci-dessous, avec la moyenne pour chaque bloc.
Jetons un coup d'œil à la distribution des moyens (qui est essentiellement ce qu'est votre tableau final) :
Et voilà, l'écart type de la distribution d'échantillonnage de la moyenne (ce que nous avons construit) est de 4 -- sigma / sqroot(n) comme nous le dit la théorie.
Une mise en garde ... cette distribution d'échantillonnage empirique ne représente que 96 observations de la distribution d'échantillonnage théoriquement infinie, donc chaque fois que vous répétez cette expérience, vous obtiendrez une estimation légèrement différente. Si nous devions construire la table d'origine pour avoir des millions et des millions de blocs de 15 minutes, puis échantillonner des milliers et des milliers de moyennes de ces blocs de 15 minutes, nous serions assez morts. On pourrait le montrer empiriquement, mais on le sait théoriquement. Et, le fait est vraiment que notre meilleure estimation impartiale du sigma de la population lorsque nous avons l'erreur type (l'écart type des moyennes), est de prendre cette erreur type et de la multiplier par sqroot(n).
Donc, TLDR : prenez l'écart type que vous avez des moyennes, et multiple par sqroot (900).
J'espère que ça aide!
@julien
