besoin de barres d'erreur dans l'espace arithmétique pour une régression linéaire effectuée dans l'espace logarithmiqueSalut - J'ai fait une régression linéaire sur log_turbidity (variable explicative) vs log_ecoli (variable de réponse) et j'essaie maintenant de calculer, et plus important encore, de comprendre intuitivement, quel est mon intervalle de confiance à 95% dans l'espace arithmétique.Plus précisément, j'ai besoin de barres d'erreur dans l'espace arithmétique pour accompagner mes valeurs d'ecoli prédites transformées en arrière, mais je ne sais pas comment faire et interpréter cette étape. (Notez que mes log-residuals sont normalement distribués.) Merci d'avance !
AnalytiqueRe : besoin de barres d'erreur dans l'espace arithmétique pour une régression linéaire effectuée dans l'espace logarithmiqueVous pouvez rétro-transformer les valeurs (par exemple, Exp( value ) ). Ils ne seront plus symétriques, mais ils doivent être réalistes.
Re : besoin de barres d'erreur dans l'espace arithmétique pour une régression linéaire effectuée dans l'espace logarithmiqueMerci beaucoup Marc.J'ai deux questions de suivi.
1 - Mon erreur +/- calculée dans l'espace du journal est-elle la même qu'un pourcentage erreur dans l'espace arithmétique?
2 - Existe-t-il un moyen de montrer un intervalle de confiance à 95 % dans arithmétique espace basé sur le SD de mon enregistrer résidus ?Je cherche une équation simple que je peux utiliser pour calculer l'erreur associée à l'ecoli arithmétique en fonction de ma turbidité arithmétique (mesurée)... plutôt que de m'appuyer sur l'équation quadratique utilisée pour calculer l'IC à 95 % dans JMP.(Je mesure la turbidité en temps réel et je souhaite l'utiliser pour estimer l'ecoli et le télécharger sur un portail Web en temps réel... mon concepteur Web ne fait pas d'équations quadratiques.)
Re : besoin de barres d'erreur dans l'espace arithmétique pour une régression linéaire effectuée dans l'espace logarithmique1. Je ne comprends pas ce que vous entendez par "pourcentage d'erreur".
2. Non. Envisagez-vous quelque chose comme un intervalle SD de 1 ou 2 ? Un tel intervalle concerne les résidus, et non la moyenne prédite à partir de la régression linéaire. les intervalles conventionnels ne sont pas directement basés sur l'écart-type des résidus. La barre d'erreur de confiance individuelle à 95 % présentée avec la régression linéaire a un calcul et une interprétation spécifiques. Cela dépend de l'erreur type de la réponse moyenne prédite et de la t quantile. L'erreur type d'un modèle de régression linéaire est une forme quadratique de votre modèle ajusté F et la matrice du modèle X de la régression :
(Cette forme est l'équation quadratique à laquelle vous avez fait référence.) Il semble que vous ne pourrez pas calculer des intervalles de confiance à 95 % comme le fait JMP. Vous pourrez peut-être enregistrer la formule de colonne pour l'intervalle dans JMP, puis ajuster un polynôme empirique simple que la page Web peut calculer.
Re : besoin de barres d'erreur dans l'espace arithmétique pour une régression linéaire effectuée dans l'espace logarithmiqueWRT à votre question de suivi numéro 1 : la RMSE de votre modèle log_turbidity (variable explicative) vs log_ecoli (variable de réponse) est une estimation du CV (SD/moyenne = coefficient de variation, parfois appelé écart type relatif et souvent multiplié par 100 pour obtenir un %RSD) dans l'échelle native de votre variable de réponse. Ainsi, puisque l'erreur +/- dans l'espace du journal est un multiple de ce RMSE, elle est liée au % d'erreur dans l'espace natif (arithmétique).
Re : besoin de barres d'erreur dans l'espace arithmétique pour une régression linéaire effectuée dans l'espace logarithmiqueVoici mon équation produite par JMP pour les 95 CI supérieurs sur la moyenne du log_ecoli prédit :
A suivre pour plus de clarté....
Mon équation supérieure d'IC à 95 % dans JMP est la suivante :
1.22332500809584 + 1.09064687207089 * :log_turb + 1.97569392781527 * Sqrt(Vec Quadratic([0.0582857231016302 -0.0410476215408451, -0.0410476215408451 0.0325320549013955], [1] || :log_turb) * 0.0811942392532194)
(notez l'équation quadratique)
Ce que j'essaie de réaliser est le suivant : pour chaque nouvelle mesure de turbidité, j'aimerais l'exécuter à travers l'équation de régression linéaire (log ecoli = f(log_turbidity)) que j'ai modélisée à l'aide de mes données d'entraînement.Cela me donnera une estimation de log_ecoli basée sur log_turbidity que je peux retransformer pour obtenir ecoli dans l'espace arithmétique.Jusqu'ici, tout va bien.Mais ensuite, j'aimerais ajouter des barres d'erreur (espace arithmétique) (comme un IC à 95% autour de la valeur estimée d'ecoli ..... ou une approximation similaire) à la valeur d'ecoli estimée et transformée en retour.Si je comprends bien, les barres d'erreur devraient être basées sur les résidus de ma régression log-linéaire... c'est-à-dire dans quelle mesure le modèle s'adapte aux données d'entraînement observées.La question que j'ai est centrée sur le fait que les résidus, RMSE, etc. sont dans l'espace journal, mais mes barres d'erreur doivent être dans l'espace arithmétique.L'objectif est une approximation simple (ou une équation simple ne dépendant pas d'une équation quadratique) de l'erreur attendue, dans l'espace arithmétique, plus et moins mon ecoli d'espace arithmétique estimé.
On me dit que l'erreur dans l'espace journal est la même qu'un pourcentage dans l'espace arithmétique, de sorte que chaque valeur dans l'espace arithmétique serait erronée de ce même pourcentage.Mais je n'ai peut-être pas bien suivi.
ps Vous avez mentionné l'ajustement d'une fonction polynomiale à l'équation quadratique pour obtenir une équation simple pour mon webmaster.JMP peut-il faire cela et me donner une telle équation ?
Re : besoin de barres d'erreur dans l'espace arithmétique pour une régression linéaire effectuée dans l'espace logarithmiqueMerci beaucoup MRB3855. Veuillez voir ci-dessus.Vous avez déclaré que "puisque l'erreur +/- dans l'espace du journal est un multiple de ce RMSE, elle est liée au % d'erreur dans l'espace natif (arithmétique)".Pouvez-vous clarifier ce que vous entendez par "puisque l'erreur dans l'espace de journalisation est un multiple de ce RMSE"... ?J'essaie de comprendre cela intuitivement.Merci!
Re : besoin de barres d'erreur dans l'espace arithmétique pour une régression linéaire effectuée dans l'espace logarithmiqueVous remarquerez le 0,0811942392532194 dans votre équation ci-dessus. C'est le RMSE^2. Et, puisqu'il est multiplié dans la fonction sqrt(), il peut être factorisé en tant que RMSE.Donc, cette équation d'aspect complexe est un certain nombre, appelons-la t * C (t = 1,97569392781527, la valeur critique de la t dist), multipliée par la RMSE. Maintenant, C, en "régression linéaire simple" (Y = B0 + B1*X, où Y = log_ecoli et X = log_turbidity) se simplifie en quelque chose que vous pouvez trouver gérable. C est le terme racine carrée ci-dessous (le S e terme est le RMSE). Le dénominateur du troisième terme du terme sqrt est simplement la variance d'échantillon de x multipliée par n-1. Le numérateur de ce terme est la différence au carré entre la valeur log_turbidity à laquelle vous souhaitez prédire et la moyenne de toutes vos valeurs log_turbidity dans l'ensemble de données. Ensuite, comme @Mark_Bailey indiqué, transformez simplement le bas et le haut pour revenir à votre échelle native ecoli. Comme il l'a dit, l'intervalle résultant ne sera pas symétrique (autour de exp(pred) ), mais les centiles sont conservés ; c'est-à-dire que l'intervalle de prédiction (IP) résultant est un IP autour de la médiane ( exp(pred) ) dans l'échelle native d'ecoli (log normal). Donc, vous ajoutez des barres d'erreur avant rétro-transformation, pas après. Remarque : la formule ci-dessous correspond à un intervalle de prédiction (un intervalle pour une seule valeur prédite). Pour un intervalle de confiance (intervalle pour la moyenne de la population), supprimez le premier terme, le "1", sous la racine carrée. https://stats.stackexchange.com/questions/16493/difference-between-confidence-intervals-and-prediction-intervals
C =
Vous pouvez également obtenir une "barre d'erreur" supérieure via exp(upper) - exp(pred), et une "barre d'erreur" inférieure via exp(pred) - exp(lower) où supérieur et inférieur sont définis comme dans l'équation ci-dessus . Mais, ils n'auront pas la même ampleur, donc ce n'est pas exp (pred) +/- erreur ... c'est exp (pred) - erreur inférieure, exp (pred) + erreur supérieure.
Re : besoin de barres d'erreur dans l'espace arithmétique pour une régression linéaire effectuée dans l'espace logarithmiqueJe suis d'accord avec votre approche : utilisez les variables transformées pour estimer le meilleur modèle de régression linéaire, prédisez la moyenne, puis rétro-transformez la prédiction à l'échelle d'origine. Faites de même pour les limites de confiance. Cependant, vous ne pouvez pas utiliser la formule JMP pour l'intervalle de confiance. Vous avez besoin d'un calcul de substitution.
Voici un exemple de ce que je propose :
Names Default to Here( 1 );
// example of linear regression
dt = Open( "$SAMPLE_DATA/Big Class.jmp" );
// transform varibles
dt << New Column( "Log weight", "Numeric", "Continuous", Formula( Log( :weight ) ) )
<< New Column( "Log height", "Numeric", "Continuous", Formula( Log( :height ) ) );
// fit linear regression model on transformed variables
fls = dt << Fit Model(
Y( :Log weight ),
Effects( :Log height ),
Personality( "Standard Least Squares" ),
Emphasis( "Minimal Report" ),
Run(
:Log weight << {Summary of Fit( 1 ), Analysis of Variance( 1 ),
Parameter Estimates( 1 ), Scaled Estimates( 0 ),
Plot Actual by Predicted( 0 ), Plot Residual by Predicted( 0 ),
Plot Studentized Residuals( 0 ), Plot Effect Leverage( 0 ),
Plot Residual by Normal Quantiles( 0 ), Box Cox Y Transformation( 0 )}
)
);
// save mean prediction formula
fls << Conditional Pred Formula;
// save mean confidence interval formula
mci = fls << Mean Confidence Limit Formula( .05 );
// save individual confidence interval formula
ici = fls << Indiv Confidence Limit Formula( .05 );
// proof of concept - fit polynomial function to upper mean Ci to regressor X
dt << Bivariate( Y( mci[2] ), X( :Log height ), Fit Polynomial( 2 ) );
// use back transformed value of polynomial for upper mean limit, and so on...Re : besoin de barres d'erreur dans l'espace arithmétique pour une régression linéaire effectuée dans l'espace logarithmiqueExcellent - merci beaucoup Mark !
Re : besoin de barres d'erreur dans l'espace arithmétique pour une régression linéaire effectuée dans l'espace logarithmiqueSuper utile MRB3855. Merci pour l'explication détaillée!
