504984_fr-FR

liliconcom

Ajoutez une normalisation et des fonctions statistiques robustes (et des fonctions matricielles)

Ajoutez de nouvelles fonctions statistiques Col :

• Col IQR (« écart type robuste »)
• Col Standardize Robust (utiliser la médiane au lieu de la moyenne et la plage quantile au lieu de l'écart type, par défaut IQR)
  • sklearn.preprocessing.RobustScaler — documentation scikit-learn 1.1.1
  • Pourrait également être ajouté à la fonction Col Standardize existante en tant qu'argument
• Col Normaliser
  • Normaliser entre la plage (0 à 1, -1 à 1 et en fonction des colonnes de limite)
  • Mise à l'échelle des fonctionnalités — Wikipédia
• Pas aussi important : Col Robust Sigma (diviseur par défaut à 1,35) et Col Robust Limit (multiplicateur sigma par défaut à 6 et argument pour choisir inférieur/supérieur)
  • http://www.aecouncil.com/Documents/AEC_Q001_Rev_D.pdf

Ajoutez également autant d'entre eux que possible aux opérations Matrix s'ils sont manquants.

La plupart d'entre elles pourraient déjà être implémentées assez facilement en utilisant les fonctions statistiques existantes, mais je préférerais de loin les avoir comme fonctionnalités normales dans JMP (l'implémentation native pourrait également être plus rapide ?). À mon avis, ce sont des fonctions très utiles et puissantes (comme toutes les autres fonctions Statistical Col).

Exemples de fonctions (peuvent inclure des erreurs) :

Voir plus...

Names Default To Here(1);
dt = Open("$SAMPLE_DATA/Big Class.jmp");

// add outlier for M
dt << Add Rows({name = "OUTLIER", age = 1, sex = "M", height = 500, weight = 500});

// add limits
dt << New Column("LSL", Numeric, Continuous, << Set Each Value(50));
dt << New Column("USL", Numeric, Continuous, << Set Each Value(60));

dt << New Column("ColMean_height", Numeric, Continuous, Formula(
	Col Mean(:height, :sex, Excluded())
));
dt << New Column("ColMedian_height", Numeric, Continuous, Formula(
	Col Median(:height, :sex, Excluded())
));

dt << New Column("ColStdDev_height", Numeric, Continuous, Formula(
	Col Std Dev(:height, :sex, Excluded())
));

dt << New Column("ColIQR_height", Numeric, Continuous, Formula(
	Col Quantile(:height, 0.75, :sex, Excluded()) - Col Quantile(:height, 0.25, :sex, Excluded())
));

dt << New Column("ColStandardize_height", Numeric, Continuous, Formula(
	Col Standardize(:height, :sex, Excluded())
));

// Example https://scikit-learn.org/stable/modules/generated/sklearn.preprocessing.RobustScaler.html
// using IQR here, but might be good idea to be able to change the quantiles (default to IQR)
dt << New Column("ColStandardizeRobust_height", Numeric, Continuous, Formula(
	(:height - Col Median(:height, :sex, Excluded())) / :ColIQR_height
));

// https://en.wikipedia.org/wiki/Feature_scaling#Rescaling_(min-max_normalization)
dt << New Column("ColNormalize_01", Numeric, Continuous, Formula(	
	0 + (:height - Col Min(:height, :sex, Excluded())) / (Col Max(:height, :sex, Excluded()) - Col Min(:height, :sex, Excluded()))
));

dt << New Column("ColNormalize_11", Numeric, Continuous, Formula(
	-1+(:height - Col Mean(:height, :sex, Excluded()))*(1-(-1)) / (Col Max(:height, :sex, Excluded()) - Col Min(:height, :sex, Excluded()))
));

dt << New Column("ColNormalize_limits", Numeric, Continuous, Formula(
	ColMin(:LSL, :sex)+(:height - Col Mean(:height, :sex, Excluded()))*(ColMax(:USL, :sex)-(ColMin(:LSL, :sex))) / (Col Max(:height, :sex, Excluded()) - Col Min(:height, :sex, Excluded()))
));

// maybe even Robust Sigma, divider would default to 1.35
// http://www.aecouncil.com/Documents/AEC_Q001_Rev_D.pdf 
// and robust limits, sigma multiplier defaulting to 6

Modélisation statistique avancéeMélange et nettoyage des donnéesRe : Ajouter une normalisation et des fonctions statistiques robustes (et des fonctions matricielles)

Une autre agrégation qui est déjà disponible dans le menu Résumé du tableau, mais pas en tant que Col ... La formule est l'écart absolu médian (MAD) :

https://en.wikipedia.org/wiki/Median_absolute_deviation

Re : Ajouter une normalisation et des fonctions statistiques robustes (et des fonctions matricielles)

Le sigma robuste a déjà été demandé il y a quelques années :
https://community.jmp.com/t5/JMP-Wish-List/Robust-Means-and-Standard-Deviation-functions-in-JSL-and-Formula/idc-p/582855 (octobre 2024 : 17 kudos)

Re : Ajouter des fonctions statistiques robustes et de normalisation (et des fonctions matricielles) – Statut changé en : EnquêteRe : Ajouter des fonctions de normalisation et des fonctions statistiques robustes (et des fonctions de matrice) - Statut changé en : ReconnuRe : Ajouter des fonctions de normalisation et des fonctions statistiques robustes (et des fonctions matricielles)

Merci pour la liste d'exemples précis.Nous pourrions prendre cela en considération pour une future version.  

Re : Ajouter une normalisation et des fonctions statistiques robustes (et des fonctions matricielles)

incroyable : la quantité de fonctions d'agrégation pour les statistiques d'en-tête !

nominal:

continu:

Re : Ajouter une normalisation et des fonctions statistiques robustes (et des fonctions matricielles)

souhaits associés :
Col N Catégories (Octobre 2024 : 15 Kudos)

Ajoutez un classement dense aux fonctions de classement à égalité et de rang de colonel (octobre 2024 : 9 Kudos)

Re : Ajouter une normalisation et des fonctions statistiques robustes (et des fonctions matricielles)

-

Re : Ajout de fonctions statistiques de normalisation et robustes (et fonctions matricielles) - Statut modifié en : ReconnuRe : Ajouter une normalisation et des fonctions statistiques robustes (et des fonctions matricielles)

+ Inclinaison du col

(peut-être aussi ajouter Skewness aux tableaux/résumés et Analyser/Tabuler ?)