504984_fr-FR

liliconcom

Ajouter une normalisation et des fonctions statistiques robustes (et des fonctions matricielles)

Ajouter de nouvelles fonctions statistiques Col :

• Col IQR ("écart-type robuste")
• Col Standardize Robust (utiliser la médiane au lieu de la moyenne et la plage quantile au lieu de l'écart type, par défaut sur IQR)
  • sklearn.preprocessing.RobustScaler — documentation scikit-learn 1.1.1
  • Pourrait également être ajouté à la fonction Col Standardize existante en tant qu'argument
• Col Normaliser
  • Normaliser entre la plage (0 à 1, -1 à 1 et basé sur les colonnes de limite)
  • Mise à l'échelle des fonctionnalités - Wikipédia
• Pas aussi important : Col Robust Sigma (diviseur par défaut à 1,35) et Col Robust Limit (multiplicateur sigma par défaut à 6 et argument pour choisir inférieur/supérieur)
  • http://www.aecouncil.com/Documents/AEC_Q001_Rev_D.pdf

Ajoutez également autant de ces éléments que possible aux opérations Matrix s'ils manquent.

 

La plupart d'entre eux pourraient déjà être implémentés assez facilement en utilisant des fonctions statistiques existantes, mais je préférerais de loin les avoir comme fonctionnalité normale dans JMP (l'implémentation native pourrait également être plus rapide ?). À mon avis, ce sont des fonctions très utiles et puissantes (comme toutes les autres fonctions de Col statistique).

Exemples de fonctions (peuvent contenir des erreurs) :

Voir plus...

Names Default To Here(1);
dt = Open("$SAMPLE_DATA/Big Class.jmp");

// add outlier for M
dt << Add Rows({name = "OUTLIER", age = 1, sex = "M", height = 500, weight = 500});

// add limits
dt << New Column("LSL", Numeric, Continuous, << Set Each Value(50));
dt << New Column("USL", Numeric, Continuous, << Set Each Value(60));

dt << New Column("ColMean_height", Numeric, Continuous, Formula(
 Col Mean(:height, :sex, Excluded())
));
dt << New Column("ColMedian_height", Numeric, Continuous, Formula(
 Col Median(:height, :sex, Excluded())
));

dt << New Column("ColStdDev_height", Numeric, Continuous, Formula(
 Col Std Dev(:height, :sex, Excluded())
));

dt << New Column("ColIQR_height", Numeric, Continuous, Formula(
 Col Quantile(:height, 0.75, :sex, Excluded()) - Col Quantile(:height, 0.25, :sex, Excluded())
));

dt << New Column("ColStandardize_height", Numeric, Continuous, Formula(
 Col Standardize(:height, :sex, Excluded())
));

// Example https://scikit-learn.org/stable/modules/generated/sklearn.preprocessing.RobustScaler.html
// using IQR here, but might be good idea to be able to change the quantiles (default to IQR)
dt << New Column("ColStandardizeRobust_height", Numeric, Continuous, Formula(
 (:height - Col Median(:height, :sex, Excluded())) / :ColIQR_height
));

// https://en.wikipedia.org/wiki/Feature_scaling#Rescaling_(min-max_normalization)
dt << New Column("ColNormalize_01", Numeric, Continuous, Formula( 
 0 + (:height - Col Min(:height, :sex, Excluded())) / (Col Max(:height, :sex, Excluded()) - Col Min(:height, :sex, Excluded()))
));

dt << New Column("ColNormalize_11", Numeric, Continuous, Formula(
 -1+(:height - Col Mean(:height, :sex, Excluded()))*(1-(-1)) / (Col Max(:height, :sex, Excluded()) - Col Min(:height, :sex, Excluded()))
));

dt << New Column("ColNormalize_limits", Numeric, Continuous, Formula(
 ColMin(:LSL, :sex)+(:height - Col Mean(:height, :sex, Excluded()))*(ColMax(:USL, :sex)-(ColMin(:LSL, :sex))) / (Col Max(:height, :sex, Excluded()) - Col Min(:height, :sex, Excluded()))
));

// maybe even Robust Sigma, divider would default to 1.35
// http://www.aecouncil.com/Documents/AEC_Q001_Rev_D.pdf 
// and robust limits, sigma multiplier defaulting to 6

Modélisation statistique avancéeFusion et nettoyage des donnéesScriptStatistiques et analyses