504984_it-IT

liliconcom

Aggiungi normalizzazione e funzioni statistiche robuste (e funzioni di matrice)

Aggiungi nuove funzioni statistiche Col:

• Col IQR ("deviazione standard robusta")
• Col Standardize Robust (usa la mediana invece della media e l'intervallo dei quantili invece della deviazione standard, per impostazione predefinita IQR)
  • sklearn.preprocessing.RobustScaler — documentazione di scikit-learn 1.1.1
  • Potrebbe anche essere aggiunto alla funzione Col Standardize esistente come argomento
• Col Normalizza
  • Normalizza tra intervallo (da 0 a 1, da -1 a 1 e basato su colonne limite)
  • Ridimensionamento delle funzionalità - Wikipedia
• Non così importante: Col Robust Sigma (divisore predefinito a 1,35) e Col Robust Limit (moltiplicatore sigma predefinito a 6 e argomento per scegliere inferiore/superiore)
  • http://www.aecouncil.com/Documents/AEC_Q001_Rev_D.pdf

Aggiungi anche il maggior numero possibile di queste operazioni alle operazioni Matrix se mancano.

 

La maggior parte di questi potrebbe già essere implementata abbastanza facilmente utilizzando le funzioni statistiche esistenti, ma preferirei di gran lunga averle come funzionalità normali in JMP (l'implementazione nativa potrebbe anche essere più veloce?). A mio parere, queste sono funzioni molto utili e potenti (come tutte le altre funzioni di Statistical Col).

Funzioni di esempio (potrebbero includere errori):

Visualizza di più...

Names Default To Here(1);
dt = Open("$SAMPLE_DATA/Big Class.jmp");

// add outlier for M
dt << Add Rows({name = "OUTLIER", age = 1, sex = "M", height = 500, weight = 500});

// add limits
dt << New Column("LSL", Numeric, Continuous, << Set Each Value(50));
dt << New Column("USL", Numeric, Continuous, << Set Each Value(60));

dt << New Column("ColMean_height", Numeric, Continuous, Formula(
 Col Mean(:height, :sex, Excluded())
));
dt << New Column("ColMedian_height", Numeric, Continuous, Formula(
 Col Median(:height, :sex, Excluded())
));

dt << New Column("ColStdDev_height", Numeric, Continuous, Formula(
 Col Std Dev(:height, :sex, Excluded())
));

dt << New Column("ColIQR_height", Numeric, Continuous, Formula(
 Col Quantile(:height, 0.75, :sex, Excluded()) - Col Quantile(:height, 0.25, :sex, Excluded())
));

dt << New Column("ColStandardize_height", Numeric, Continuous, Formula(
 Col Standardize(:height, :sex, Excluded())
));

// Example https://scikit-learn.org/stable/modules/generated/sklearn.preprocessing.RobustScaler.html
// using IQR here, but might be good idea to be able to change the quantiles (default to IQR)
dt << New Column("ColStandardizeRobust_height", Numeric, Continuous, Formula(
 (:height - Col Median(:height, :sex, Excluded())) / :ColIQR_height
));

// https://en.wikipedia.org/wiki/Feature_scaling#Rescaling_(min-max_normalization)
dt << New Column("ColNormalize_01", Numeric, Continuous, Formula( 
 0 + (:height - Col Min(:height, :sex, Excluded())) / (Col Max(:height, :sex, Excluded()) - Col Min(:height, :sex, Excluded()))
));

dt << New Column("ColNormalize_11", Numeric, Continuous, Formula(
 -1+(:height - Col Mean(:height, :sex, Excluded()))*(1-(-1)) / (Col Max(:height, :sex, Excluded()) - Col Min(:height, :sex, Excluded()))
));

dt << New Column("ColNormalize_limits", Numeric, Continuous, Formula(
 ColMin(:LSL, :sex)+(:height - Col Mean(:height, :sex, Excluded()))*(ColMax(:USL, :sex)-(ColMin(:LSL, :sex))) / (Col Max(:height, :sex, Excluded()) - Col Min(:height, :sex, Excluded()))
));

// maybe even Robust Sigma, divider would default to 1.35
// http://www.aecouncil.com/Documents/AEC_Q001_Rev_D.pdf 
// and robust limits, sigma multiplier defaulting to 6

Modellazione statistica avanzataCombinazione e pulizia dei datiSceneggiaturaStatistiche e analisi