504984_it-IT

liliconcom

Aggiungere normalizzazione e funzioni statistiche robuste (e funzioni di matrice)

Aggiunte nuove funzioni statistiche Col:

• Col IQR ("deviazione standard robusta")
• Col Standardizza Robusto (usa la mediana invece della media e l'intervallo quantile invece della deviazione standard, impostazione predefinita su IQR)
  • sklearn.preprocessing.RobustScaler: documentazione di scikit-learn 1.1.1
  • Potrebbe anche essere aggiunto alla funzione Col Standardize esistente come argomento
• Col Normalizza
  • Normalizza tra l'intervallo (da 0 a 1, da -1 a 1 e in base alle colonne limite)
  • Ridimensionamento delle funzionalità - Wikipedia
• Non altrettanto importante: Col Robust Sigma (divisore predefinito su 1,35) e Col Robust Limit (moltiplicatore sigma predefinito su 6 e argomento per scegliere inferiore/superiore)
  • http://www.aecouncil.com/Documents/AEC_Q001_Rev_D.pdf

Aggiungi anche il maggior numero possibile di questi alle operazioni Matrix se mancano.

La maggior parte di queste potrebbe già essere implementata abbastanza facilmente utilizzando le funzioni statistiche esistenti, ma preferirei di gran lunga averle come normale funzionalità in JMP (anche l'implementazione nativa potrebbe essere più veloce?). Secondo me, queste sono funzioni molto utili e potenti (come tutte le altre funzioni di Statistical Col).

Funzioni di esempio (potrebbero includere errori):

Visualizza altro...

Names Default To Here(1);
dt = Open("$SAMPLE_DATA/Big Class.jmp");

// add outlier for M
dt << Add Rows({name = "OUTLIER", age = 1, sex = "M", height = 500, weight = 500});

// add limits
dt << New Column("LSL", Numeric, Continuous, << Set Each Value(50));
dt << New Column("USL", Numeric, Continuous, << Set Each Value(60));

dt << New Column("ColMean_height", Numeric, Continuous, Formula(
	Col Mean(:height, :sex, Excluded())
));
dt << New Column("ColMedian_height", Numeric, Continuous, Formula(
	Col Median(:height, :sex, Excluded())
));

dt << New Column("ColStdDev_height", Numeric, Continuous, Formula(
	Col Std Dev(:height, :sex, Excluded())
));

dt << New Column("ColIQR_height", Numeric, Continuous, Formula(
	Col Quantile(:height, 0.75, :sex, Excluded()) - Col Quantile(:height, 0.25, :sex, Excluded())
));

dt << New Column("ColStandardize_height", Numeric, Continuous, Formula(
	Col Standardize(:height, :sex, Excluded())
));

// Example https://scikit-learn.org/stable/modules/generated/sklearn.preprocessing.RobustScaler.html
// using IQR here, but might be good idea to be able to change the quantiles (default to IQR)
dt << New Column("ColStandardizeRobust_height", Numeric, Continuous, Formula(
	(:height - Col Median(:height, :sex, Excluded())) / :ColIQR_height
));

// https://en.wikipedia.org/wiki/Feature_scaling#Rescaling_(min-max_normalization)
dt << New Column("ColNormalize_01", Numeric, Continuous, Formula(	
	0 + (:height - Col Min(:height, :sex, Excluded())) / (Col Max(:height, :sex, Excluded()) - Col Min(:height, :sex, Excluded()))
));

dt << New Column("ColNormalize_11", Numeric, Continuous, Formula(
	-1+(:height - Col Mean(:height, :sex, Excluded()))*(1-(-1)) / (Col Max(:height, :sex, Excluded()) - Col Min(:height, :sex, Excluded()))
));

dt << New Column("ColNormalize_limits", Numeric, Continuous, Formula(
	ColMin(:LSL, :sex)+(:height - Col Mean(:height, :sex, Excluded()))*(ColMax(:USL, :sex)-(ColMin(:LSL, :sex))) / (Col Max(:height, :sex, Excluded()) - Col Min(:height, :sex, Excluded()))
));

// maybe even Robust Sigma, divider would default to 1.35
// http://www.aecouncil.com/Documents/AEC_Q001_Rev_D.pdf 
// and robust limits, sigma multiplier defaulting to 6

Modellazione statistica avanzataCombinazione e pulizia dei datiRe: Aggiungere normalizzazione e funzioni statistiche robuste (e funzioni di matrice)

Un'altra aggregazione che è già disponibile nel menu Riepilogo tabella, ma non come Col ... La formula è Deviazione assoluta mediana (MAD) :

https://en.wikipedia.org/wiki/Median_absolute_deviation

Re: Aggiungere normalizzazione e funzioni statistiche robuste (e funzioni di matrice)

il sigma robusto era già stato richiesto alcuni anni fa:
https://community.jmp.com/t5/JMP-Wish-List/Robust-Means-and-Standard-Deviation-functions-in-JSL-and-Formula/idc-p/582855 (ottobre 2024: 17 kudos)

Oggetto: Aggiungi normalizzazione e robuste funzioni statistiche (e funzioni di matrice) - Stato modificato in: IndagineRe: Aggiungi normalizzazione e robuste funzioni statistiche (e funzioni di matrice) - Stato modificato in: RiconosciutoOggetto: Aggiungi normalizzazione e robuste funzioni statistiche (e funzioni di matrice)

Grazie per l'elenco di esempi specifici.Potremmo prenderlo in considerazione per una versione futura.  

Re: Aggiungere normalizzazione e funzioni statistiche robuste (e funzioni di matrice)

Incredibile: la quantità di funzioni di aggregazione per le statistiche di intestazione!

nominale:

continuo:

Re: Aggiungere normalizzazione e funzioni statistiche robuste (e funzioni di matrice)

desideri correlati:
Categorie Col N (ottobre 2024: 15 Kudos)

Aggiungere una classifica densa alle funzioni Ranking Tie e Col Rank (ottobre 2024: 9 Kudos)

Re: Aggiungere normalizzazione e funzioni statistiche robuste (e funzioni di matrice)

-

Re: Aggiungere normalizzazione e funzioni statistiche robuste (e funzioni di matrice) - Stato modificato in: RiconosciutoRe: Aggiungere normalizzazione e funzioni statistiche robuste (e funzioni di matrice)

+ Col Skewness

(forse aggiungere anche Skewness a Tabelle/Riepilogo e Analizza/Tabula?)