504984_de-DE

liliconcom

Normalisierung und robuste statistische Funktionen (und Matrixfunktionen) hinzufügen

Neue Col-Statistikfunktionen hinzufügen:

• Col IQR („robuste Standardabweichung“)
• Col Standardize Robust (Median statt Mittelwert und Quantilbereich statt Standardabweichung verwenden, standardmäßig IQR verwenden)
  • sklearn.preprocessing.RobustScaler – scikit-learn 1.1.1 Dokumentation
  • Könnte auch als Argument zur vorhandenen Col Standardize-Funktion hinzugefügt werden
• Spalte Normalisieren
  • Normalisierung zwischen Bereich (0 bis 1, -1 bis 1 und basierend auf Grenzwertspalten)
  • Feature-Skalierung – Wikipedia
• Nicht so wichtig: Col Robust Sigma (Standarddivisor auf 1,35) und Col Robust Limit (Standard-Sigma-Multiplikator auf 6 und Argument zur Auswahl von niedriger/oben)
  • http://www.aecouncil.com/Documents/AEC_Q001_Rev_D.pdf

Fügen Sie auch so viele davon wie möglich zu Matrixoperationen hinzu, wenn sie fehlen.

Die meisten davon ließen sich bereits relativ einfach mithilfe bestehender Statistikfunktionen implementieren, aber ich hätte sie viel lieber als normale Funktionalität in JMP (die native Implementierung könnte auch schneller sein?). Meiner Meinung nach sind dies sehr nützliche und leistungsstarke Funktionen (wie auch alle anderen statistischen Col-Funktionen).

Beispielfunktionen (können Fehler enthalten):

Mehr sehen...

Names Default To Here(1);
dt = Open("$SAMPLE_DATA/Big Class.jmp");

// add outlier for M
dt << Add Rows({name = "OUTLIER", age = 1, sex = "M", height = 500, weight = 500});

// add limits
dt << New Column("LSL", Numeric, Continuous, << Set Each Value(50));
dt << New Column("USL", Numeric, Continuous, << Set Each Value(60));

dt << New Column("ColMean_height", Numeric, Continuous, Formula(
	Col Mean(:height, :sex, Excluded())
));
dt << New Column("ColMedian_height", Numeric, Continuous, Formula(
	Col Median(:height, :sex, Excluded())
));

dt << New Column("ColStdDev_height", Numeric, Continuous, Formula(
	Col Std Dev(:height, :sex, Excluded())
));

dt << New Column("ColIQR_height", Numeric, Continuous, Formula(
	Col Quantile(:height, 0.75, :sex, Excluded()) - Col Quantile(:height, 0.25, :sex, Excluded())
));

dt << New Column("ColStandardize_height", Numeric, Continuous, Formula(
	Col Standardize(:height, :sex, Excluded())
));

// Example https://scikit-learn.org/stable/modules/generated/sklearn.preprocessing.RobustScaler.html
// using IQR here, but might be good idea to be able to change the quantiles (default to IQR)
dt << New Column("ColStandardizeRobust_height", Numeric, Continuous, Formula(
	(:height - Col Median(:height, :sex, Excluded())) / :ColIQR_height
));

// https://en.wikipedia.org/wiki/Feature_scaling#Rescaling_(min-max_normalization)
dt << New Column("ColNormalize_01", Numeric, Continuous, Formula(	
	0 + (:height - Col Min(:height, :sex, Excluded())) / (Col Max(:height, :sex, Excluded()) - Col Min(:height, :sex, Excluded()))
));

dt << New Column("ColNormalize_11", Numeric, Continuous, Formula(
	-1+(:height - Col Mean(:height, :sex, Excluded()))*(1-(-1)) / (Col Max(:height, :sex, Excluded()) - Col Min(:height, :sex, Excluded()))
));

dt << New Column("ColNormalize_limits", Numeric, Continuous, Formula(
	ColMin(:LSL, :sex)+(:height - Col Mean(:height, :sex, Excluded()))*(ColMax(:USL, :sex)-(ColMin(:LSL, :sex))) / (Col Max(:height, :sex, Excluded()) - Col Min(:height, :sex, Excluded()))
));

// maybe even Robust Sigma, divider would default to 1.35
// http://www.aecouncil.com/Documents/AEC_Q001_Rev_D.pdf 
// and robust limits, sigma multiplier defaulting to 6

Erweiterte statistische ModellierungDatenmischung und -bereinigungBetreff: Normalisierung und robuste statistische Funktionen (und Matrixfunktionen) hinzufügen

Eine weitere Aggregation, die bereits im Menü „Tabellenzusammenfassung“ verfügbar ist, jedoch nicht als Spalte ... Die Formel lautet „Median Absolute Deviation“ (MAD) :

https://en.wikipedia.org/wiki/Median_absolute_Abweichung

Betreff: Normalisierung und robuste statistische Funktionen (und Matrixfunktionen) hinzufügen

Robustes Sigma wurde bereits vor einigen Jahren gefordert:
https://community.jmp.com/t5/JMP-Wish-List/Robust-Means-and-Standard-Deviation-functions-in-JSL-and-Formula/idc-p/582855 (Oktober 2024: 17 Kudos)

Betreff: Normalisierung und robuste statistische Funktionen (und Matrixfunktionen) hinzufügen – Status geändert in: UntersuchenBetreff: Normalisierung und robuste statistische Funktionen (und Matrixfunktionen) hinzufügen – Status geändert in: BestätigtBetreff: Normalisierung und robuste statistische Funktionen (und Matrixfunktionen) hinzufügen

Vielen Dank für die Liste konkreter Beispiele.Möglicherweise berücksichtigen wir dies für eine zukünftige Version.  

Betreff: Normalisierung und robuste statistische Funktionen (und Matrixfunktionen) hinzufügen

erstaunlich: die Menge an Aggregatfunktionen für Header-Statistiken!

nominal:

kontinuierlich:

Betreff: Normalisierung und robuste statistische Funktionen (und Matrixfunktionen) hinzufügen

Verwandte Wünsche:
Spalte N Kategorien (Oktober 2024: 15 Kudos)

Dichtes Ranking zu den Funktionen „Ranking Tie“ und „Col Rank“ hinzufügen (Oktober 2024: 9 Kudos)

Betreff: Normalisierung und robuste statistische Funktionen (und Matrixfunktionen) hinzufügen

-

Betreff: Normalisierung und robuste statistische Funktionen (und Matrixfunktionen) hinzufügen – Status geändert in: BestätigtBetreff: Normalisierung und robuste statistische Funktionen (und Matrixfunktionen) hinzufügen

+ Spaltenschiefe

(Vielleicht auch Schiefe zu Tabellen/Zusammenfassungen und Analysieren/Tabulieren hinzufügen?)