504984_es-ES

liliconcom

Re: Agregar normalización y funciones estadísticas robustas (y funciones matriciales)

Gracias por la lista de ejemplos específicos.Es posible que tengamos esto en consideración para una versión futura.  

Re: Agregar normalización y funciones estadísticas robustas (y funciones de matriz) - Estado cambiado a: ReconocidoRe: Agregar normalización y funciones estadísticas robustas (y funciones de matriz) - Estado cambiado a: InvestigandoAgregue normalización y funciones estadísticas sólidas (y funciones matriciales)

Agregue nuevas funciones estadísticas de Col:

• Col IQR ("desviación estándar robusta")
• Col estandarizar robusto (use mediana en lugar de media y rango de cuantiles en lugar de desviación estándar, por defecto IQR)
  • sklearn.preprocessing.RobustScaler — documentación de scikit-learn 1.1.1
  • También podría agregarse a la función Col Standardize existente como argumento
• Normalizar columna
  • Normalizar entre rangos (0 a 1, -1 a 1 y según columnas límite)
  • Escalado de características - Wikipedia
• No tan importante: Col Robust Sigma (divisor predeterminado de 1,35) y Col Robust Limit (multiplicador de sigma predeterminado de 6 y argumento para elegir inferior/superior)
  • http://www.aecouncil.com/Documents/AEC_Q001_Rev_D.pdf

También agregue tantos de estos como sea posible a las operaciones Matrix si faltan.

La mayoría de estos ya podrían implementarse con bastante facilidad mediante el uso de funciones estadísticas existentes, pero preferiría tenerlas como funcionalidad normal en JMP (¿la implementación nativa también podría ser más rápida?). En mi opinión, estas son funciones muy útiles y poderosas (como lo son todas las demás funciones de Statistical Col).

Funciones de ejemplo (pueden incluir errores):

Ver más...

Names Default To Here(1);
dt = Open("$SAMPLE_DATA/Big Class.jmp");

// add outlier for M
dt << Add Rows({name = "OUTLIER", age = 1, sex = "M", height = 500, weight = 500});

// add limits
dt << New Column("LSL", Numeric, Continuous, << Set Each Value(50));
dt << New Column("USL", Numeric, Continuous, << Set Each Value(60));

dt << New Column("ColMean_height", Numeric, Continuous, Formula(
	Col Mean(:height, :sex, Excluded())
));
dt << New Column("ColMedian_height", Numeric, Continuous, Formula(
	Col Median(:height, :sex, Excluded())
));

dt << New Column("ColStdDev_height", Numeric, Continuous, Formula(
	Col Std Dev(:height, :sex, Excluded())
));

dt << New Column("ColIQR_height", Numeric, Continuous, Formula(
	Col Quantile(:height, 0.75, :sex, Excluded()) - Col Quantile(:height, 0.25, :sex, Excluded())
));

dt << New Column("ColStandardize_height", Numeric, Continuous, Formula(
	Col Standardize(:height, :sex, Excluded())
));

// Example https://scikit-learn.org/stable/modules/generated/sklearn.preprocessing.RobustScaler.html
// using IQR here, but might be good idea to be able to change the quantiles (default to IQR)
dt << New Column("ColStandardizeRobust_height", Numeric, Continuous, Formula(
	(:height - Col Median(:height, :sex, Excluded())) / :ColIQR_height
));

// https://en.wikipedia.org/wiki/Feature_scaling#Rescaling_(min-max_normalization)
dt << New Column("ColNormalize_01", Numeric, Continuous, Formula(	
	0 + (:height - Col Min(:height, :sex, Excluded())) / (Col Max(:height, :sex, Excluded()) - Col Min(:height, :sex, Excluded()))
));

dt << New Column("ColNormalize_11", Numeric, Continuous, Formula(
	-1+(:height - Col Mean(:height, :sex, Excluded()))*(1-(-1)) / (Col Max(:height, :sex, Excluded()) - Col Min(:height, :sex, Excluded()))
));

dt << New Column("ColNormalize_limits", Numeric, Continuous, Formula(
	ColMin(:LSL, :sex)+(:height - Col Mean(:height, :sex, Excluded()))*(ColMax(:USL, :sex)-(ColMin(:LSL, :sex))) / (Col Max(:height, :sex, Excluded()) - Col Min(:height, :sex, Excluded()))
));

// maybe even Robust Sigma, divider would default to 1.35
// http://www.aecouncil.com/Documents/AEC_Q001_Rev_D.pdf 
// and robust limits, sigma multiplier defaulting to 6

Modelado estadístico avanzadoCombinación y limpieza de datosRe: Agregar normalización y funciones estadísticas robustas (y funciones matriciales)

La sigma robusta ya fue solicitada hace algunos años:
https://community.jmp.com/t5/JMP-Wish-List/Robust-Means-and-Standard-Deviation-functions-in-JSL-and-Formula/idc-p/582855 (octubre de 2024: 17 elogios)

Re: Agregar normalización y funciones estadísticas robustas (y funciones matriciales)

Otra agregación que ya está disponible en el menú Resumen de la tabla, pero no como una fórmula de columna es la Desviación Absoluta Mediana (MAD) :

https://en.wikipedia.org/wiki/Median_absolute_deviation

Re: Agregar normalización y funciones estadísticas robustas (y funciones matriciales)

Increíble: ¡la cantidad de funciones de agregación para las estadísticas de encabezado!

nominal:

continuo:

Re: Agregar normalización y funciones estadísticas robustas (y funciones matriciales)

Deseos relacionados:
Categorías del coronel N (octubre de 2024: 15 elogios)

Agregar clasificación densa a las funciones Ranking Tie y Col Rank (octubre de 2024: 9 Kudos)

Re: Agregar normalización y funciones estadísticas robustas (y funciones matriciales)

-

Re: Agregar normalización y funciones estadísticas robustas (y funciones matriciales) - Estado cambiado a: ReconocidoRe: Agregar normalización y funciones estadísticas robustas (y funciones matriciales)

+ Asimetría de columna

(¿Quizás también se pueda agregar Asimetría a Tablas/Resumen y Analizar/Tabular?)