797797_es-ES

liliconcom

Enfoque de detección de valores atípicos: iterativo 3 sigma

¿Qué inspiró esta solicitud de lista de deseos?

El objetivo es filtrar los datos y eliminar los valores atípicos para dejar de lado las obleas con muchos defectos e identificar el estándar. Los datos siguen una distribución de Poisson.

Describa la característica o solución nueva o mejorada que le gustaría ver.

Quisieran detectar valores atípicos mediante el uso de un enfoque iterativo de 3 sigmas.

significa:

1. Medir la media y la desviación estándar de las muestras.
2. Eliminar muestras con valores superiores a la media más 3 desviaciones estándar.
3. Repita desde el paso 1, un total de 3 veces.

¿Qué valor tendría para usted y/o para otros usuarios ofrecer esta nueva función?

¿Es esta una solicitud de un cliente externo?

STMicroelectronics - Crolles

¿Existe algún paquete de software competitivo que tenga esta característica o solución y que debamos conocer?

No lo sé

¿Esto afectará una renovación, expansión o adopción por parte de un cliente? ¿Pone en riesgo una cuenta si no abordamos este problema?

ELA en curso en STMicroelectronics

Combinación y limpieza de datosRe: Enfoque de detección de valores atípicos: iterativo 3 sigma

Hola @flo_kuster ,

¿Algo como lo que se muestra a continuación podría adaptarse a las necesidades del cliente mientras tanto? Es solo una pasada única para una desviación estándar definida utilizando la función std dev() en JSL.

/*
This script was created by:
Chris Kirchberg, Principal Systems Engineer, JMP Statistical Discovery, LLC
Sam Garnder, Sr. Product Manager, JMP Statistical Discovery, LLC

Date: 2023-10-24

It is intended to show how one can filter/group/screen through thousands of columns in a wide data set to 
help reduce a data set to useful or functional features/columns for further modeling/testing.

!!!!!!It was not evaluated by any QC/QA methods or departments. Please use at your own risk.!!!!!

Please modify per needs of the data/project
*/

Names Default To Here( 1 );
zProp = 0.1;
dt = Current Data Table();
w = New Window( "Select Standard Deviation Limit",
	<<MODAL>= pctdone,
									tb << set text( "Checking Column " || Char( i ) || " of " || Char( N Items( selcols ) ) || " selected columns" );
									pctdone += pctinc;
									Wait( 0 );
								);
								v = Column( dt, selcols[i] ) << get values;
								If( std dev( v ) <= zProp,
									Insert Into( collist, Column( dt, selcols[i] ) ),
									Insert Into( notcollist, Column( dt, selcols[i] ) )
								);
							);
							For( i = 1, i <= N Items( cbsellist ), i++,
								Match( cbsellist[i],
									1, 
									// group acceptable
										tb << set text( "grouping acceptable columns" );
										Wait( 0 );
										dt << group columns( "acceptable cols", notcollist );
										dt << clear column selection();
										dt << select column group( "acceptable cols" );
										dt << move selected columns( to last );
										dt << clear column selection();
										tb << set text( "" );
										Wait( 0 );,
									2, 
									// group unacceptable
										tb << set text( "grouping unacceptable columns" );
										Wait( 0 );
										dt << group columns( "unacceptable columns", collist );
										dt << clear column selection();
										dt << select column group( "unacceptable columns" );
										dt << move selected columns( to last );
										dt << clear column selection();
										tb << set text( "" );
										Wait( 0 );,
									3, 
									// hide and exclude
										tb << set text( "hiding and excluding unacceptable columns" );
										dt << clear column selection();
										dt << Select Columns( collist );
										Wait( 0 );
										If(
											Host is( "Mac" ),
												Main Menu( "Cols:Hide/Unhide" );
												Main Menu( "Cols:Exclude/Unexclude" );, 
											
											Host is( "Windows" ),
												mainmenu( "Cols:Hide/Unhide" );
												mainmenu( "Cols:Exclude/Unexclude" );
										);
										dt << clear column selection();
										tb << set text( "" );
										Wait( 0 );
								)
							);
						),
						Button Box( "Cancel" )
					)
				)
			)
		)
	)
);</MODAL>

Re: método de detección de valores atípicos - iterativo 3 sigma - Estado cambiado a: Reconocido