approche de détection des valeurs aberrantes - itérative 3 sigmaQu'est-ce qui a inspiré cette demande de liste de souhaits ?
L'objectif est de filtrer les données et de supprimer les valeurs aberrantes afin de mettre de côté les wafers présentant de nombreux défauts et d'identifier le standard. les données suivent une distribution de Poisson
Veuillez décrire la fonctionnalité ou la solution nouvelle ou améliorée que vous aimeriez voir.
ils souhaiteraient détecter les valeurs aberrantes en utilisant une approche itérative des 3 sigmas.
cela signifie:
- Mesurer la moyenne et l’écart type des échantillons.
- Supprimer les échantillons supérieurs à la moyenne plus 3 écarts types.
- Répétez à partir de l’étape 1 – pour un total de 3 fois.
Quelle serait la valeur ajoutée pour vous et/ou pour les autres utilisateurs si cette nouvelle fonctionnalité était fournie ?
S'agit-il d'une demande d'un client externe ?
STMicroelectronics - Crolles
Existe-t-il un progiciel concurrent doté de cette fonctionnalité ou de cette solution dont nous devrions être conscients ?
Je ne sais pas
Cela aura-t-il un impact sur un renouvellement, une expansion ou une adoption chez un client, et cela met-il un compte en danger si nous ne réglons pas ce problème ?
ELA en cours chez STMicroelectronics
Fusion et nettoyage des donnéesRe: approche de détection des valeurs aberrantes - 3 sigma itératifSalut @flo_kuster ,
Est-ce que quelque chose comme ce qui suit pourrait être adapté aux besoins du client entre-temps ? Il s'agit d'un seul passage pour un écart type défini à l'aide de la fonction std dev() dans JSL.
/*
This script was created by:
Chris Kirchberg, Principal Systems Engineer, JMP Statistical Discovery, LLC
Sam Garnder, Sr. Product Manager, JMP Statistical Discovery, LLC
Date: 2023-10-24
It is intended to show how one can filter/group/screen through thousands of columns in a wide data set to
help reduce a data set to useful or functional features/columns for further modeling/testing.
!!!!!!It was not evaluated by any QC/QA methods or departments. Please use at your own risk.!!!!!
Please modify per needs of the data/project
*/
Names Default To Here( 1 );
zProp = 0.1;
dt = Current Data Table();
w = New Window( "Select Standard Deviation Limit",
<<MODAL>= pctdone,
tb << set text( "Checking Column " || Char( i ) || " of " || Char( N Items( selcols ) ) || " selected columns" );
pctdone += pctinc;
Wait( 0 );
);
v = Column( dt, selcols[i] ) << get values;
If( std dev( v ) <= zProp,
Insert Into( collist, Column( dt, selcols[i] ) ),
Insert Into( notcollist, Column( dt, selcols[i] ) )
);
);
For( i = 1, i <= N Items( cbsellist ), i++,
Match( cbsellist[i],
1,
// group acceptable
tb << set text( "grouping acceptable columns" );
Wait( 0 );
dt << group columns( "acceptable cols", notcollist );
dt << clear column selection();
dt << select column group( "acceptable cols" );
dt << move selected columns( to last );
dt << clear column selection();
tb << set text( "" );
Wait( 0 );,
2,
// group unacceptable
tb << set text( "grouping unacceptable columns" );
Wait( 0 );
dt << group columns( "unacceptable columns", collist );
dt << clear column selection();
dt << select column group( "unacceptable columns" );
dt << move selected columns( to last );
dt << clear column selection();
tb << set text( "" );
Wait( 0 );,
3,
// hide and exclude
tb << set text( "hiding and excluding unacceptable columns" );
dt << clear column selection();
dt << Select Columns( collist );
Wait( 0 );
If(
Host is( "Mac" ),
Main Menu( "Cols:Hide/Unhide" );
Main Menu( "Cols:Exclude/Unexclude" );,
Host is( "Windows" ),
mainmenu( "Cols:Hide/Unhide" );
mainmenu( "Cols:Exclude/Unexclude" );
);
dt << clear column selection();
tb << set text( "" );
Wait( 0 );
)
);
),
Button Box( "Cancel" )
)
)
)
)
)
);</MODAL>
Re: approche de détection des valeurs aberrantes - itératif 3 sigma - Statut modifié en : Reconnu
