Règles d'agrégation de données ou bonnes pratiques ? !Salut tout le monde,
un client était sur le moyen correct ou même autorisé d'agréger les points de données. Ils ont deux applications, où cette question a été soulevée :
1. Analyse d'image pour les analyses de la qualité des produits : Ils comptent le nombre d'occasions par image. Une image n'a que très peu de résultats, ils veulent donc analyser et contrôler des paquets d'images, par exemple 50 images. Ils ont constaté que le nombre d'images qu'ils agrègent a un impact significatif sur les résultats, par exemple des cartes de contrôle.
2. Données de processus (capteurs de température, etc.). Ils sont enregistrés en quelques secondes, ce qui représente trop de données pour être analysées. Donc, encore une fois, combien ces points de données peuvent-ils être agrégés (en minutes, heures, etc.) ?
Ils essaient bien sûr de décider de manière à ne pas perdre d'informations. Mais ils voulaient savoir s'il existe un moyen systématique de calculer (peut-être) le max. agrégation? Ou peut-être les meilleures pratiques ?
Dans mon entreprise, nous avons décidé cela sur une base de projet à projet, donc je ne suis pas au courant d'une méthode systématique ou d'une meilleure pratique.
Merci pour toute aide ou suggestion !
Meilleur
Florian
Re : Règles d'agrégation de données ou bonnes pratiques ? !Il s'agit davantage des signaux qu'ils recherchent dans les données. L'agrégation est fine et précieuse, selon ce qu'ils essaient de voir.
L'exemple 1 a des analogues dans les semi-conducteurs (défauts par plaquette ou défauts par puce) ou les systèmes d'inspection optique automatisés (inspection de film pour les films photographiques, etc.). Si vous recherchez des signaux reproductibles qui apparaissent dans les mêmes régions ou qui ont tendance à former des clusters, l'agrégation vous aidera à les voir. Si les données ont beaucoup de bruit et que le signal est assez faible, l'agrégation peut noyer le signal.
L'exemple 2 a des analogues avec la spectroscopie ou d'autres données de séries chronologiques. Le plus gros problème avec l'agrégation ici est que vous feriez généralement une fenêtre d'agrégation roulante qui peut lisser les signaux plus petits. La segmentation des données de séries chronologiques (allant de la seconde à la minute ou à l'heure) se produit également, mais présente des problèmes supplémentaires - comme ce qui se passe lorsqu'un signal apparaît sur deux segments (c'est-à-dire que le signal commence à la minute 1 et se poursuit jusqu'à la minute 2 avec un maximum quelque part entre).
Dans les deux cas, je suggérerais qu'ils considèrent quel est le signal le plus petit/le plus faible qu'ils aimeraient voir, puis agrégent jusqu'à ce point.
Meilleur,
M
Re : Règles d'agrégation de données ou bonnes pratiques ? !Ajouter à @MikeD_Anderson , cette question porte sur le sous-groupement rationnel. La question fondamentale, avec la fréquence, concerne l'occurrence des causes communes et des causes spéciales. La taille du sous-groupe doit être déterminée de manière à ce qu'il soit très peu probable que des causes spéciales se produisent au sein d'un sous-groupe, mais très probablement entre des sous-groupes.
J'espère que ces conseils vous aideront.
