Question FDE - Pourquoi charger la cible avant le prétraitement ?Salut tout le monde,
Un client est très satisfait de l'EDF, mais un point le tracasse : pourquoi ne peut-il pas appliquer les étapes de prétraitement à la fonction cible ? Ou pourquoi est-il nécessaire de charger la cible au préalable (ce qui signifie qu'elle n'est pas nettoyée) ?
La raison en est que la cible n'est pas synthétique mais constituée de données de produits réelles, et ne pas les prétraiter rend la prédiction erronée/irréaliste.
La solution consiste à prétraiter et enregistrer les données fonctionnelles, puis à relancer et modéliser celles-ci. Cependant, ces étapes supplémentaires complexifient le processus et il est impossible de retracer les étapes de prétraitement dans le rapport FDE final.
@RyanParker peut-être ?:)
Merci
Florian
Re : Question FDE - Pourquoi charger la cible avant le prétraitement ?Bonjour @Florian_Vogt , il s'agit probablement d'un bug lié à des étapes de prétraitement spécifiques. Quelles sont ces étapes problématiques ? Par exemple, vous devriez pouvoir charger la cible puis la standardiser pour que la fonction d'entraînement et de cible soit standardisée.
Nous devons d'abord charger la cible afin qu'elle puisse être traitée comme des données de type validation lors des étapes de prétraitement (par exemple, seules les données d'apprentissage sont utilisées, puis appliquées aux données de type validation). Dans ce cas, le ou les bugs limitent la capacité à effectuer cette opération.
La solution consisterait à appliquer toutes les étapes de prétraitement, à appeler la fonction Enregistrer les données depuis le RTM de niveau supérieur, puis à recharger le FDE avec toutes les données prétraitées, puis à charger la cible. Il serait toutefois utile de savoir quels éléments posent problème.
Re : Question FDE - Pourquoi charger la cible avant le prétraitement ?@RyanParker : toute option de filtre X ou d'alignement peut entraîner ce problème, et je ne m'étonnerais pas non plus d'éventuels ajustements spectraux. Globalement, dès que vous n'utilisez pas toutes les données ou ne les transformez pas autrement que pour les normaliser, je suppose.
Par exemple, vous devriez pouvoir charger la cible puis la standardiser pour que la fonction formation + cible soit standardisée.
Il semble que les étapes de prétraitement soient également appliquées à la fonction cible. Cependant, j'imagine que l'on souhaite aligner au maximum la fonction cible et éliminer les régions non importantes par rapport à la cible.
Pour que la fonction cible ne soit qu'un contrôle visuel, une alternative serait d'afficher une fonction cible ombrée, afin de voir immédiatement si les étapes de prétraitement sont pertinentes. Cependant, mon workflow préférerait que les étapes de prétraitement, comme l'alignement, soient ajustées à la référence (cible).
Re : Question FDE - Pourquoi charger la cible avant le prétraitement ?Merci @martindemel , c'est utile ! Outre l'absence totale de prétraitement des fonctions cibles, pourriez-vous fournir une liste des étapes de prétraitement pour lesquelles vous souhaiteriez voir des options de référence pour les fonctions cibles ? Ce serait une nouvelle fonctionnalité à travailler, et je souhaite m'assurer que nous la gérons correctement.
Par exemple, quelles opérations d'alignement sont particulièrement pertinentes pour utiliser la cible comme référence ? Et comment envisagez-vous leur fonctionnement côté utilisateur ?
Re : Question FDE - Pourquoi charger la cible avant le prétraitement ?merci pour la réponse @RyanParker et @martindemel .
Sans avoir testé toutes les options de prétraitement, il semble que par définition la cible ne puisse pas être chargée une fois le prétraitement effectué :
(mon exemple)
Le problème que cela pose au client est que la cible est également constituée de données d'échantillon « réelles » :
(exemple client)
Et s'ils ne prétraitent pas également la cible, le bouton du profileur FDOE « Optimiser la cible » est inutile :
(exemple client)
Il semble donc qu'ils n'effectuent pas de prétraitement une fois la cible chargée. Voici les étapes suivies dans l'exemple ci-dessus :
(exemple client)
Oui, leur solution de contournement actuelle consiste à prétraiter tout, à enregistrer les données, à relancer FDE et la cible de chargement et à effectuer l'analyse FDOE.
Voilà ce qu'est la douleur :
- les étapes supplémentaires augmentent l'obstacle à son utilisation
- ils créent une nouvelle table de données (alors que la table initiale contient déjà des analyses, etc.)
- ils ne peuvent pas capturer les étapes de prétraitement effectuées pour une analyse FDOE donnée (reproductibilité et documentation).
J'espère que cela a plus de sens:)
Re : Question FDE - Pourquoi charger la cible avant le prétraitement ?Edit : ce sera probablement "Supprimer la sélection", car la fonction cible disparaît une fois chargée et donc les points ne peuvent pas être sélectionnés ?
Re : Question FDE - Pourquoi charger la cible avant le prétraitement ?OK, oui, la suppression de la sélection ne semble pas respecter la fonction cible ! Merci pour votre message, nous allons corriger le problème.
Re : Question FDE - Pourquoi charger la cible avant le prétraitement ?J'essaie d'être aussi complet que possible :
1. Si vous avez un pic majeur intéressant, vous pouvez utiliser « aligner max »/« aligner min ». Par exemple, le pic majeur peut se déplacer en raison de décalages temporels, car le processus est plus lent/rapide que celui de la cible. De même, DTW avec la possibilité de sélectionner la fonction cible serait utile.
2. Supprimer la sélection est certainement intéressante
Je ne sais pas si les transformations seront déjà appliquées automatiquement (je suppose que oui). Idem pour SVN… Je suppose que ce n'est rien, je souhaiterais que la fonction cible soit également transformée.
Avoir la fonction cible superposée peut être utile si :
1. Pour les spectres, vous souhaiterez peut-être superposer la fonction cible pour voir si la correction de la ligne de base doit être effectuée ou si la correction de la ligne de base sélectionnée est suffisamment appropriée
2. Pour sélectionner les points que vous ne souhaitez pas avoir dans les données (supprimer la sélection, voir 2. ci-dessus)
