Explorateur de données fonctionnelles avec colonne de validationJ'ai un ensemble de données avec 40 spectres NIR avec des lignes comme fonctions. L'ensemble de données est divisé en un ensemble d'entraînement et de validation à l'aide d'une colonne de validation de point de coupure ; les 10 dernières lignes sont des lignes de validation.
L'analyse FPCA ne fait qu'ajuster l'ensemble d'entraînement comme indiqué ci-dessous ? Comment savoir si l'ajustement de l'ensemble de validation est correct à l'aide du modèle d'entraînement ?
Aucun ajustement pour l'ensemble de validation ?
Je suppose également que le tracé de diagnostic concerne uniquement l'ensemble de formation ?
Scores FPCA : les résultats de l'ensemble de validation sont-ils calculés avec le modèle de formation ?
Merci pour votre contribution !
Modélisation statistique avancéeModélisation prédictive et apprentissage automatiqueFenêtresRé: Explorateur de données fonctionnelles avec colonne de validationEncore une fois, excellente réponse, merci Victor !
Ré: Explorateur de données fonctionnelles avec colonne de validationSalut @frankderuyck ,
Je suis d'accord, la documentation sur l'utilisation des ensembles de validation pour Functional Data Explorer est un peu confuse sur les termes et l'utilisation des ensembles : Lancez la plateforme Functional Data Explorer (jmp.com)
Il n'y a que deux ensembles possibles utilisés dans Functional Data Explorer (contrairement à d'autres algorithmes d'apprentissage automatique qui peuvent utiliser 3 ensembles : ensembles d'entraînement, de validation et de test) : ensemble d'entraînement (codé comme 0 ou la plus petite valeur) et ensemble de validation (codé comme 1 ou des valeurs supérieures).
L'ensemble de validation est en fait utilisé ici comme ensemble de test (si l'on utilise rigoureusement la bonne convention de nommage) : il n'est pas utilisé pour ajuster un modèle fonctionnel, mais vous pouvez extraire les scores FPCA de cet ensemble pour voir quelle est l'efficacité de l'ajustement du modèle sur de nouvelles données fonctionnelles : Résolu : Analyse et classification des données fonctionnelles : Comment calculer le FPC de nouvelles données (u... - Communauté d'utilisateurs JMP
L'ensemble d'entraînement est utilisé pour ajuster et évaluer l'ajustement du modèle, et tous les tracés du rapport que vous mentionnez sont effectués sur l'ensemble d'entraînement.
Vous pouvez évaluer l'ajustement du modèle sur les données de validation en extrayant la formule de prédiction sur la nouvelle table de données (triangle rouge à côté de "[Modèle] sur [Données initiales]" et "Enregistrer les données"). Des colonnes de formules sont ajoutées (Prédiction et Résidus) et en utilisant Graph Builder, vous pouvez visualiser les valeurs réelles et prédites de vos données de validation, ou visualiser les résidus pour reproduire les résultats observés dans le rapport :
Mais je suis d'accord avec vous, avoir les résultats sur les données de validation directement sur la plateforme serait beaucoup plus simple. Cela pourrait être une bonne idée à ajouter à la Wish List de JMP si ce n'est pas déjà écrit.
J'espère que cette réponse vous aidera,
