analyser des données d'entrée de mesure répétées avec une sortie dépendante unique à la fin?<meta http-equiv="Content-Type" content="text/html; charset=UTF-8" />Salut la communauté.
J'ai une question que je n'ai qu'une vague idée de par où commencer.
J'ai un ensemble de données sous la forme de tableau plat 2D standard avec 3 sorties potentielles et de nombreuses entrées.
Chaque sortie consiste en un seul nombre continu [par exemple, gain de poids ET matières consommées] qui est collecté à la fin d'une période de temps variable (30 à 50 jours).
Pour l'instant, ce n'est pas un problème car toutes les variables d'entrée (telles que l'emplacement géographique, le superviseur) ne changent pas au cours de cette période et donc une ligne de données représente une période complète.
le problème que je vais rencontrer est que je dois recevoir des données qui changent continuellement pendant cette période. (par exemple une mémoire d'un enregistreur)
Il n’est pas possible de gérer raisonnablement cette situation de la manière habituelle en prenant quelques variables construites (par exemple, Min, max, température moyenne pour toute la période) et en créant de nouvelles variables pour chacune d’entre elles, car cela le résultat.
Une autre suggestion est de décomposer cela en une forme plus granulaire et créer une colonne pour chacun serait également non viable.
(création d'un min, max pour chaque jour pour chaque jour)
Même si vous pouviez éviter que chaque colonne soit fortement corrélée à une autre, je soupçonne fortement que les maximum et minimum quotidiens ne sont pas ce qui fait la différence. (Le maximum de 50 ° C pendant 1 seconde a moins d'impact qu'un maximum de 49 ° C pour une heure).
Pour moi, cela doit être traité dans une méthode différente,
On m'a indiqué la plate-forme «Modèles mixtes» dans JMP, mais je n'ai aucune expérience de ce type.
Pour moi, je suis confronté à une mesure répétée dans le temps avec un débit de corrélation élevé de la mesure
D'après ce que je comprends (je me trompe peut-être), je pense que cette méthode nécessite que ma variable de sortie soit également mesurée sur cette période.
Ce n'est pas le cas pour moi. Je reçois toutes mes sorties à la fin, et seulement à la fin.
Ce que je cherche à faire est de découvrir ce qui dans ces données enregistrées fait une différence pour ma sortie.
Quelqu'un peut-il aider avec ce que je peux faire avec ce problème?
Re: analyser les données d’entrée de mesure répétées avec une sortie dépendante unique à la fin?Oui, l'interprétation des ordinateurs personnels est un défi. Il est possible de "voir" à quoi chaque composant "ressemble". Cela pourrait vous donner un aperçu utile.
PLS vous donnera probablement de meilleurs modèles. La plate-forme PLS dans JMP Pro comprend des tracés vous permettant de voir quelles variables contribuent le plus.
Je recommanderais de jeter un coup d'œil au livre sur les PLS de Cox et Gaudard. Cela donne aussi une bonne explication de la PCA.
Comme je l'ai mentionné ci-dessus, de nombreuses autres techniques pourraient être utilisées (regroupement, Reg Reg, Forêt Bootstrap, Réseaux de neurones).
Concernant le défi du nombre de variables: c’est là que votre connaissance du domaine entre en jeu. Pensez-vous vraiment qu’il est utile de connaître la température toutes les 60 s? JMP peut gérer des données très volumineuses. Vous devez décider si cela sera utile.
Comme toujours, ce sera un processus d'exploration. Bonne chance!
Re: analyser les données d’entrée de mesure répétées avec une sortie dépendante unique à la fin?Merci pour votre réponse!
En termes de défis
CORRIGER POUR DES TEMPS VARIABLES
Nous pouvons généralement corriger à un jour de base si le jour d'arrivée réel n'est pas trop loin. Par exemple, 40 jours peuvent être un jour d'arrivée de base. Si c'est 42 jours, cela est corrigé (en sachant qu'un poulet change généralement d'un montant spécifique par jour dans de bonnes conditions). Si la journée est trop éloignée de 39 jours (disons 50), les données seront probablement simplement omises - je ne t même penser que cela se passe dans la réalité (50 jours) Au pire des cas, du moins pour que cela fonctionne, j’utiliserai uniquement des données qui se terminent très près d’un point commun. (ie 38-41 jours) et juste correct à 39 jours
MÉTHODE
Si nous tenons compte de votre idée (c’est ce que je pensais devoir utiliser au début) d’une forme de réduction variable - comment conserver le sens réel? C’est un problème que j’ai généralement avec PCA dans le passé - PCA fonctionne bien, mais mes nouveaux facteurs ne ressemblent vraiment à rien de «réel»
PCA (je suis très familier avec PCA) va factoriser mes variables d’entrée (maintenant l’ID de temps) en facteurs qui ne ressemblent que vaguement à l’original.
Comment saurai-je quels sont les nouveaux facteurs? (c.-à-d. si le facteur 1 est maintenant une variable importante, composée de nombreuses variables originales, comment vais-je savoir en quoi cela concerne réellement?)
De plus, le nombre de variables d’entrée sera énorme - jusqu’à une variable toutes les 60 secondes pendant 39 jours (qui peut bien sûr être réduit, mais un nombre encore très élevé) - cela convient-il à ces méthodes?
Comme je vais avoir de nombreuses variables originales (Temp, humidty, etc.), est-ce que celles-ci (du moins au début) seraient mieux analysées séparément ET / OU combinées? Bien sûr, je peux essayer les deux!
Au dessous de
tn = température au point temporel n
hn = humidité au point n
DEUX TABLES
Tableau 1
Y - t0 - t1 - t2 ----- tn
1,6
1,7
Tableau 2
Y - t0 - t1 - t2 ----- tn
1,6
1,7
UNE TABLE
Y - t0 - t1 - t2 ----- tn -h0 - h1 -h2 ---- hn
1,6
1,7
Merci de votre aide
Re: analyser les données d’entrée de mesure répétées avec une sortie dépendante unique à la fin?Salut,
Je pense qu'une approche utile pourrait être de manipuler les données dans un format "large". Alors que maintenant la température à chaque heure est une nouvelle variable.
t TY
0 23 50
1 25 50
.
.
.
100 24 50
0 21 51
1 22 51
.
.
.
100 25 51
devient:
Y 0 1 ... 100
50 23 25 ... 24
51 21 22 ... 25
Vous pouvez ensuite utiliser des méthodes adaptées aux données étendues et corrélées: PCA, clustering, PLS, Gen Reg. Dans JMP et JMP Pro, certaines méthodes peuvent traiter des données très volumineuses.
Ceci est relativement simple si le nombre de points de temps est le même pour chaque "run". Cependant, il semble que la période totale sera différente à chaque fois. Cela pourrait être 30 jours ou 50 jours.
Vous devez donc décider comment faire face à ce problème. Et je pense que cela dépend de votre connaissance du domaine.
Est-il préférable de simplement regarder la période qui est terminée pour toutes les courses? En d’autres termes, rejetez les données> 30 jours.
Ou devriez-vous normaliser au fil du temps? Autrement dit, les périodes ne sont pas absolues mais représentent une fraction du temps total et peuvent donc être alignées sur différentes exécutions avec différentes périodes. Dans ce cas, vous pourriez également inclure une variable pour le temps total.
