Combinaison de deux fichiers de donnéesBonjour à tous,
J'ai deux fichiers de données distincts (un pour les mouvements oculaires et un pour les performances d'une tâche). Je souhaite combiner ces deux fichiers de données en un seul fichier afin de pouvoir les analyser l'un avec l'autre, mais je rencontre des difficultés pour démarrer.
Les deux fichiers de données n'ont rien d'autre en commun que le nom du fichier des participants et contiennent des quantités variables de réponses par participant (c.-à-d. Les données sur les mouvements oculaires contiennent plus de réponses par participant que le fichier de performance des tâches).
J'ai téléchargé les fichiers sur ce post.
Des conseils seraient très utiles !!
Re : Combiner deux fichiers de donnéesalors essayez celui-ci - j'ai juste inclus les non-correspondances.
Re : Combiner deux fichiers de donnéesJ'ai besoin des 400 lignes complètes pour effectuer des comparaisons lorsque la tâche de performance n'est pas présente. Je remplirai les valeurs vides dans la colonne moyenne/vidéo avec NA ou quelque chose comme ça pour pouvoir faire mes analyses.Re : Combiner deux fichiers de donnéesJe ne comprends toujours pas ce que tu veux faire.Si seulement quatre vidéos contiennent des données sur les mouvements oculaires et des données sur les performances, ce sont les seules vidéos pour lesquelles vous pouvez voir comment les mouvements oculaires sont affectés par les performances.Les 4 autres vidéos ne vous permettront pas d'analyser cela - alors n'y aura-t-il pas seulement 200 lignes que vous pourrez analyser ?
Re : Combiner deux fichiers de donnéesLes 8 mêmes vidéos sont utilisées tout au long de l'expérience. Les 4 vidéos contenant des données de performances contiendront également des données sur les mouvements oculaires. Je veux voir comment les mouvements oculaires sont affectés par la mesure de la performance.Re : Combiner deux fichiers de donnéesAlors, quel est l’intérêt de combiner des données du fichier de performances qui ne contiennent pas les mêmes vidéos ?Il semble que seules 200 lignes pourront être analysées.
Re : Combiner deux fichiers de donnéesLe problème est que le fichier de performances n'aura pas autant d'observations, il n'y a pas de données pour les 8 vidéos comme il y en a dans le fichier fixrep.Re : Combiner deux fichiers de donnéesCliquez ensuite sur la case "inclure les non-correspondances" - vous obtiendrez les 400 lignes. Apparemment, 200 ne correspondent pas, mais vous pouvez les examiner pour voir pourquoi il n'y a pas de correspondance avec l'autre ensemble de données. S'il s'agit d'une erreur, vous devrez peut-être réessayer de tabuler pour vous assurer que toutes les vidéos et tous les sujets apparaissent dans les deux fichiers tabulés.Re : Combiner deux fichiers de donnéesJe ne suis pas sûr de ce qui se passe avec certaines colonnes ici, le nom est assez déroutant. Je devrais quand même avoir 400 lignes et ce nombre est tombé à 200. C'est une des choses que j'ai essayées parce que j'ai obtenu quelque chose de très similaire.Re : Combiner deux fichiers de donnéesVoyez si c'est ce que vous voulez.J'ai rejoint en faisant correspondre 2 colonnes : identifiant de session et vidéo.
Re : Combiner deux fichiers de donnéesJ'ai donc créé mes deux fichiers tabulés plus petits. Cependant, j'ai du mal à les joindre maintenant dans un seul fichier.
En gros, j'ai juste besoin d'obtenir la moyenne /video dans le fichier fixrep et tout ira bien, mais je l'ai essayé de plusieurs manières et je n'obtiens pas le résultat souhaité.
Re : Combiner deux fichiers de donnéesDans votre fichier plus volumineux, créez une nouvelle colonne en utilisant une formule telle que ColMean (quelle que soit la mesure dont vous souhaitez faire la moyenne par étiquette de session, par vidéo).En d'autres termes, obtenez la moyenne (ou la somme ou l'écart type ou toute autre mesure souhaitée sur les vidéos) en incluant deux conditions By dans cette fonction Col : la première identifie le participant et la seconde identifie la vidéo.Ensuite, compilez les données par participant en utilisant la colonne nouvellement créée comme données souhaitées.Vous pouvez prendre toutes les autres colonnes de votre choix - et vous pouvez faire quelque chose comme ceci dans l'autre ensemble de données si vous souhaitez joindre certaines données à partir de là.À partir de Tabulate, transformez-le en table de données (et faites de même si vous souhaitez que les données de l'autre table s'y joignent).
Re : Combiner deux fichiers de donnéesJ'ai parlé à mes collaborateurs et ils ont convenu que faire la moyenne des données par participant serait parfait pour faire quelques analyses initiales.
Existe-t-il un moyen d'obtenir 8 lignes pour chaque participant ? Ce serait une ligne pour chacun de mes extraits de film projetés.Re : Combiner deux fichiers de donnéesJe suggérerais de sous-ensembler un seul participant des deux fichiers afin de déterminer exactement comment vous souhaitez joindre les deux fichiers - si vous pouvez obtenir ce que vous voulez pour un seul participant, vous pouvez facilement le faire pour tous.Il semble que vous puissiez peut-être vous inscrire sur l'une de ces autres colonnes communes.Lors de votre adhésion, vous pouvez toujours cliquer sur Sélectionner les colonnes et sélectionner uniquement celles que vous souhaitez - et il semble qu'il soit plus facile de générer les données pour une question particulière que vous souhaitez analyser plutôt que d'essayer de créer l'ensemble de données pour chacune d'entre elles. les questions que vous souhaitez analyser (vous pouvez toujours les joindre un peu différemment pour une analyse différente).Mais l’idée est la suivante : pouvez-vous rassembler les données pour un seul participant ?Vous devrez peut-être résumer un peu les données avant d'essayer de les joindre, car vous n'aurez peut-être pas besoin de toutes ces lignes pour l'analyse que vous souhaitez effectuer. Vous souhaiterez donc peut-être d'abord tabuler les données de chaque ensemble de données, puis essayer de les joindre. fichiers tabulés.
Re : Combiner deux fichiers de donnéesun strict minimum de longueur de saccade, de durée de fixation, d'écart par rapport au centre de l'écran, de type de condition, de charge cognitive, de vidéo, de participant, de performance moyenne du nback et de temps serait nécessaire. Aucune de ces variables, à part la condition et le participant, ne figure dans les deux ensembles de données.
Il existe des différences très marquées dans les données de chaque participant entre les deux fichiers en raison des données collectées. Dans le fichier de mouvements oculaires (2 286 lignes), j'enregistre chaque mouvement oculaire qu'ils effectuent. Dans le fichier nback (337 lignes), je ne reçois une réponse que toutes les 2 secondes environ, car c'est la fréquence à laquelle une lettre leur est présentée dans un manoir auditif. J'aurai également des données sur 4 des 8 vidéos présentées à chaque sujet dans le fichier nback, car les participants ont regardé la moitié des vidéos avec et l'autre moitié sans la tâche nback pour comparer les performances dans les deux conditions.
J'étudie les changements dans les mouvements oculaires en fonction des manipulations de la condition et de la charge cognitive. (effets fixes dans mon modèle)
J'utilise le participant et la vidéo comme effets aléatoires, ils sont donc toujours nécessaires pour exécuter les analyses.
Si je peux combiner les deux fichiers avec succès, je souhaite également examiner ces mêmes variables avec l'ajout de leurs performances sur la tâche nback (la charge cognitive).
Est-ce que ceci est d'une aide quelconque?Re : Combiner deux fichiers de donnéesJ'ai encore du mal à comprendre ce que tu veux faire.J'ai donc extrait les données d'un seul sujet des deux fichiers (étiquette de session ecem_10c).Un fichier comporte 337 lignes et l’autre 2 286 lignes.Si vous les rejoignez sans supprimer de multiples, vous obtiendrez 337x2286 lignes - et pour l'ensemble de données complet, cela représente probablement trop d'informations.Mais sans aucun autre champ sur lequel se joindre, quelles colonnes voudriez-vous afficher ensemble afin de faire votre analyse.Si vous pouvez dire quelles sont ces colonnes, je pense que je pourrais peut-être vous aider.Mais je ne comprends pas suffisamment vos données et vos conditions expérimentales pour savoir laquelle de ces colonnes (30 dans un ensemble de données et 27 dans l'autre) a du sens à examiner ensemble et lesquelles ne le sont pas.
Re : Combiner deux fichiers de donnéesCette méthode de sommation pourrait-elle se produire de manière à laisser 8 lignes par participant ? Il y avait 8 stimuli différents qui ont été utilisés et je devrais les garder séparés.Re : Combiner deux fichiers de donnéesEn général, j'observais les mouvements oculaires (amplitude des saccades, durée de fixation, écart par rapport au centre de l'écran) dans différentes conditions et niveaux de charge cognitive. Ensuite, avec l'ensemble de données combiné, je souhaite utiliser toutes ces variables que je viens de mentionner ainsi que leurs performances (moyennes) pour voir si cela est affecté ou affecte les mouvements oculaires.Re : Combiner deux fichiers de donnéesLa seule chose qui est la même pour les deux ensembles de données sera SESSION_LABEL (je sais qu'ils ne sont peut-être pas étiquetés de la même manière, mais c'est la même chose) et la condition. Les autres variables sont spécifiques au fichier de donnéesRe : Combiner deux fichiers de donnéesLa clé pour joindre ces deux tables est ce que nous appelons des clés uniques (sans jeu de mots). Il doit y avoir une colonne ou une combinaison de colonnes qui peuvent être utilisées comme clés pour identifier de manière unique chaque ligne dans les deux tableaux afin que chaque ligne puisse être jointe l'une à l'autre là où cela a du sens.
Par exemple : si Chris est répertorié deux fois ou plus dans une seule colonne, vous aurez besoin d'une autre colonne, telle que l'âge et le sexe, pour identifier chaque Chris en tant que personne distincte. Ensuite, l'autre table peut avoir Chris et les mêmes colonnes afin que les colonnes puissent être jointes aux lignes appropriées pour chaque individu unique.
Pour compliquer les choses, j'ai regardé les deux ensembles de données fournis et il ne semble pas y avoir d'ensembles de colonnes évidents pour moi qui aideraient à identifier une ligne unique dans les tableaux autres que les valeurs réellement enregistrées, mais elles ne sont pas les mêmes. colonnes dans chaque tableau.
Pour aggraver les choses, si vous joignez une table dans une autre, vous obtiendrez des valeurs répétitives par étiquette/ID de session pour de nombreuses colonnes, car elles ne représentent pas le même nombre de lignes.
Jetez un œil à l'aide en ligne pour voir différents types d'exemples et cela peut vous donner une idée de ce dont vous auriez besoin pour joindre vos deux tables. Regardez spécifiquement la section intitulée « Pour joindre des tables avec différents nombres de lignes et différents noms de colonnes » vers le bas.
https://www.jmp.com/support/help/14/examples-of-joining-data-tables.shtml
Il est possible d'utiliser JMP Query Builder avec un autre outil, mais le même problème existe. Comment faire correspondre les lignes de chaque table afin que lorsque les colonnes sont jointes dans une nouvelle table, elles soient associées de manière appropriée les unes aux autres.
Idéalement, si vous aviez SESSION LABEL et un index de cadre pour chaque ligne des deux tables, vous pourriez les faire correspondre à ces deux colonnes. Même s'il manque des données pour chaque index de trame dans une table pour certaines lignes, ce serait OK. Ou si une table contient un sous-ensemble des indices de trame de l'autre, alors ce serait également OK.
J'espère que cela donne une direction.
Re : Combiner deux fichiers de donnéesPouvez-vous fournir un exemple (en utilisant les variables de vos ensembles de données) du type de question que vous souhaitez analyser ?Si toutes les mesures des mouvements oculaires sont des variables explicatives potentielles pour l'une des mesures de performance, alors je pense que vous souhaitez joindre les ensembles de données sans supprimer de multiples.Oui, sa taille explosera, mais c'est parce que vous souhaitez que toutes les mesures oculaires soient disponibles pour expliquer chacune des mesures de performance.Toute analyse particulière que vous souhaitez effectuer sera probablement plus facile en tablant à partir de cet énorme ensemble de données pour obtenir uniquement les entrées et les sorties que vous souhaitez étudier.Si votre analyse est plus structurée que l'utilisation de tous les mouvements oculaires potentiels pour expliquer toutes les mesures de performance potentielles, alors cette structure doit être expliquée et il existe peut-être un moyen plus simple de construire le fichier de données.
Re : Combiner deux fichiers de donnéesCette méthode consiste toujours à prendre plusieurs colonnes et à les combiner pour créer une seule colonne. Cela peut être dû à une mauvaise communication de ma part. Je n'ai pas les mêmes variables de résultat dans les deux fichiers, ce qui ajoute un niveau de difficulté à la fusion de fichiers de données.Re : Combiner deux fichiers de donnéesIl s'agit de la flèche verte en haut à gauche du tableau de données.En cliquant dessus, vous exécuterez le script, cliquez sur le nom et modifiez-le pour voir le script.
Re : Combiner deux fichiers de donnéesCréer une nouvelle colonne ne fonctionnera pas dans ce cas, car je n'ai pas de valeurs à remplir pour les données manquantes. Je ne sais pas où trouver la méthode Tabulate Script à laquelle vous faites référence.Re : Combiner deux fichiers de donnéesJ'ai joint un exemple simple montrant 2 idées qui pourraient fonctionner.Une fois crée une nouvelle colonne pour combiner les réponses et l'autre est le script Tabulate dans le tableau.Voyez si l’une ou l’autre de ces méthodes vous donnera ce que vous voulez.
Re : Combiner deux fichiers de donnéesAinsi, la variable de résultat n'est pas présente dans chaque fichier de données (écart par rapport au centre de l'écran) car il s'agit d'une mesure de la variabilité des mouvements oculaires, ce qui la rend non présente dans l'autre fichier de données. J'ai besoin d'un moyen de remplir les cellules vides avec NA ou quelque chose qui permettra d'exécuter les analyses.Re : Combiner deux fichiers de donnéesSi le problème que vous rencontrez actuellement est que les variables de résultat se trouvent dans des colonnes différentes, chacune contenant de nombreuses données manquantes, vous pouvez essayer ceci : créez de nouvelles colonnes qui utilisent les colonnes existantes lorsque les données sont manquantes, sinon les données qui ne manquent pas.En d’autres termes, vous avez une instruction IF qui dit IF(ISmissing(data) puis Other Data, sinon Nonmissing Data.Vous aurez peut-être besoin d'une instruction IF à plusieurs niveaux pour regrouper toutes les variables de résultat dans une seule colonne à des fins d'analyse.
Re : Combiner deux fichiers de donnéesLe nom du sujet est présent dans chacun des fichiers (SESSION_LABEL, ou quelque chose de similaire).Re : Combiner deux fichiers de donnéesMalheureusement, disposer d'une version résumée de ces résultats n'aura pas de sens, car je souhaite observer comment les mouvements oculaires évoluent en fonction de la performance de la tâche. Si je résume les résultats, je perds beaucoup de données vraiment précieuses. Cette méthode peut être quelque chose que je dois envisager à long terme si ce que je veux faire est trop complexe. Cela pourrait-il être fait en laissant 8 lignes par colonne pour chaque participant ? Ils ont regardé un total de 8 vidéos distinctes et chacune doit être traitée séparément pour la conception de l'étude.Re : Combiner deux fichiers de donnéesJ'ai utilisé avec succès la méthode de concaténation et j'ai maintenant un seul fichier. Cependant, j'ai maintenant beaucoup de valeurs vides dans mes données dans lesquelles cela ne me permettra pas d'exécuter des analyses car il me manque des valeurs pour mes principales variables de résultat.Re : Combiner deux fichiers de donnéesJe peux voir une méthode pour joindre les tableaux de données, mais vous devrez résumer les données au participant.C'est peut-être ce que vous souhaitez, si le résumé aboutit à des données significatives.
Re : Combiner deux fichiers de donnéesÊtes-vous sûr de vouloir joindre les tables plutôt que de les concaténer ?Je ne sais pas exactement ce que leur union permettra d'accomplir - vous avez plusieurs lignes dans chaque ensemble de données - en quoi est-il significatif de les aligner côte à côte ?Si vous pouvez expliquer cela, je peux probablement vous dire comment les rejoindre.Mais vous souhaiterez peut-être les concaténer à la place : toutes les données seront dans un seul fichier, mais seuls les noms de colonnes communs seront "joints" (verticalement).
Re : Combiner deux fichiers de donnéesDésolé pour ça. J'ai regardé vos variables et je ne sais pas comment on pourrait les combiner. Je ne vois qu'un nom de fichier dans l'un des tableaux. Je laisse à un gourou des bases de données de la communauté le soin de venir à votre secours !
Re : Combiner deux fichiers de donnéesJ'ai essayé d'utiliser les méthodes de base "Join" dans JMP et cela multiplie mes données et génère un énorme fichier impossible à gérer.Re : Combiner deux fichiers de donnéesVoir Aide > Livres > Utilisation de JMP et le sujet est la commande Joindre dans le menu Tables. Vous voulez être sûr de ne pas abandonner plusieurs correspondances. JMP développera les lignes pour s'assurer que toutes les données de chaque ID sont capturées dans la jointure.
