Extraction de données à partir de fichiers PDF
J'analyse parfois des données publiées, et parfois je veux qu'un tableau dans un fichier PDF soit un tableau de données. En particulier, les données publiées par les bureaux gouvernementaux, etc., sont étonnamment souvent intégrées sous forme de tableau dans un fichier PDF, et non au format Excel ou csv.
A cette époque, jusqu'à il y a 4 ou 5 ans, j'avais l'habitude de sélectionner et de copier le tableau correspondant sur le fichier PDF et de le coller dans Excel ou JMP, mais il existe de nombreux cas où il n'est pas correctement reconnu comme une donnée, et au pire cas Parfois, j'ai abandonné et j'ai créé des données manuellement.
A cette époque, la version 15 de JMP a ajouté Le "PDF Import Wizard" était l'évangile pour moi. La création de données à partir de PDF, qui prenait du temps, peut désormais se faire en quelques secondes ! ! Cela libère du temps pour une analyse approfondie des données.
la dernière fois que j'ai écrit Article de blog (Indice d'écart entre les sexes) cité un tableau dans un rapport PDF, mais sans la fonction de l'assistant d'importation PDF, la création des données aurait été gênante et frustrante.
Ainsi, dans ce blog, Je vais vous présenter la partie étonnante de "l'assistant d'importation PDF". Même si vous utilisez déjà cette fonction, il se peut qu'il y ait des choses que vous ne savez pas, alors veuillez la lire.
Ce que vous pouvez faire avec l'assistant d'importation PDF
"PDF Import Wizard" est une fonction qui ajuste les données à lire en se référant à l'aperçu avant de lire le fichier PDF.
Sélectionnez [Fichier] > [Ouvrir] dans la barre de menus JMP, puis sélectionnez le fichier PDF à charger pour lancer automatiquement l'"Assistant d'importation PDF" (*1).
Un aperçu s'affiche sur le côté gauche de l'assistant, comme illustré ci-dessus. Il reconnaît automatiquement les tableaux dans le PDF et affiche ceux reconnus dans l'"Aperçu du tableau" à droite.
Vérifiez si la table que vous souhaitez lire est reconnue ici, et s'il n'y a pas de problème, cliquez sur le bouton [OK] pour l'ouvrir en tant que table de données JMP.
Dans cet exemple, nous pouvons facilement charger les données expérimentales données dans l'article.
Après cela, je vais reprendre deux points étonnants avec des exemples réels et les présenter.
Incroyable partie 1 : concatène automatiquement les tables avec le même nom de colonne en une seule
Voici un PDF des statistiques sur le statut d'emploi des fonctionnaires généraux nationaux publiées par le Secrétariat du Cabinet (*2). À partir de ce tableau, nous voulons créer un tableau de données JMP pour le nombre d'employés à temps partiel dans chaque ministère, la variation d'une année sur l'autre (personnes) et la variation d'une année sur l'autre (%).
La possibilité de reconnaître automatiquement les tableaux d'un PDF peut être utile, mais en pratique, il est rare de lire tous les tableaux d'un PDF, et il existe de nombreux cas où vous souhaitez lire uniquement des tableaux spécifiques.
Dans ce cas, en haut à droite de l'assistant, Ignorer toutes les tables Cliquez sur le bouton pour annuler la sélection automatique.
Après cela, passez à la page avec le tableau que vous souhaitez lire dans l'aperçu à gauche, puis cliquez sur le bouton triangle rouge en haut à gauche de la page. [Détecter automatiquement cette page] pour détecter automatiquement uniquement les tableaux de cette page.
Cependant, il existe certaines tables pour lesquelles la détection automatique ne fonctionne pas bien. Dans ce cas, faites glisser l'endroit où vous voulez créer un tableau pour créer un rectangle, et le tableau à l'intérieur du cadre rectangulaire sera reconnu. En pratique, cette méthode de sélection des tables par glissement est pratique.
Après avoir sélectionné le tableau concerné, sur le côté droit de l'aperçu "Concaténer les tables avec les noms de colonnes correspondants" , puis cliquez sur le bouton [OK].
Ensuite, les tableaux qui étaient affichés séparément en deux seront lus ensemble en un seul tableau.
Normalement, deux tables seraient chargées, puis vous devriez combiner les tables en une seule en utilisant [Concaténer], ce que cet assistant fait pour vous.
Par conséquent, en modifiant légèrement le tableau de données créé, nous avons pu créer des histogrammes du nombre d'employés, des changements d'une année sur l'autre et des changements d'une année sur l'autre, et examiner les ministères et organismes qui sont aberrants.
Incroyable partie 2 : concatène plusieurs pages de tableaux en une seule
Ce fichier PDF montre les résultats de la compétition de saut à ski par équipe par pays (*3). Les résultats de la 1ère à la 8ème place sont affichés, mais ils ne sont pas contenus sur une page mais répartis sur deux pages. Bien qu'il s'agisse d'un format de tableau par pays, j'aimerais combiner ces tableaux en un seul tableau.
Vous prévisualisez ce PDF. Sélectionnez la table cible et "Concaténer toutes les tables en une seule" et cliquez sur le bouton [OK].
Il charge plusieurs tables en une seule. Contrairement à l'exemple précédent, le fichier PDF utilisé ici contient des tables qui n'ont pas de noms de colonnes, j'ai donc utilisé "Concaténer toutes les tables en une seule".
Après cela, un traitement de données est nécessaire, mais j'ai pu créer des tracés de score pour chaque équipe (pour 4 joueurs) sans perdre trop de temps. Il est intéressant de voir qu'il y a des équipes avec 4 joueurs qui marquent du scatter et des équipes qui ne le font pas.
Nous continuerons à utiliser pleinement cette merveilleuse fonction et à travailler dur sur l'analyse des données ! !
par Naohiro Masukawa (JMP Japon)
Citation de fichier PDF
*1 : Conception rationnelle d'une plateforme de bioprocédés évolutive pour la production de cellulose bactérienne
https://www.sciencedirect.com/science/article/abs/pii/S0144861718312839
*2 : Tableau statistique du Secrétariat du Cabinet sur le statut d'emploi des fonctionnaires nationaux
https://www.cas.go.jp/jp/gaiyou/jimu/jinjikyoku/files/20220701_toukeihyou_gaiyou.pdf
*3 : Résultats officiels de la COUPE DU MONDE DE SAUT À SKI FIS
https://medias2.fis-ski.com/pdf/2023/JP/3093/2023JP3093RL.pdf
