Extraction de données à partir de fichiers PDF
J'analyse souvent des données accessibles au public et je souhaite parfois transformer un tableau d'un fichier PDF en tableau de données. En particulier, les données publiées par les agences gouvernementales ne sont souvent pas au format Excel ou CSV, mais sont intégrées sous forme de tableaux dans des fichiers PDF.
Dans de tels cas, jusqu'à il y a quatre ou cinq ans, je sélectionnais le tableau concerné dans le fichier PDF, le copiais et le collais dans Excel ou JMP, mais il y avait de nombreux cas où il n'était pas correctement reconnu comme des données, et dans le dans le pire des cas, il y a eu des moments où j'ai abandonné et créé les données manuellement.
Dans un tel cas, une nouvelle fonctionnalité a été ajoutée dans la version 15 de JMP. "PDF Loading Wizard" a été une bénédiction pour moi. La création de données à partir d'un PDF, qui prenait du temps, peut désormais se faire en quelques secondes seulement ! ! Cela vous libère du temps pour une analyse approfondie de vos données.
La dernière fois que j'ai écrit Article de blog (indice d'écart entre les sexes) cite un tableau dans un rapport PDF, mais sans l'assistant d'importation PDF, j'aurais été frustré par les tracas liés à la création des données.
C'est pourquoi, sur ce blog, Permettez-moi de vous présenter les fonctionnalités intéressantes de "l'Assistant de chargement PDF". Même si vous utilisez déjà cette fonction, il se peut qu'il y ait certaines choses que vous ne connaissez pas, alors lisez-la attentivement.
Ce que vous pouvez faire avec l'assistant d'importation PDF
"PDF Import Wizard" est une fonction qui permet d'ajuster les données à importer en vous référant à l'aperçu avant d'importer le fichier PDF.
Lorsque vous sélectionnez [Fichier] > [Ouvrir] dans la barre de menu JMP et sélectionnez le fichier PDF à importer, l'« Assistant d'importation PDF » démarre automatiquement (*1).
Un aperçu sera affiché sur le côté gauche de l'assistant, comme indiqué ci-dessus. Il reconnaîtra automatiquement les tableaux dans le PDF et les affichera dans « Aperçu du tableau » à droite.
Vérifiez si la table que vous souhaitez charger est reconnue ici, et s'il n'y a aucun problème, cliquez sur le bouton [OK] et elle s'ouvrira en tant que table de données JMP.
Dans cet exemple, nous pouvons facilement charger les données expérimentales décrites dans l'article.
Après cela, je présenterai deux choses étonnantes ainsi que des exemples réels.
Partie étonnante 1 : les tables avec les mêmes noms de colonnes sont automatiquement concaténées en une seule
Ce qui suit est un PDF du tableau statistique de la situation d'emploi des fonctionnaires nationaux généraux publié par le Secrétariat du Cabinet (*2). Supposons que vous souhaitiez utiliser ce tableau pour créer un tableau de données dans JMP indiquant le nombre d'employés à temps partiel dans chaque ministère et agence, la différence par rapport à l'année précédente (personnes) et la variation d'une année sur l'autre (%) .
Une fonction qui reconnaît automatiquement les tableaux d'un PDF peut être utile, mais en pratique, il n'y a pas beaucoup de cas où l'on souhaite lire tous les tableaux d'un PDF, mais seulement un tableau spécifique.
Dans un tel cas, en haut à droite de l'assistant [Ignorer tous les tableaux] Cliquez sur le bouton pour annuler la sélection automatique.
Après cela, accédez à la page contenant le tableau que vous souhaitez charger en utilisant l'aperçu à gauche, puis cliquez sur le bouton triangle rouge en haut à gauche de la page. [Détecter automatiquement cette page] Si vous sélectionnez , seules les tables de cette page seront automatiquement détectées.
Toutefois, la détection automatique peut ne pas fonctionner pour certaines tables. Dans ce cas, créez un rectangle en faisant glisser là où vous souhaitez que le tableau se trouve, et le tableau sera reconnu dans le cadre du rectangle. En pratique, cette méthode de déplacement et de sélection de tableaux est pratique.
Après avoir sélectionné le tableau concerné, à droite de l'aperçu "Concaténer les tables avec les noms de colonnes correspondants" Sélectionnez et cliquez sur le bouton [OK].
Ensuite, les tableaux affichés en deux parties seront combinés en un seul tableau et chargés.
Normalement, vous devrez charger deux tables, puis utiliser [Concaténer] pour les combiner en une seule, mais cet assistant le fait pour vous.
Par conséquent, en modifiant simplement légèrement le tableau de données créé, nous avons pu créer des histogrammes du nombre d'employés, des changements d'une année sur l'autre et des changements d'une année sur l'autre, et examiner les ministères et agences qui étaient aberrants.
Superbe partie 2 : Combinez des tableaux qui s'étendent sur plusieurs pages en un seul
Ce fichier PDF présente les résultats de la compétition de l'équipe nationale de saut à ski (*3). Les résultats de la 1ère à la 8ème place sont affichés, mais ils ne sont pas contenus sur une page mais sur deux pages. Le format du tableau est organisé par pays, mais j'aimerais combiner ces tableaux en un seul tableau.
Ce PDF est en cours de prévisualisation. Sélectionnez la table cible et "Concaténer toutes les tables en une seule" Vérifiez et cliquez sur le bouton [OK].
Il charge plusieurs tables en une seule. Contrairement à l'exemple précédent, le fichier PDF utilisé ici contient des tableaux qui n'ont pas de noms de colonnes, j'ai donc utilisé "Concaténer toutes les tables en une seule".
Après cela, un certain traitement des données a été nécessaire, mais j'ai pu créer un graphique des scores pour chaque équipe (pour 4 joueurs) sans y consacrer trop de temps. Il y a des équipes où les scores des quatre joueurs varient, et d'autres où ce n'est pas le cas, ce qui est un résultat intéressant.
Nous continuerons à utiliser pleinement cette merveilleuse fonction et à travailler dur sur l’analyse des données ! !
par Naohiro Masukawa (JMP Japon)
Citer des fichiers PDF
*1 : Conception rationnelle d'une plateforme de bioprocédés évolutive pour la production de cellulose bactérienne
https://www.sciencedirect.com/science/article/abs/pii/S0144861718312839
*2 : Tableau des statistiques sur la situation d'emploi des fonctionnaires nationaux au niveau général du Secrétariat du Cabinet
https://www.cas.go.jp/jp/gaiyou/jimu/jinjikyoku/files/20220701_toukeihyou_gaiyou.pdf
*3 : Résultats officiels de la COUPE DU MONDE DE SAUT À SKI FIS
https://medias2.fis-ski.com/pdf/2023/JP/3093/2023JP3093RL.pdf
