Estrazione dati da file PDF
A volte analizzo i dati pubblicati e talvolta desidero che una tabella in un file PDF sia una tabella di dati. In particolare, i dati pubblicati dagli uffici governativi, ecc., sono sorprendentemente spesso incorporati come tabella in un file PDF, non in formato Excel o csv.
A quel tempo, fino a 4 o 5 anni fa, selezionavo e copiavo la tabella corrispondente sul file PDF e la incollavo in Excel o JMP, ma ci sono molti casi in cui non viene riconosciuta correttamente come dati, e nel peggiore dei casi case A volte mi sono arreso e ho creato i dati manualmente.
A quel tempo, è stata aggiunta la versione 15 di JMP Il "PDF Import Wizard" è stato vangelo per me. La creazione di dati da PDF, che prima richiedeva tempo, può essere eseguita in pochi secondi! ! Ciò consente di liberare tempo per un'analisi approfondita dei dati.
l'ultima volta che ho scritto Post sul blog (Indice del divario di genere) ha citato una tabella in un report PDF, ma senza la funzione della procedura guidata di importazione PDF, la creazione dei dati sarebbe stata problematica e frustrante.
Pertanto, in questo blog, Introdurrò la parte straordinaria di "Importazione guidata PDF". Anche se stai già utilizzando questa funzione, potrebbero esserci cose che non sai, quindi leggila.
Cosa puoi fare con l'Importazione guidata PDF
"PDF Import Wizard" è una funzione che regola i dati da leggere facendo riferimento all'anteprima prima di leggere il file PDF.
Selezionare [File] > [Apri] dalla barra dei menu di JMP e selezionare il file PDF da caricare per avviare automaticamente l'"Importazione guidata PDF" (*1).
Un'anteprima viene visualizzata sul lato sinistro della procedura guidata come mostrato sopra. Riconosce automaticamente le tabelle nel PDF e visualizza quelle riconosciute nella "Anteprima tabella" sulla destra.
Verificare se la tabella che si desidera leggere è riconosciuta qui e, se non ci sono problemi, fare clic sul pulsante [OK] per aprirla come tabella dati JMP.
In questo esempio, possiamo facilmente caricare i dati sperimentali forniti nel documento.
Dopo questo, raccoglierò due punti sorprendenti insieme a esempi reali e li presenterò.
Incredibile parte 1: concatena automaticamente le tabelle con lo stesso nome di colonna in una sola
Di seguito il PDF delle statistiche sulla situazione occupazionale dei dipendenti pubblici nazionali generali pubblicate dalla Segreteria di Gabinetto (*2). Da questa tabella, vogliamo creare una tabella di dati JMP per il numero di dipendenti part-time in ciascun ministero, la variazione anno su anno (persone) e la variazione anno su anno (%).
La capacità di riconoscere automaticamente le tabelle in un PDF può essere utile, ma in pratica è raro leggere tutte le tabelle in un PDF e ci sono molti casi in cui si desidera leggere solo tabelle specifiche.
In tal caso, in alto a destra della procedura guidata, Ignora tutte le tabelle Fare clic sul pulsante per annullare la selezione automatica.
Successivamente, spostati sulla pagina con la tabella che desideri leggere nell'anteprima a sinistra e fai clic sul pulsante del triangolo rosso in alto a sinistra nella pagina. [Rileva automaticamente questa pagina] per rilevare automaticamente solo le tabelle in quella pagina.
Tuttavia, ci sono alcune tabelle in cui il rilevamento automatico non funziona bene. In tal caso, trascina il punto in cui desideri creare una tabella per creare un rettangolo e la tabella all'interno della cornice rettangolare verrà riconosciuta. In pratica, questo metodo di selezione delle tabelle tramite trascinamento è conveniente.
Dopo aver selezionato la tabella pertinente, sul lato destro dell'anteprima "Concatena tabelle con nomi di colonne corrispondenti" e fare clic sul pulsante [OK].
Quindi, le tabelle che sono state visualizzate separatamente in due verranno lette insieme in un'unica tabella.
Normalmente, vengono caricate due tabelle e quindi dovresti combinarle in una sola usando [Concatena], ma questa procedura guidata se ne occupa per te.
Pertanto, modificando leggermente la tabella dei dati creata, siamo stati in grado di creare istogrammi del numero di dipendenti, variazioni di anno in anno e variazioni di anno in anno ed esaminare i ministeri e le agenzie che sono valori anomali.
Incredibile parte 2: concatena più pagine di tabelle in una sola
Questo file PDF mostra i risultati della competizione a squadre di salto con gli sci per paese (*3). Vengono mostrati i risultati dal 1° all'8° posto, ma non sono contenuti in una pagina ma distribuiti su due pagine. Sebbene sia in un formato di tabella per paese, vorrei combinare queste tabelle in un'unica tabella.
Stai visualizzando l'anteprima di questo PDF. Seleziona la tabella di destinazione e "Concatena tutte le tabelle in una" e fare clic sul pulsante [OK].
Carica più tabelle in una. A differenza dell'esempio precedente, il file PDF usato qui ha tabelle che non hanno nomi di colonna, quindi ho usato "Concatena tutte le tabelle in una".
Dopo questo, è necessaria un'elaborazione dei dati, ma sono stato in grado di creare grafici dei punteggi per ogni squadra (per 4 giocatori) senza spendere troppo tempo. È interessante vedere che ci sono squadre con 4 giocatori che segnano scatter e squadre che non lo fanno.
Continueremo a sfruttare appieno questa meravigliosa funzione e lavoreremo sodo sull'analisi dei dati! !
di Naohiro Masukawa (JMP Giappone)
Citazione del file PDF
*1 : Progettazione razionale di una piattaforma di bioprocesso scalabile per la produzione di cellulosa batterica
https://www.sciencedirect.com/science/article/abs/pii/S0144861718312839
*2: Tabella Statistica della Segreteria di Gabinetto della Condizione Occupazionale dei Funzionari Pubblici Nazionali
https://www.cas.go.jp/jp/gaiyou/jimu/jinjikyoku/files/20220701_toukeihyou_gaiyou.pdf
*3: Risultati ufficiali FIS COPPA DEL MONDO DI SALTO CON GLI SCI
https://medias2.fis-ski.com/pdf/2023/JP/3093/2023JP3093RL.pdf
