用python提取pdf中的文字，表格以及读取csv文件_利用pdfminer提取pdf中的表格并导出csv

首先是提取pdf中的文字，参考https://www.jianshu.com/p/6dd0ce545b0a，但是其中的代码由于python的版本问题需要修改其中几行，如下(pip install pdfminer)

#!/usr/bin/env python
# -*- coding: utf-8 -*-
from pdfminer.pdfparser import PDFParser
from pdfminer.pdfdocument import PDFDocument
from pdfminer.pdfpage import PDFPage, PDFTextExtractionNotAllowed
from pdfminer.pdfinterp import PDFResourceManager, PDFPageInterpreter
from pdfminer.converter import PDFPageAggregator
from pdfminer.layout import LAParams
from io import StringIO


class PDFUtils():

    def __init__(self):
        pass

    def pdf2txt(self, path):
        output = StringIO()
        with open(path, 'rb') as f:
            praser = PDFParser(f)

            doc = PDFDocument(praser)

            if not doc.is_extractable:
                raise PDFTextExtractionNotAllowed

            pdfrm = PDFResourceManager()

            laparams = LAParams()

            device = PDFPageAggregator(pdfrm, laparams=laparams)

            interpreter = PDFPageInterpreter(pdfrm, device)

            for page in PDFPage.create_pages(doc):
                interpreter.process_page(page)
                layout = device.get_result()
                for x in layout:
                    if hasattr(x, "get_text"):
                        content = x.get_text()
                        output.write(content)

        content = output.getvalue()
        output.close()
        return content


if __name__ == '__main__':
    path = u'atomic_mass_abund.pdf'
    pdf_utils = PDFUtils()
    print( pdf_utils.pdf2txt(path))
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51

提取其中的表格参考https://www.py.cn/faq/python/12137.html，如(pip install camelot-py)

import camelot
tables=camelot.read_pdf('atomic_mass_abund.pdf',pages='1',flavor='stream')
tables[0].to_csv('test.csv')
1
2
3

这样pdf中的表格就被提取到一个csv文件中，可以直接用excel打开，但是有时为了自动化处理数据，还是需要用python读取这个文件，也很简单。

import csv
with open('test.csv','r')as rf:
    csvr=csv.reader(rf)
    for x in csvr:
    	print(x)
1
2
3
4
5

对于多页的表格，稍微麻烦一点，可以采取半自动化方式，一页一页提取到csv文件中，再用python汇总到xlsx中：

import pandas as pd
import csv
import camelot
for x in range(9,89-77+10):
    tables=camelot.read_pdf('adndt-99-69.pdf',pages=str(x),flavor='stream')
    tables[0].to_csv('test'+str(x)+'.csv')
dat=[]
for x in range(9,89-77+10):
     with open('test'+str(x)+'.csv','r',encoding='utf-8')as rf:
         csvf=csv.reader(rf)
         temp=[]
         for y in csvf:
             temp.append(y)
         dat.append(temp)
dats=[]
for x in dat:
    for y in x[2:]:
        dats.append(y)
    if dats[-1][3]=='':
        dats.remove(dats[-1])
df=pd.DataFrame(dats[1:],columns=dats[0])
df.to_json('test.json')
df.to_excel('test.xlsx',index=False)
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23