python抓取pdf数据(python爬取pdf数据)
Python利器：如何处理PDF表格数据
大家好，我是Peter~
在很多情况下，我们都需要处理PDF格式的文件。尤其当我们遇到PDF表格数据需要进行提取，真的是一个令人头疼的问题。
因为PDF文件不能像Word那样直接复制，即使复制了再黏贴也可能会出现格式排版错乱甚至乱码问题。如何从一个PDF文件提取出表格数据？本文提供两个解决方案：
首先提供的一种方法是从文字 PDF 中提取表格信息的工具：Camelot，它能够直接将大部分表格转换为 Pandas 的 Dataframe。
更多的详细信息，请参考项目地址：
camelot的安装有多种方式。如果有报错，网上一般有解决方式：
1、通过conda安装
2、使用pip进行安装
3、通过GitHub进行安装
首先将项目复制到本地：
然后进入文件中进行安装：
下面通过一个案例来讲解如何使用camelot。假设我们现在有一个只有一页的PDF文件test.pdf：
1、先读取文件
导出成csv格式的数据（方式1）
查看tables的相关信息：
导出方式2：
将数据转换成DataFrame：
tabula的功能比camelot更加强大，可以同时对多个表格数据进行提取。项目的具体地址请参考：
tabula的安装是非常简单的：
安装之后检验这个库是否安装成功：
通过tabula这个库来读取PDF文件：
然后我们发现列表中唯一的一个元素就是dataframe：
将读取到的数据输出成CSV格式的文件：
上面读取的PDF文件是比较简单的，只有一页，而且刚好是一个很标准的表格形式的数据，下面看一个比较复杂的例子：
下面是第一页，第一列可以看成是索引：
在第二页中有两份表格，而且中间有很多的空白行：
第三页的数据比较标准：
这3页是在同一个PDF文件中，这3页是在同一个PDF文件中，这3页是在同一个PDF文件中
上面的红色提示中我们看到：当没有指定pages参数的时候，只会默认读取第一页的数据，所以列表的长度为1。
转成dataframe后将原来的索引变成新的一列 （部分数据）
通过pages来读取全部数据：
通过指定pages="all"：
同时获取两个表格的数据：
通过area参数来指定：
删除在读取的表格中我们不需要的字段信息
可以将得到的数据输出成不同格式的文件，以json格式为例：
我们可以看到
pdftabextract表格用法
pdftabextract是一个Python库，可以用来提取PDF文件中的表格数据。它支持多种文件格式，包括PDF，Excel，CSV等。使用pdftabextract可以快速提取出PDF文件中的表格，并将其转换为可编辑的文本格式，如CSV或Excel。使用pdftabextract可以更轻松地提取PDF文件中的表格数据，并将其转换为可编辑的文本格式，以便进行进一步的分析和处理。pdftabextract的使用非常简单，只需要提供PDF文件的路径，就可以轻松提取出其中的表格数据。
如何利用Python抓取PDF中的某些内容
你的问题事实上包含几部分：将PDF转化为纯文本格式抽取其中部分内容格式化写入到excel中转换PDF有很多库可以完成，如下是通过pdfminer的示例：fromcStringIOimportStringIOfrompdfminer.pdfinterpimportPDFResourceManager,PDFPageInterpreterfrompdfminer.converterimportTextConverterfrompdfminer.layoutimportLAParamsfrompdfminer.pdfpageimportPDFPagedefconvert_pdf_2_text(path):rsrcmgr=PDFResourceManager()retstr=StringIO()device=TextConverter(rsrcmgr,retstr,codec='utf-8',laparams=LAParams())interpreter=PDFPageInterpreter(rsrcmgr,device)withopen(path,'rb')asfp:forpageinPDFPage.get_pages(fp,set()):interpreter.process_page(page)text=retstr.getvalue()device.close()retstr.close()returntext需要指出的是，pdfminer不但可以将PDF转换为text文本，还可以转换为HTML等带有标签的文本。上面只是最简单的示例，如果每页有很独特的标志，你还可以按页单独处理。
用python批量提取pdf的表格数据，保存为excel
pdfplumber 是一个开源 python 工具库-，可以方便地获取 pdf 的各种信息，包括文本、表格、图表、尺寸等。完成我们本文的需求，主要使用 pdfplumber 提取 pdf 表格数据。
python 中还有很多库可以处理 pdf，比如 PyPDF2、pdfminer 等，本文选择pdfplumber 的原因在于能轻松访问有关 PDF 的所有详细信息，包括作者、来源、日期等，并且用于提取文本和表格的方法灵活可定制。大家可以根据手头数据需求，再去解锁 pdfplumber 的更多用法。
