python如何爬取网页数据并添加到word里(python爬取整个网站)

如何利用python抓取网页中的内容并存到word中

方法很多，比如之前提到的pypdf。然而用起来其实稍显麻烦，很多操作不够方便。

所以我一般用pdf2htmlex（github上有，一个国人项目，非python）先把pdf转html，接下来再用bs4来解析处理。好处是处理html的工具非常非常丰富，且pdf2htmlex对原页面的效果保持得特别好，特别是对于那些个用word和latex导出的pdf里，大量数据图表里的标签可以很方便地把值抓出来……

怎么把python输出为word

程序导出word文档的方法

将web/html内容导出为world文档，再java中有很多解决方案，比如使用Jacob、Apache POI、Java2Word、iText等各种方式，以及使用freemarker这样的模板引擎这样的方式。php中也有一些相应的方法，但在python中将web/html内容生成world文档的方法是很少的。其中最不好解决的就是如何将使用js代码异步获取填充的数据，图片导出到word文档中。

1. unoconv

功能：

1.支持将本地html文档转换为docx格式的文档，所以需要先将网页中的html文件保存到本地，再调用unoconv进行转换。转换效果也不错，使用方法非常简单。

?

\# 安装

sudo apt-get install unoconv

\# 使用

unoconv -f pdf *.odt

unoconv -f doc *.odt

unoconv -f html *.odt

缺点：

1.只能对静态html进行转换，对于页面中有使用ajax异步获取数据的地方也不能转换（主要是要保证从web页面保存下来的html文件中有数据）。

2.只能对html进行转换，如果页面中有使用echarts,highcharts等js代码生成的图片，是无法将这些图片转换到word文档中；

3.生成的word文档内容格式不容易控制。

2. python-docx

功能：

1.python-docx是一个可以读写word文档的python库。

使用方法：

1.获取网页中的数据，使用python手动排版添加到word文档中。

如何用Python爬取数据？

方法/步骤

在做爬取数据之前，你需要下载安装两个东西，一个是urllib,另外一个是python-docx。

请点击输入图片描述

然后在python的编辑器中输入import选项，提供这两个库的服务

请点击输入图片描述

urllib主要负责抓取网页的数据，单纯的抓取网页数据其实很简单，输入如图所示的命令，后面带链接即可。

请点击输入图片描述

抓取下来了，还不算，必须要进行读取，否则无效。

请点击输入图片描述

5

接下来就是抓码了，不转码是完成不了保存的，将读取的函数read转码。再随便标记一个比如XA。

请点击输入图片描述

6

最后再输入三句，第一句的意思是新建一个空白的word文档。

第二句的意思是在文档中添加正文段落，将变量XA抓取下来的东西导进去。

第三句的意思是保存文档docx，名字在括号里面。

请点击输入图片描述

7

这个爬下来的是源代码，如果还需要筛选的话需要自己去添加各种正则表达式。