nodejs抓取网页内容(nodejs访问网页)

puppeteer + nodejs 抓取网页内容

??网址：

??注：我使用的是二进制包 64位。解压后可直接使用

?? Puppeteer是什么

??Puppeteer 是一个Node库， 它提供高级API，通过DevTools Protocol 来控制Chrome 或 Chromium。 Puppeteer 默认运行为headless ，但是可以配置为运行为non-headless 。

?? 可以做什么

??生成页面截图或PDF

??抓取SPA 并生成预渲染内容（SSR）

?? 1、在windows环境下安装，在命令提示符中，输入命令：npm i --save puppeteer --ignore-scripts，即可安装成功。

执行命令：在cmd中执行 : nodejs路径 puppeteer路径 chrome浏览器路径

如何用nodejs去做网页截图

很多情况下，我们都需要在电脑上做一些截图的操作。有哪些常用的截图方法呢？

1、按键盘上的print screen 键：这个方法很麻烦，估计很少人用吧！

如果有如下需求：

1、截取一个网页，也就是一个滚动窗口的所有内容；

2、需要重复截取屏幕上的某一个固定区域，比如一个窗口截图一次后，做了一些修改，要重复截取一次，标识改变的地方；

3、在截图上画矩形框、气泡框、箭头，加汉字等

这样的需求，QQ截图虽然可以实现，但是那就太麻烦了，所以今天给大家推荐一款快捷好用的截图软件，叫做PicPick

软件安装包不大，开启后占用约25MB内存，所以即使设定为开机启动，也不会造成太大的性能影响。同时，这款软件原生支持全中文，并且对于个人及家庭用户是免费的，也不用考虑是否需要汉化或者破解之类的问题。

工具/原料

PicPick

windows

软件主界面介绍

1首先需要下载此软件，截止2013-11-06，最新的版本应该是3.2.8。安装过程中，会要求安装另一个系统优化的软件，大家直接拒绝就可以了

2安装完毕后，此软件界面如图，主要的功能也都体现在主界面上了。

右边的实用工具就不多介绍了，一看就明白，支持“屏幕取色”、“调色”、“放大镜”、“标尺”、“坐标轴”、“量角器”和“白板”功能。绝对是设计师和PPTer的好帮手。

主界面左下方的截图工具才是重点，介绍如下：

1、全屏：当前整个屏幕

2、窗口控件：使用这个截图功能的时候，会出现一个红框，单击鼠标，红框范围内的窗口就会被截取了

3、滚动窗口：比如一个很长的网页，支持一次性截取为图片。虽然很多浏览器都支持，但是这个软件还支持比如IE之类的浏览器，很实用。

4、矩形区域：最常用的，截取一个矩形框中的内容

5、固定区域：截取某一个固定区域

6、任意形状：比如截图一个圆形啊、心形啊之类的都可以

7、重复上次截取：这才是真正的最实用的功能，可以把上一次截取的区域再截取一次，超级好用

截图步骤

1PicPick软件截图，有如下的方法：

1、主界面截图：就是在如下界面上，选择相应的功能

2、在工具栏托盘中，单击PicPick的图标，选择“截取屏幕”

3、使用快捷键，具体的键位设定请参见软件的设置界面，图片中是我最常用的功能和自定义的快捷键

4、在编辑图片的窗口，左上角的文件菜单中，选择截取屏幕

图片修改

1截图之后会自动打开图片编辑的窗口，如图，最常用的文字、矩形框等工具都在界面最上方，使用方法也很简单，单击相应的图形即可

其他设置

1建议勾选该软件的如下设置，会让软件更好用

2建议让软件开机自动启动即可，因为不占太多内存，功能也足够强大

nodejs怎么才能用爬虫爬取https网页

爬虫爬https站点处理，方法步骤如下：

1、百度蜘蛛爬虫Spider爬取HTTPS网站

1)、根据网页中的超链接是否是HTTPS，网络中会有一些超链，如果是HTTPS会认为是HTTPS站点。

2)、根据站长平台提交入口的提交方式，例如主动提交，如果在文件当中提交的是HTTPS链接会以HTTPS的形式来发现。

3)、参考前链的抓取相对路径，第一个网页是HTTPS的，网站内容里面的路径提供的是相对路径，会认为这种链接是HTTPS。

4)、参考链接的历史状况，使用这种方式的原因主要是为了纠错，如果错误提取HTTPS会遇到两种情况，一种因为HTTPS不可访问会抓取失败，第二即使能抓成功可能展现出来的可能不是站长希望的，所以会有一定的纠错。

2、HTTPS链接的抓取

现在比较常见的两种，第一种是纯HTTPS抓取，就是它没有HTTP的版本，第二个是通过HTTP重定向到HTTPS，这两种都能正常的进行抓取跟HTTP抓取的效果是一样的。

3、HTTPS的展现

对于HTTPS数据，展现端会有明显的提示