Python抓取网页(python抓取网页表格)
从零开始学Python-使用Selenium抓取动态网页数据
AJAX（Asynchronouse JavaScript And XML：异步JavaScript和XML）通过在后台与服务器进行少量数据交换，Ajax 可以使网页实现异步更新，这意味着可以在不重新加载整个网页的情况下，对网页的某部分进行局部更新。传统的网页（不使用Ajax）如果需要更新内容，必须重载整个网页页面。
因为传统的网页在传输数据格式方面，使用的是 XML 语法，因此叫做 AJAX ，其实现在数据交互基本上都是使用 JSON 。使用AJAX加载的数据，即使使用了JS将数据渲染到了浏览器中，在 右键-查看网页源代码 还是不能看到通过ajax加载的数据，只能看到使用这个url加载的html代码。
法1：直接分析ajax调用的接口。然后通过代码请求这个接口。
法2：使用Selenium+chromedriver模拟浏览器行为获取数据。
Selenium 相当于是一个机器人。可以模拟人类在浏览器上的一些行为，自动处理浏览器上的一些行为，比如点击，填充数据，删除cookie等。 chromedriver 是一个驱动 Chrome 浏览器的驱动程序，使用他才可以驱动浏览器。当然针对不同的浏览器有不同的driver。以下列出了不同浏览器及其对应的driver：
现在以一个简单的获取百度首页的例子来讲下 Selenium 和 chromedriver 如何快速入门：
参考：Selenium的使用
直接直接分析ajax调用的接口爬取
selenium结合lxml爬取
【Python爬虫】分析网页真实请求
1、抓取网页、分析请求
2、解析网页、寻找数据
3、储存数据、多页处理
翻页有规律：
很多网址在第一页时并没有变化，多翻下一页后规律就出来，比如 豆瓣第一页 和 豆瓣第三页
发现start为40，limit=20，所以猜测start=0就是第一页，每页显示20条数据，对于第三页显示的参数可以一个个删除验证，可以减去不必要的参数， 但是删除前一定要做好数据的对比
（1） 文本框输入后产生一个请求，如常见的登录、注册页面
Referer：表示当前请求的来源
Request URL：表示实际请求地址
翻页后URL不变，该如何寻找请求？
如：
通过对比可以发现网站是通过pageIndex参数控制翻页的，？表示连接
接下来用抓包工具分析下 ，从第四页开始看URL就知道了，但是前面几面需要查看请求的参数，这里偏多，就切换到【Inspectors--Webforms】选项，看的比较直观
类似的网站还有 今日头条 ，有兴趣的朋友可以去研究下
（可通过获取max_behot_time的值而改变as和cp）
如何用python爬取js动态生成内容的页面
抓取js动态生成的内容的页面有两种基本的解决方案
1用dryscrape库动态抓取页面
js脚本是通过浏览器来执行并返回信息的，所以，抓取js执行后的页面，一个最直接的方式就是用python模拟浏览器的行为。WebKit 是一个开源的浏览器引擎，python提供了许多库可以调用这个引擎，dryscrape便是其中之一，它调用webkit引擎来处理包含js等的网页！
2 selenium web测试框架
selenium是一个web测试框架，它允许调用本地的浏览器引擎发送网页请求，所以，它同样可以实现抓取页面的要求。
如何用Python爬虫抓取网页内容?
爬虫流程
其实把网络爬虫抽象开来看，它无外乎包含如下几个步骤
模拟请求网页。模拟浏览器，打开目标网站。
获取数据。打开网站之后，就可以自动化的获取我们所需要的网站数据。
保存数据。拿到数据之后，需要持久化到本地文件或者数据库等存储设备中。
那么我们该如何使用 Python 来编写自己的爬虫程序呢，在这里我要重点介绍一个 Python 库：Requests。
Requests 使用
Requests 库是 Python 中发起 HTTP 请求的库，使用非常方便简单。
模拟发送 HTTP 请求
发送 GET 请求
当我们用浏览器打开豆瓣首页时，其实发送的最原始的请求就是 GET 请求
import requests
res = requests.get('')
print(res)
print(type(res))
Response [200]
class 'requests.models.Response'
python爬取网页数据,为啥保存到Excel里面没有东西？
如果您使用 Python 从网页中抓取数据并将其保存到 Excel 文件，但 Excel 文件不包含任何数据，则可能有多种原因。以下是一些可能的原因和解决方案：
您没有使用正确的方法将数据写入 Excel 文件。若要将数据保存到 Excel 文件，需要使用库，例如 或 。这些库提供可用于创建和写入 Excel 文件的函数和类。确保已导入正确的库，并使用正确的方法将数据写入文件。openpyxlxlsxwriter
将数据写入 Excel 文件后，您不会保存该文件。将数据写入 Excel 文件后，需要使用 or 方法保存对文件的更改。如果不保存文件，则不会保留写入文件的数据。save()save_as()
您没有在正确的模式下打开 Excel 文件。使用 Python 打开 Excel 文件时，需要指定是要读取文件还是写入文件。如果以只读模式打开文件，则无法向其写入数据。确保在写入模式下打开文件，在调用该方法时使用该选项。write_onlyopen()
您没有将数据写入 Excel 文件中的正确工作表。一个 Excel 文件可以包含多个工作表，您需要指定要将数据写入哪个工作表。请确保在调用 or 方法将数据写入 Excel 文件时使用正确的工作表名称。append()write()
回答不易望请采纳