python抓取网页数据(python抓取网页数据框数据)
如何用Python爬虫抓取网页内容?
爬虫流程
其实把网络爬辩中启虫抽象开来看，它无外乎包含如下几个步骤
模拟请求网页。携如模拟浏览器，打开目标网站。
获取数据。打开网站之后，就可以自动化的获取我们所需要的网站数据。
保存数据。拿到数据之后，需要持久化到本地文件或培慧者数据库等存储设备中。
那么我们该如何使用 Python 来编写自己的爬虫程序呢，在这里我要重点介绍一个 Python 库：Requests。
Requests 使用
Requests 库是 Python 中发起 HTTP 请求的库，使用非常方便简单。
模拟发送 HTTP 请求
发送 GET 请求
当我们用浏览器打开豆瓣首页时，其实发送的最原始的请求就是 GET 请求
import requests
res = requests.get('')
print(res)
print(type(res))
Response [200]
class 'requests.models.Response'
如何利用Python抓取静态网站及其内部资源？
这个非常闭册塌简单，requests+BeautifulSoup组合就可以轻松实现，下轿圆面我简单介绍一下，感兴趣的朋友可以自己尝试一下，这里以爬取糗事百科网站数据（静态网站）为例：
1.首先，安装requets模块，这个直接在cmd窗口输入命令“pipinstallrequests”就行，如下：
2.接着安装bs4模块，这个模块包含了BeautifulSoup，安装的话，和requests一样，直接输入安装命令“pipinstallbs4”即可，如下：
3.最后就是requests+BeautifulSoup组合爬取糗事百科，requests用于请求页面，BeautifulSoup用于解析页面，提取数据，主要步骤及截图如下：
这里假设爬取的数据包含如下几个字段，包括用户昵称、内容、好笑数和评论数：
接着打开对应网页源码，就可以直接看到字段信息，内容如下，嵌套在各个标签中，后面就是解析这些标签提取数据：
基于上面网页内容，测试代码如下，非常简单，直接find对应标签，提取文本内容即可：
程序运行截图如下，已经成功抓取到网站数据：
至此，我们就完成了使用python来爬去静态网站。总的来说，整个过程非常简单，也是最基本的爬虫内容，只要你有一定的python基础，熟悉一下上面的示例，很快就能掌握的，当然，你也可以使用urllib，正则表达式匹配等，都行，网上也有相关教程和资料，介绍的非常详细，感兴趣的话，可以姿段搜一下，希望以上分享的内容能对你有所帮助吧，也欢迎大家评论、留言进行补充。
如何用python抓取这个网页的内容？
Python实现常规的静态网页抓取时，往往是用urllib2来获取整个HTML页面，然后从HTML文件中逐字查找对应的关键字。如下所示：
复制代码代码如历罩下:
import urllib2
url="网址"
up=urllib2.urlopen(url)#打开目标页面，存入变量up
cont=up.read()#从up中读入该HTML文件
key1='肢握闹a href="http'#设置关键字1
key2="target"#设置关键字2
pa=cont.find(key1)#找出关键字1的位置
pt=cont.find(key2,pa)#找出关键字2的位置(从字1后皮裂面开始查找)
urlx=cont[pa:pt]#得到关键字1与关键字2之间的内容(即想要的数据)
print urlx