python爬取网页详细教程(python爬虫爬取网页)

http://www.itjxue.com  2023-03-25 04:58  来源:未知  点击次数: 

python爬虫什么教程最好

可以看这个教程:网页链接

此教程 通过三个爬虫案例来使学员认识Scrapy框架、了解Scrapy的架构、熟悉Scrapy各模块。

此教程的大致内容:

1、Scrapy的简介。

主要知识点:Scrapy的架构和运作流程。

2、搭建开发环境:

主要知识点:Windows及Linux环境下Scrapy的安装。

3、Scrapy Shell以及Scrapy Selectors的使用。

4、使用Scrapy完成网站信息的爬取。

主要知识点:创建Scrapy项目(scrapy startproject)、定义提取的结构化数据(Item)、编写爬取网站的 Spider 并提取出结构化数据(Item)、编写 Item Pipelines 来存储提取到的Item(即结构化数据)。

如何用 Python 爬取需要登录的网站

最近我必须执行一项从一个需要登录的网站上爬取一些网页的操作。它没有我想象中那么简单,因此我决定为它写一个辅助教程。

在本教程中,我们将从我们的bitbucket账户中爬取一个项目列表。

教程中的代码可以从我的?Github?中找到。

我们将会按照以下步骤进行:

提取登录需要的详细信息

执行站点登录

爬取所需要的数据

在本教程中,我使用了以下包(可以在?requirements.txt?中找到):

Python

1

2

? ?

requests

lxml

? ?

步骤一:研究该网站

打开登录页面

进入以下页面 ?“bitbucket.org/account/signin”。你会看到如下图所示的页面(执行注销,以防你已经登录)

仔细研究那些我们需要提取的详细信息,以供登录之用

在这一部分,我们会创建一个字典来保存执行登录的详细信息:

1. 右击 “Username or email” 字段,选择“查看元素”。我们将使用 “name” 属性为 “username” 的输入框的值。“username”将会是 key 值,我们的用户名/电子邮箱就是对应的 value 值(在其他的网站上这些 key 值可能是 “email”,“ user_name”,“ login”,等等)。

2. 右击 “Password” 字段,选择“查看元素”。在脚本中我们需要使用 “name” 属性为 “password”?的输入框的值。“password” 将是字典的 key? 值,我们输入的密码将是对应的 value 值(在其他网站key值可能是 “userpassword”,“loginpassword”,“pwd”,等等)。

3. 在源代码页面中,查找一个名为 “csrfmiddlewaretoken” 的隐藏输入标签。“csrfmiddlewaretoken” 将是 key 值,而对应的 value 值将是这个隐藏的输入值(在其他网站上这个 value 值可能是一个名为 “csrftoken”,“?authenticationtoken”?的隐藏输入值)。列如:“Vy00PE3Ra6aISwKBrPn72SFml00IcUV8”。

最后我们将会得到一个类似这样的字典:

Python

1

2

3

4

5

? ?

payload = {

"username": "lt;USER NAMEgt;",

"password": "lt;PASSWORDgt;",

"csrfmiddlewaretoken": "lt;CSRF_TOKENgt;"

}

? ?

请记住,这是这个网站的一个具体案例。虽然这个登录表单很简单,但其他网站可能需要我们检查浏览器的请求日志,并找到登录步骤中应该使用的相关的 key 值和 value 值。

步骤2:执行登录网站

对于这个脚本,我们只需要导入如下内容:

Python

1

2

? ?

import requests

from lxml import html

? ?

首先,我们要创建?session?对象。这个对象会允许我们保存所有的登录会话请求。

Python

1

? ?

session_requests = requests.session()

? ?

第二,我们要从该网页上提取在登录时所使用的 csrf 标记。在这个例子中,我们使用的是 lxml 和 xpath 来提取,我们也可以使用正则表达式或者其他的一些方法来提取这些数据。

Python

1

2

3

4

5

? ?

login_url = "n/?next=/"

result = session_requests.get(login_url)

tree = html.fromstring(result.text)

authenticity_token = list(set(tree.xpath("//input[@name='csrfmiddlewaretoken']/@value")))[0]

? ?

**更多关于xpath 和lxml的信息可以在这里找到。

接下来,我们要执行登录阶段。在这一阶段,我们发送一个 POST 请求给登录的 url。我们使用前面步骤中创建的 payload 作为 data 。也可以为该请求使用一个标题并在该标题中给这个相同的 url?添加一个参照键。

Python

1

2

3

4

5

? ?

result = session_requests.post(

login_url,

data = payload,

headers = dict(referer=login_url)

)

? ?

步骤三:爬取内容

现在,我们已经登录成功了,我们将从?bitbucket dashboard?页面上执行真正的爬取操作。

Python

1

2

3

4

5

? ?

url = '/overview'

result = session_requests.get(

url,

headers = dict(referer = url)

)

? ?

为了测试以上内容,我们从 bitbucket dashboard 页面上爬取了项目列表。我们将再次使用 xpath 来查找目标元素,清除新行中的文本和空格并打印出结果。如果一切都运行 OK,输出结果应该是你 bitbucket 账户中的 buckets / project 列表。

Python

1

2

3

4

5

? ?

tree = html.fromstring(result.content)

bucket_elems = tree.findall(".//span[@class='repo-name']/")

bucket_names = [bucket.text_content.replace("n", "").strip() for bucket in bucket_elems]

print bucket_names

? ?

你也可以通过检查从每个请求返回的状态代码来验证这些请求结果。它不会总是能让你知道登录阶段是否是成功的,但是可以用来作为一个验证指标。

例如:

Python

1

2

? ?

result.ok # 会告诉我们最后一次请求是否成功

result.status_code # 会返回给我们最后一次请求的状态

? ?

Python 爬虫的入门教程有哪些值得推荐的?

Python 爬虫的入门教程有很多,以下是我推荐的几本:

1.《Python 网络爬虫开发实战》:这本书介绍了Python爬虫的基本原理,以及如何使用Python编写爬虫程序,实现网络爬虫的功能。

2.《Python爬虫技术实战》:这本书介绍了Python爬虫的基本原理,以及如何使用Python编写爬虫程序,实现网络爬虫的功能。

3.《Python爬虫数据分析》:这本书介绍了如何分析爬取到的数据,以及如何使用Python编写爬虫程序,实现网络爬虫的功能。

4.《Python爬虫实战:深入理解Web抓取》:这本书介绍了如何使用Python编写爬虫程序,实现网络爬虫的功能,以及如何深入理解Web抓取。

5.《Python网络爬虫实战》:这本书介绍了如何使用Python编写爬虫程序,实现网络爬虫的功能,以及如何解决爬虫程序遇到的问题。

以上就是我推荐的几本Python爬虫的入门教程,可以帮助初学者快速掌握Python爬虫的基本技术。

(责任编辑:IT教学网)

更多

推荐免费资源文章