python爬取网页详细教程(python爬取整个网站)
Python 爬虫的入门教程有哪些值得推荐的？
Python 爬虫的入门教程有很多，以下是我推荐的几本：
1.《Python 网络爬虫开发实战》：这本书介绍了Python爬虫的基本原理，以及如何使用Python编写爬虫程序，实现网络爬虫的功能。
2.《Python爬虫技术实战》：这本书介绍了Python爬虫的基本原理，以及如何使用Python编写爬虫程序，实现网络爬虫的功能。
3.《Python爬虫数据分析》：这本书介绍了如何分析爬取到的数据，以及如何使用Python编写爬虫程序，实现网络爬虫的功能。
4.《Python爬虫实战：深入理解Web抓取》：这本书介绍了如何使用Python编写爬虫程序，实现网络爬虫的功能，以及如何深入理解Web抓取。
5.《Python网络爬虫实战》：这本书介绍了如何使用Python编写爬虫程序，实现网络爬虫的功能，以及如何解决爬虫程序遇到的问题。
以上就是我推荐的几本Python爬虫的入门教程，可以帮助初学者快速掌握Python爬虫的基本技术。
python入门教程？
给大家整理的这套python学习路线图，按照此教程一步步的学习来，肯定会对python有更深刻的认识。或许可以喜欢上python这个易学，精简，开源的语言。此套教程，不但有视频教程，还有源码分享，让大家能真正打开python的大门，进入这个领域。现在互联网巨头，都已经转投到人工智能领域，而人工智能最好的编程语言就是python，未来前景显而易见。黑马程序员是国内最早开设人工智能的机构。
一、首先先推荐一个教程
8天深入理解python教程：
主要讲解，python开发环境的构建，基础的数据类型，字符串如何处理等简单的入门级教程。
二、第二个教程，是系统的基础知识，学习周期大概一个月左右的时间，根据自己的学习能力吸收能力来定。 初学者只要跟着此套教程学习，入门完全没有问题。
学完后可掌握的核心能力
1、掌握基本的Linux系统操作；
2、掌握Python基础编程语法；
3、建立起编程思维和面向对象思想；
可解决的现实问题：
字符串排序，切割，逆置；猜数字、飞机大战游戏；
市场价值：
具备编程思维，掌握Python基本语法，能开发出一些小游戏
所涉及知识点：
教程地址：
三、拓展教程
1、网络爬虫-利用python实现爬取网页神技
第一天：
第二天：
2、Python之web开发利刃
第一天：
第二天：
3、python之大数据开发奇兵
python爬虫什么教程最好
可以看这个教程：网页链接
此教程 通过三个爬虫案例来使学员认识Scrapy框架、了解Scrapy的架构、熟悉Scrapy各模块。
此教程的大致内容：
1、Scrapy的简介。
主要知识点：Scrapy的架构和运作流程。
2、搭建开发环境：
主要知识点：Windows及Linux环境下Scrapy的安装。
3、Scrapy Shell以及Scrapy Selectors的使用。
4、使用Scrapy完成网站信息的爬取。
主要知识点：创建Scrapy项目(scrapy startproject)、定义提取的结构化数据(Item)、编写爬取网站的 Spider 并提取出结构化数据(Item)、编写 Item Pipelines 来存储提取到的Item(即结构化数据)。
如何用 Python 爬取需要登录的网站
最近我必须执行一项从一个需要登录的网站上爬取一些网页的操作。它没有我想象中那么简单，因此我决定为它写一个辅助教程。
在本教程中，我们将从我们的bitbucket账户中爬取一个项目列表。
教程中的代码可以从我的?Github?中找到。
我们将会按照以下步骤进行：
提取登录需要的详细信息
执行站点登录
爬取所需要的数据
在本教程中，我使用了以下包（可以在?requirements.txt?中找到）：
Python
1
2
? ?
requests
lxml
? ?
步骤一：研究该网站
打开登录页面
进入以下页面 ?“bitbucket.org/account/signin”。你会看到如下图所示的页面（执行注销，以防你已经登录）
仔细研究那些我们需要提取的详细信息，以供登录之用
在这一部分，我们会创建一个字典来保存执行登录的详细信息：
1. 右击 “Username or email” 字段，选择“查看元素”。我们将使用 “name” 属性为 “username” 的输入框的值。“username”将会是 key 值，我们的用户名/电子邮箱就是对应的 value 值（在其他的网站上这些 key 值可能是 “email”，“ user_name”，“ login”，等等）。
2. 右击 “Password” 字段，选择“查看元素”。在脚本中我们需要使用 “name” 属性为 “password”?的输入框的值。“password” 将是字典的 key? 值，我们输入的密码将是对应的 value 值（在其他网站key值可能是 “userpassword”，“loginpassword”，“pwd”，等等）。
3. 在源代码页面中，查找一个名为 “csrfmiddlewaretoken” 的隐藏输入标签。“csrfmiddlewaretoken” 将是 key 值，而对应的 value 值将是这个隐藏的输入值（在其他网站上这个 value 值可能是一个名为 “csrftoken”，“?authenticationtoken”?的隐藏输入值）。列如：“Vy00PE3Ra6aISwKBrPn72SFml00IcUV8”。
最后我们将会得到一个类似这样的字典：
Python
1
2
3
4
5
? ?
payload = {
"username": "lt;USER NAMEgt;",
"password": "lt;PASSWORDgt;",
"csrfmiddlewaretoken": "lt;CSRF_TOKENgt;"
}
? ?
请记住，这是这个网站的一个具体案例。虽然这个登录表单很简单，但其他网站可能需要我们检查浏览器的请求日志，并找到登录步骤中应该使用的相关的 key 值和 value 值。
步骤2：执行登录网站
对于这个脚本，我们只需要导入如下内容：
Python
1
2
? ?
import requests
from lxml import html
? ?
首先，我们要创建?session?对象。这个对象会允许我们保存所有的登录会话请求。
Python
1
? ?
session_requests = requests.session()
? ?
第二，我们要从该网页上提取在登录时所使用的 csrf 标记。在这个例子中，我们使用的是 lxml 和 xpath 来提取，我们也可以使用正则表达式或者其他的一些方法来提取这些数据。
Python
1
2
3
4
5
? ?
login_url = "n/?next=/"
result = session_requests.get(login_url)
tree = html.fromstring(result.text)
authenticity_token = list(set(tree.xpath("//input[@name='csrfmiddlewaretoken']/@value")))[0]
? ?
**更多关于xpath 和lxml的信息可以在这里找到。
接下来，我们要执行登录阶段。在这一阶段，我们发送一个 POST 请求给登录的 url。我们使用前面步骤中创建的 payload 作为 data 。也可以为该请求使用一个标题并在该标题中给这个相同的 url?添加一个参照键。
Python
1
2
3
4
5
? ?
result = session_requests.post(
login_url,
data = payload,
headers = dict(referer=login_url)
)
? ?
步骤三：爬取内容
现在，我们已经登录成功了，我们将从?bitbucket dashboard?页面上执行真正的爬取操作。
Python
1
2
3
4
5
? ?
url = '/overview'
result = session_requests.get(
url,
headers = dict(referer = url)
)
? ?
为了测试以上内容，我们从 bitbucket dashboard 页面上爬取了项目列表。我们将再次使用 xpath 来查找目标元素，清除新行中的文本和空格并打印出结果。如果一切都运行 OK，输出结果应该是你 bitbucket 账户中的 buckets / project 列表。
Python
1
2
3
4
5
? ?
tree = html.fromstring(result.content)
bucket_elems = tree.findall(".//span[@class='repo-name']/")
bucket_names = [bucket.text_content.replace("n", "").strip() for bucket in bucket_elems]
print bucket_names
? ?
你也可以通过检查从每个请求返回的状态代码来验证这些请求结果。它不会总是能让你知道登录阶段是否是成功的，但是可以用来作为一个验证指标。
例如：
Python
1
2
? ?
result.ok # 会告诉我们最后一次请求是否成功
result.status_code # 会返回给我们最后一次请求的状态
? ?