简单python爬虫完整代码下载(简单python爬虫完整代码下载安装)

Python爬虫之九阴真经

用Python 探索 金庸笔下的江湖！

带你用python看小说， 娱乐 学习两不误。

涉及的知识点有：

本文从传统匹配逻辑分析过渡到机器学习的词向量，全方位进行文本分析，值得学习，干货满满。（ 文末点击阅读原文 ）

以前金庸小说的网站有很多，但大部分已经无法访问，但由于很多金庸迷的存在，新站也是源源不断出现。我近期通过百度找到的一个还可以访问的金庸小说网址是： aHR0cDovL2ppbnlvbmcxMjMuY29tLw==

不过我已经准备好已经采集完成的数据，大家可以直接下载数据，跳过本章的内容。

数据源下载地址：

下面首先获取这15部作品的名称、创作年份和对应的链接。从开发者工具可以看到每行的a标签很多，我们需要的节点的特征在于后续临近节点紧接着一个创作日期的字符串：

那么我们就可以通过遍历所有的a标签并判断其后续一个临近节点的内容是否符合日期格式，最终完整下载代码为：

可以按照创作日期排序查看：

名称创作时间网址 书剑恩仇录1955年/shujianenchoulu/ 碧血剑1956年/bixuejian/ 射雕英雄传1957—1959年/shediaoyingxiongzhuan/ 神雕侠侣1959—1961年/shendiaoxialv/ 雪山飞狐1959年/xueshanfeihu/ 飞狐外传1960—1961年/feihuwaizhuan/ 白马啸西风1961年/baimaxiaoxifeng/ 倚天屠龙记1961年/yitiantulongji/ 鸳鸯刀1961年/yuanyangdao/ 天龙八部1963—1966年/tianlongbabu/ 连城诀1963年/lianchengjue/ 侠客行1965年/xiakexing/ 笑傲江湖1967年/xiaoaojianghu/ 鹿鼎记1969—1972年/ludingji/ 越女剑1970年/yuenvjian/

下面看看章节页节点的分布情况，以《雪山飞狐》为例：

同时可以看到部分小说的节点出现了倒序的情况，我们需要在识别出倒序时将其正序，完整代码：

测试一下：

可以看到章节已经顺利的正序排列。

小说每一章的详细页最后一行的数据我们不需要：

下载每章内容的代码：

然后我们就可以批量下载全部小说了：

为了更好分析金庸小说，我们还需要采集金庸小说的人物、武功和门派，个人并没有找到还可以访问相关数据的网站，于是自行收集整理了相关数据：

相关数据都以如下格式存储，例如金庸小说的人物：

武功：

数据源下载地址：

定义一个加载小说的方法：

首先我们加载人物数据：

可以预览一下天龙八部中的人物：

下面我们寻找一下每部小说的主角，统计每个人物的出场次数，显然次数越多主角光环越强，下面我们看看每部小说，出现次数最多的前十个人物：

上述结果用文本展示了每部小说的前5个主角，但是不够直观，下面我用pyecharts的树图展示一下：

显然，《神雕侠侣》中的杨过和小龙女，《天龙八部》中的萧（乔）峰，段誉，虚竹，《射雕英雄传》的郭靖和黄蓉，《倚天屠龙记》的张无忌和赵敏 都是主角光环最强的角色。

使用上述相同的方法，分析各种武功的出现频次，首先加载武功数据：

定义计数方法：

每部小说频次前5的武功可视化：

门派分析

加载数据并获取每部小说前10的门派：

可视化：

还可以测试一下树形图：

综合统计

下面我们编写一个函数，输入一部小说名，可以输出其最高频的主角、武功和门派：

例如查看天龙八部：

词云图分析

可以先添加所有的人物、武功和门派作为自定义词汇：

这里我们仅提取词长度不小于4的成语、俗语和短语进行分析，以天龙八部这部小说为例：

修改上述代码，查看《射雕英雄传》：

神雕侠侣：

主角相关剧情词云

我们知道《神雕侠侣》这部小说最重要的主角是杨过和小龙女，我们可能会对于杨过和小龙女之间所发生的故事很感兴趣。如果通过程序快速了解呢？

我们考虑把《神雕侠侣》这部小说每一段中出现杨过及小龙女的段落进行jieba分词并制作词云。

同样我们只看4个字以上的词：

这里的每一个词都能联想到发生在杨过和小龙女背后的一个故事。

同样的思路看看郭靖和黄蓉：

最后我们看看天龙八部的三兄弟相关的词云：

关系图分析

金庸小说15部小说中预计出现了1400个以上的角色，下面我们将遍历小说的每一段，在一段中出现的任意两个角色，都计数1。最终我们取出现频次最高的前200个关系对进行可视化。

完整代码如下：

这次我们生成了HTML文件是为了更方便的查看结果，前200个人物的关系情况如下：

门派关系分析

按照相同的方法分析所有小说的门派关系：

Word2Vec分析

Word2Vec 是一款将词表征为实数值向量的高效工具，接下来，我们将使用它来处理这些小说。

gensim 包提供了一个 Python 版的实现。

之前我有使用 gensim 包进行了相似文本的匹配，有兴趣可查阅：《批量模糊匹配的三种方法》

首先我要将所有小说的段落分词后添加到组织到一起（前面的程序可以重启）：

接下面我们使用Word2Vec训练模型：

我这边模型训练耗时15秒，若训练耗时较长可以把训练好的模型存到本地：

以后可以直接从本地磁盘读取模型：

有了模型，我们可以进行一些简单而有趣的测试。

首先看与乔(萧)峰相似的角色：

再看看与阿朱相似的角色：

除了角色，我们还可以看看门派：

还可以看看与降龙十八掌相似的武功秘籍：

在 Word2Vec 的模型里，有过“中国-北京=法国-巴黎”的例子，我们看看"段誉"和"段公子"类似于乔峰和什么的关系呢？

类似的还有：

查看韦小宝相关的关系：

门派武功之间的关系：

之前我们使用 Word2Vec 将每个词映射到了一个向量空间，因此，我们可以利用这个向量表示的空间，对这些词进行聚类分析。

首先取出所有角色对应的向量空间：

聚类算法有很多，这里我们使用基本的Kmeans算法进行聚类，如果只分成3类，那么很明显地可以将众人分成主角，配角，跑龙套的三类：

我们可以根据每个类别的角色数量的相对大小，判断该类别的角色是属于主角，配角还是跑龙套。

下面我们过滤掉众龙套角色之后，重新聚合成四类：

每次运行结果都不一样，大家可以调整类别数量继续测试。从结果可以看到，反派更倾向于被聚合到一起，非正常姓名的人物更倾向于被聚合在一起，主角更倾向于被聚合在一起。

现在我们采用层级聚类的方式，查看人物间的层次关系，这里同样龙套角色不再参与聚类。

层级聚类调用 scipy.cluster.hierarchy 中层级聚类的包，在此之前先解决matplotlib中文乱码问题：

接下来调用代码为：

然后我们可以得到金庸小说宇宙的人物层次关系地图，结果较长仅展示一部分结果：

当然所有小说混合产生的平行宇宙中，人物关系变得有些混乱，读者有兴趣可以拿单本小说作层次分析，就可以得到较为准确的人物层次关系。

对各种武功作与人物层次聚类相同的操作：

结果较长，仅展示部分结果：

可以看到，比较少的黄色部分明显是主角比较厉害的武功，而绿色比较多的部分基本都是配角的武功。

最后我们对门派进行层次聚类：

比较少的这一类，基本都是在某几部小说中出现的主要门派，而大多数门派都是打酱油的。

本文从金庸小说数据的采集，到普通的频次分析、剧情分析、关系分析，再到使用词向量空间分析相似关系，最后使用scipy进行所有小说的各种层次聚类。

求一个python3爬虫代码，可以从小说网站上直接把小说的文字抄下来，并整合到一个新的文本里

from?bs4?import?BeautifulSoup

from?requests.exceptions?import?RequestException

import?re

import?requests

import?os

def?get_html_text(url):

????try:

????????r?=?requests.get(url)

????????r.raise_for_status()

????????return?r.text

????except?RequestException:

????????return?None

def?get_chapter_names(html):

????soup?=?BeautifulSoup(html,?'lxml')

????charpter?=?soup.select('.bg')

????charpter_names?=?[]

????for?entry?in?charpter[1:]:

????????charpter_name?=?re.findall('h2(.*?)/h2',?str(entry))

????????file_name?=?re.findall('a?href.*?(.*?)/a',?str(entry))

????????if?charpter_name?and?file_name:

????????????for?name?in?file_name:

????????????????name?=?name.split('?')[0]

????????????????charpter_names.append(charpter_name[0]?+?'_'?+?name)

????????else:

????????????pass

????return?set(charpter_names)

def?get_each_url(html):

????soup?=?BeautifulSoup(html,?'lxml')

????urls?=?soup.select('ul?li?a')

????for?url?in?urls:

????????link?=?url.get('href')

????????text?=?url.text.split('?')[0]

????????full_name?=?url.text.replace('?','')

????????yield?{'url':?link,?'text':?text,'full_name':full_name}

????????print(text)

def?get_text(url):

????r?=?requests.get(url)

????r.encoding?=?r.apparent_encoding

????soup?=?BeautifulSoup(r.text,?'lxml')

????items?=?soup.select('div.content-body')

????item?=?re.findall(';(.*?);',?items[0].text,?re.S)

????return?item[0].encode()

def?save_to_file(url,?text,?full_name):

????base_dir?=?'daomu'

????path?=?'{}\\{}\\{}'.format(os.getcwd(),?base_dir,?text)

????if?not?os.path.exists(path):

????????try:

????????????os.makedirs(path)

????????except:

????????????pass

????try:

????????with?open(path?+'\\'+?full_name?+'.txt',?'wb')?as?f:

????????????f.write(get_text(url))

????except:

????????pass

def?main():

????url?=?''

????html?=?get_html_text(url)

????chapters?=?get_chapter_names(html)

????for?chapter?in?chapters:

????????for?each?in?get_each_url(html):

????????????if?each['text']?==?chapter.split('_')[-1]:

????????????????save_to_file(each['url'],chapter,each['full_name'])

if?__name__?==?'__main__':

????main()

能发下中谷教育-Python视频教程-30-爬虫的种子或下载链接么？

《Python3爬虫入门到精通课程视频【附软件与资料】【34课时】--崔庆才》百度网盘资源免费下载

链接:

?pwd=zxcv 提取码:zxcv

Python3爬虫入门到精通课程视频【附软件与资料】【34课时】--崔庆才|章节5： 分布式篇|章节4： 框架篇|章节3： 实战篇|章节2： 基础篇|章节1： 环境配置|Python3爬虫课程资料代码.zip|2018-Python3网络爬虫开发实战-崔庆才.pdf|课时06：Python爬虫常用库的安装.zip|课时05：Python多版本共存配置.zip|课时04：MySQL的安装.zip|课时03：Redis环境配置.zip|课时02：MongoDB环境配置.zip|课时01：Python3+Pip环境配置.zip|课时13：Selenium详解.zip ?

如何用Python做爬虫

1）首先你要明白爬虫怎样工作。

想象你是一只蜘蛛，现在你被放到了互联“网”上。那么，你需要把所有的网页都看一遍。怎么办呢？没问题呀，你就随便从某个地方开始，比如说人民日报的首页，这个叫initial pages，用$表示吧。

在人民日报的首页，你看到那个页面引向的各种链接。于是你很开心地从爬到了“国内新闻”那个页面。太好了，这样你就已经爬完了俩页面（首页和国内新闻）！暂且不用管爬下来的页面怎么处理的，你就想象你把这个页面完完整整抄成了个html放到了你身上。

突然你发现， 在国内新闻这个页面上，有一个链接链回“首页”。作为一只聪明的蜘蛛，你肯定知道你不用爬回去的吧，因为你已经看过了啊。所以，你需要用你的脑子，存下你已经看过的页面地址。这样，每次看到一个可能需要爬的新链接，你就先查查你脑子里是不是已经去过这个页面地址。如果去过，那就别去了。

好的，理论上如果所有的页面可以从initial page达到的话，那么可以证明你一定可以爬完所有的网页。

那么在python里怎么实现呢？

很简单

import Queue

initial_page = "初始化页"

url_queue = Queue.Queue()

seen = set()

seen.insert(initial_page)

url_queue.put(initial_page)

while(True): #一直进行直到海枯石烂

if url_queue.size()0:

current_url = url_queue.get() #拿出队例中第一个的url

store(current_url) #把这个url代表的网页存储好

for next_url in extract_urls(current_url): #提取把这个url里链向的url

if next_url not in seen:

seen.put(next_url)

url_queue.put(next_url)

else:

break

写得已经很伪代码了。

所有的爬虫的backbone都在这里，下面分析一下为什么爬虫事实上是个非常复杂的东西——搜索引擎公司通常有一整个团队来维护和开发。

2）效率

如果你直接加工一下上面的代码直接运行的话，你需要一整年才能爬下整个豆瓣的内容。更别说Google这样的搜索引擎需要爬下全网的内容了。

问题出在哪呢？需要爬的网页实在太多太多了，而上面的代码太慢太慢了。设想全网有N个网站，那么分析一下判重的复杂度就是N*log(N)，因为所有网页要遍历一次，而每次判重用set的话需要log(N)的复杂度。OK，OK，我知道python的set实现是hash——不过这样还是太慢了，至少内存使用效率不高。

通常的判重做法是怎样呢？Bloom Filter. 简单讲它仍然是一种hash的方法，但是它的特点是，它可以使用固定的内存（不随url的数量而增长）以O(1)的效率判定url是否已经在set中。可惜天下没有白吃的午餐，它的唯一问题在于，如果这个url不在set中，BF可以100%确定这个url没有看过。但是如果这个url在set中，它会告诉你：这个url应该已经出现过，不过我有2%的不确定性。注意这里的不确定性在你分配的内存足够大的时候，可以变得很小很少。一个简单的教程:Bloom Filters by Example

注意到这个特点，url如果被看过，那么可能以小概率重复看一看（没关系，多看看不会累死）。但是如果没被看过，一定会被看一下（这个很重要，不然我们就要漏掉一些网页了！）。 [IMPORTANT: 此段有问题，请暂时略过]

好，现在已经接近处理判重最快的方法了。另外一个瓶颈——你只有一台机器。不管你的带宽有多大，只要你的机器下载网页的速度是瓶颈的话，那么你只有加快这个速度。用一台机子不够的话——用很多台吧！当然，我们假设每台机子都已经进了最大的效率——使用多线程（python的话，多进程吧）。

3）集群化抓取

爬取豆瓣的时候，我总共用了100多台机器昼夜不停地运行了一个月。想象如果只用一台机子你就得运行100个月了...

那么，假设你现在有100台机器可以用，怎么用python实现一个分布式的爬取算法呢？

我们把这100台中的99台运算能力较小的机器叫作slave，另外一台较大的机器叫作master，那么回顾上面代码中的url_queue，如果我们能把这个queue放到这台master机器上，所有的slave都可以通过网络跟master联通，每当一个slave完成下载一个网页，就向master请求一个新的网页来抓取。而每次slave新抓到一个网页，就把这个网页上所有的链接送到master的queue里去。同样，bloom filter也放到master上，但是现在master只发送确定没有被访问过的url给slave。Bloom Filter放到master的内存里，而被访问过的url放到运行在master上的Redis里，这样保证所有操作都是O(1)。（至少平摊是O(1)，Redis的访问效率见:LINSERT – Redis)

考虑如何用python实现：

在各台slave上装好scrapy，那么各台机子就变成了一台有抓取能力的slave，在master上装好Redis和rq用作分布式队列。

代码于是写成

#slave.py

current_url = request_from_master()

to_send = []

for next_url in extract_urls(current_url):

to_send.append(next_url)

store(current_url);

send_to_master(to_send)

#master.py

distributed_queue = DistributedQueue()

bf = BloomFilter()

initial_pages = ""

while(True):

if request == 'GET':

if distributed_queue.size()0:

send(distributed_queue.get())

else:

break

elif request == 'POST':

bf.put(request.url)

好的，其实你能想到，有人已经给你写好了你需要的：darkrho/scrapy-redis · GitHub

4）展望及后处理

虽然上面用很多“简单”，但是真正要实现一个商业规模可用的爬虫并不是一件容易的事。上面的代码用来爬一个整体的网站几乎没有太大的问题。

但是如果附加上你需要这些后续处理，比如

有效地存储（数据库应该怎样安排）

有效地判重（这里指网页判重，咱可不想把人民日报和抄袭它的大民日报都爬一遍）

有效地信息抽取（比如怎么样抽取出网页上所有的地址抽取出来，“朝阳区奋进路中华道”），搜索引擎通常不需要存储所有的信息，比如图片我存来干嘛...

及时更新（预测这个网页多久会更新一次）

如你所想，这里每一个点都可以供很多研究者十数年的研究。虽然如此，

“路漫漫其修远兮,吾将上下而求索”。

所以，不要问怎么入门，直接上路就好了：）