python爬虫代码下载(python3爬虫代码)

能发下中谷教育-Python视频教程-30-爬虫的种子或下载链接么？

《Python3爬虫入门到精通课程视频【附软件与资料】【34课时】--崔庆才》百度网盘资源免费下载

链接:

?pwd=zxcv 提取码:zxcv

Python3爬虫入门到精通课程视频【附软件与资料】【34课时】--崔庆才|章节5： 分布式篇|章节4： 框架篇|章节3： 实战篇|章节2： 基础篇|章节1： 环境配置|Python3爬虫课程资料代码.zip|2018-Python3网络爬虫开发实战-崔庆才.pdf|课时06：Python爬虫常用库的安装.zip|课时05：Python多版本共存配置.zip|课时04：MySQL的安装.zip|课时03：Redis环境配置.zip|课时02：MongoDB环境配置.zip|课时01：Python3+Pip环境配置.zip|课时13：Selenium详解.zip ?

python 爬虫（学了3天写出的代码）

import requests import parsel import threading,os import queue

class Thread(threading.Thread): def init (self,queue,path): threading.Thread. init (self) self.queue = queue self.path = path

def download_novel(url, path): res = get_response(url) selctor = parsel.Selector(res) title = selctor.css('.bookname h1::text').get() print(title) content = ' '.join(selctor.css('#content::text').getall()) # 使用join方法改变内容； with open( path + title + ".txt","w",encoding='utf-8') as f: f.write(content) print(title,'保存成功!') f.close()

def get_response(url): # 获得网站源码； response = requests.get(url) response.encoding = 'utf-8' return response.text

if name == ' main ': # 函数入口 url = str(input('请输入你要下载小说的url:')) response = get_response(url) sel = parsel.Selector(response) novelname = sel.css('#info h1::text').get() urllist = sel.css('.box_con p dl dd a::attr(href)').getall() queue = queue.Queue() path = './{}/'.format(novelname)

如何用python写出爬虫？

先检查是否有API

API是网站官方提供的数据接口，如果通过调用API采集数据，则相当于在网站允许的范围内采集，这样既不会有道德法律风险，也没有网站故意设置的障碍；不过调用API接口的访问则处于网站的控制中，网站可以用来收费，可以用来限制访问上限等。整体来看，如果数据采集的需求并不是很独特，那么有API则应优先采用调用API的方式。

数据结构分析和数据存储

爬虫需求要十分清晰，具体表现为需要哪些字段，这些字段可以是网页上现有的，也可以是根据网页上现有的字段进一步计算的，这些字段如何构建表，多张表如何连接等。值得一提的是，确定字段环节，不要只看少量的网页，因为单个网页可以缺少别的同类网页的字段，这既有可能是由于网站的问题，也可能是用户行为的差异，只有多观察一些网页才能综合抽象出具有普适性的关键字段——这并不是几分钟看几个网页就可以决定的简单事情，如果遇上了那种臃肿、混乱的网站，可能坑非常多。

对于大规模爬虫，除了本身要采集的数据外，其他重要的中间数据（比如页面Id或者url）也建议存储下来，这样可以不必每次重新爬取id。

数据库并没有固定的选择，本质仍是将Python里的数据写到库里，可以选择关系型数据库MySQL等，也可以选择非关系型数据库MongoDB等；对于普通的结构化数据一般存在关系型数据库即可。sqlalchemy是一个成熟好用的数据库连接框架，其引擎可与Pandas配套使用，把数据处理和数据存储连接起来，一气呵成。

数据流分析

对于要批量爬取的网页，往上一层，看它的入口在哪里；这个是根据采集范围来确定入口，比如若只想爬一个地区的数据，那从该地区的主页切入即可；但若想爬全国数据，则应更往上一层，从全国的入口切入。一般的网站网页都以树状结构为主，找到切入点作为根节点一层层往里进入即可。

值得注意的一点是，一般网站都不会直接把全量的数据做成列表给你一页页往下翻直到遍历完数据，比如链家上面很清楚地写着有24587套二手房，但是它只给100页，每页30个，如果直接这么切入只能访问3000个，远远低于真实数据量；因此先切片，再整合的数据思维可以获得更大的数据量。显然100页是系统设定，只要超过300个就只显示100页，因此可以通过其他的筛选条件不断细分，只到筛选结果小于等于300页就表示该条件下没有缺漏；最后把各种条件下的筛选结果集合在一起，就能够尽可能地还原真实数据量。

明确了大规模爬虫的数据流动机制，下一步就是针对单个网页进行解析，然后把这个模式复制到整体。对于单个网页，采用抓包工具可以查看它的请求方式，是get还是post，有没有提交表单，欲采集的数据是写入源代码里还是通过AJAX调用JSON数据。

同样的道理，不能只看一个页面，要观察多个页面，因为批量爬虫要弄清这些大量页面url以及参数的规律，以便可以自动构造；有的网站的url以及关键参数是加密的，这样就悲剧了，不能靠着明显的逻辑直接构造，这种情况下要批量爬虫，要么找到它加密的js代码，在爬虫代码上加入从明文到密码的加密过程；要么采用下文所述的模拟浏览器的方式。

数据采集

之前用R做爬虫，不要笑，R的确可以做爬虫工作；但在爬虫方面，Python显然优势更明显，受众更广，这得益于其成熟的爬虫框架，以及其他的在计算机系统上更好的性能。scrapy是一个成熟的爬虫框架，直接往里套用就好，比较适合新手学习；requests是一个比原生的urllib包更简洁强大的包，适合作定制化的爬虫功能。requests主要提供一个基本访问功能，把网页的源代码给download下来。一般而言，只要加上跟浏览器同样的Requests Headers参数，就可以正常访问，status_code为200，并成功得到网页源代码；但是也有某些反爬虫较为严格的网站，这么直接访问会被禁止；或者说status为200也不会返回正常的网页源码，而是要求写验证码的js脚本等。

下载到了源码之后，如果数据就在源码中，这种情况是最简单的，这就表示已经成功获取到了数据，剩下的无非就是数据提取、清洗、入库。但若网页上有，然而源代码里没有的，就表示数据写在其他地方，一般而言是通过AJAX异步加载JSON数据，从XHR中找即可找到；如果这样还找不到，那就需要去解析js脚本了。

解析工具

源码下载后，就是解析数据了，常用的有两种方法，一种是用BeautifulSoup对树状HTML进行解析，另一种是通过正则表达式从文本中抽取数据。

BeautifulSoup比较简单，支持Xpath和CSSSelector两种途径，而且像Chrome这类浏览器一般都已经把各个结点的Xpath或者CSSSelector标记好了，直接复制即可。以CSSSelector为例，可以选择tag、id、class等多种方式进行定位选择，如果有id建议选id，因为根据HTML语法，一个id只能绑定一个标签。

正则表达式很强大，但构造起来有点复杂，需要专门去学习。因为下载下来的源码格式就是字符串，所以正则表达式可以大显身手，而且处理速度很快。

对于HTML结构固定，即同样的字段处tag、id和class名称都相同，采用BeautifulSoup解析是一种简单高效的方案，但有的网站混乱，同样的数据在不同页面间HTML结构不同，这种情况下BeautifulSoup就不太好使；如果数据本身格式固定，则用正则表达式更方便。比如以下的例子，这两个都是深圳地区某个地方的经度，但一个页面的class是long，一个页面的class是longitude，根据class来选择就没办法同时满足2个，但只要注意到深圳地区的经度都是介于113到114之间的浮点数，就可以通过正则表达式"11[3-4].\d+"来使两个都满足。

数据整理

一般而言，爬下来的原始数据都不是清洁的，所以在入库前要先整理；由于大部分都是字符串，所以主要也就是字符串的处理方式了。

字符串自带的方法可以满足大部分简单的处理需求，比如strip可以去掉首尾不需要的字符或者换行符等，replace可以将指定部分替换成需要的部分，split可以在指定部分分割然后截取一部分。

如果字符串处理的需求太复杂以致常规的字符串处理方法不好解决，那就要请出正则表达式这个大杀器。

Pandas是Python中常用的数据处理模块，虽然作为一个从R转过来的人一直觉得这个模仿R的包实在是太难用了。Pandas不仅可以进行向量化处理、筛选、分组、计算，还能够整合成DataFrame，将采集的数据整合成一张表，呈现最终的存储效果。

写入数据库

如果只是中小规模的爬虫，可以把最后的爬虫结果汇合成一张表，最后导出成一张表格以便后续使用；但对于表数量多、单张表容量大的大规模爬虫，再导出成一堆零散的表就不合适了，肯定还是要放在数据库中，既方便存储，也方便进一步整理。

写入数据库有两种方法，一种是通过Pandas的DataFrame自带的to_sql方法，好处是自动建表，对于对表结构没有严格要求的情况下可以采用这种方式，不过值得一提的是，如果是多行的DataFrame可以直接插入不加索引，但若只有一行就要加索引否则报错，虽然这个认为不太合理；另一种是利用数据库引擎来执行SQL语句，这种情况下要先自己建表，虽然多了一步，但是表结构完全是自己控制之下。Pandas与SQL都可以用来建表、整理数据，结合起来使用效率更高。

python爬虫 将在线html网页中的图片链接替换成本地链接并将html文件下载到本地

import os,re

def check_flag(flag):

regex = re.compile(r'images\/')

result = True if regex.match(flag) else False

return result

#soup = BeautifulSoup(open('index.html'))

from bs4 import BeautifulSoup

html_content = '''

a href=""测试01/a

a href=""测试02/a

a href=""测试01/a

a href=""测试01/a

'''

file = open(r'favour-en.html','r',encoding="UTF-8")

soup = BeautifulSoup(file, 'html.parser')

for element in soup.find_all('img'):

if 'src' in element.attrs:

print(element.attrs['src'])

if check_flag(element.attrs['src']):

#if element.attrs['src'].find("png"):

element.attrs['src'] = "michenxxxxxxxxxxxx" +'/'+ element.attrs['src']

print("##################################")

with open('index.html', 'w',encoding="UTF-8") as fp:

fp.write(soup.prettify()) # prettify()的作?是将sp美化?下，有可读性

Python爬虫之九阴真经

用Python 探索 金庸笔下的江湖！

带你用python看小说， 娱乐 学习两不误。

涉及的知识点有：

本文从传统匹配逻辑分析过渡到机器学习的词向量，全方位进行文本分析，值得学习，干货满满。（ 文末点击阅读原文 ）

以前金庸小说的网站有很多，但大部分已经无法访问，但由于很多金庸迷的存在，新站也是源源不断出现。我近期通过百度找到的一个还可以访问的金庸小说网址是： aHR0cDovL2ppbnlvbmcxMjMuY29tLw==

不过我已经准备好已经采集完成的数据，大家可以直接下载数据，跳过本章的内容。

数据源下载地址：

下面首先获取这15部作品的名称、创作年份和对应的链接。从开发者工具可以看到每行的a标签很多，我们需要的节点的特征在于后续临近节点紧接着一个创作日期的字符串：

那么我们就可以通过遍历所有的a标签并判断其后续一个临近节点的内容是否符合日期格式，最终完整下载代码为：

可以按照创作日期排序查看：

名称创作时间网址 书剑恩仇录1955年/shujianenchoulu/ 碧血剑1956年/bixuejian/ 射雕英雄传1957—1959年/shediaoyingxiongzhuan/ 神雕侠侣1959—1961年/shendiaoxialv/ 雪山飞狐1959年/xueshanfeihu/ 飞狐外传1960—1961年/feihuwaizhuan/ 白马啸西风1961年/baimaxiaoxifeng/ 倚天屠龙记1961年/yitiantulongji/ 鸳鸯刀1961年/yuanyangdao/ 天龙八部1963—1966年/tianlongbabu/ 连城诀1963年/lianchengjue/ 侠客行1965年/xiakexing/ 笑傲江湖1967年/xiaoaojianghu/ 鹿鼎记1969—1972年/ludingji/ 越女剑1970年/yuenvjian/

下面看看章节页节点的分布情况，以《雪山飞狐》为例：

同时可以看到部分小说的节点出现了倒序的情况，我们需要在识别出倒序时将其正序，完整代码：

测试一下：

可以看到章节已经顺利的正序排列。

小说每一章的详细页最后一行的数据我们不需要：

下载每章内容的代码：

然后我们就可以批量下载全部小说了：

为了更好分析金庸小说，我们还需要采集金庸小说的人物、武功和门派，个人并没有找到还可以访问相关数据的网站，于是自行收集整理了相关数据：

相关数据都以如下格式存储，例如金庸小说的人物：

武功：

数据源下载地址：

定义一个加载小说的方法：

首先我们加载人物数据：

可以预览一下天龙八部中的人物：

下面我们寻找一下每部小说的主角，统计每个人物的出场次数，显然次数越多主角光环越强，下面我们看看每部小说，出现次数最多的前十个人物：

上述结果用文本展示了每部小说的前5个主角，但是不够直观，下面我用pyecharts的树图展示一下：

显然，《神雕侠侣》中的杨过和小龙女，《天龙八部》中的萧（乔）峰，段誉，虚竹，《射雕英雄传》的郭靖和黄蓉，《倚天屠龙记》的张无忌和赵敏 都是主角光环最强的角色。

使用上述相同的方法，分析各种武功的出现频次，首先加载武功数据：

定义计数方法：

每部小说频次前5的武功可视化：

门派分析

加载数据并获取每部小说前10的门派：

可视化：

还可以测试一下树形图：

综合统计

下面我们编写一个函数，输入一部小说名，可以输出其最高频的主角、武功和门派：

例如查看天龙八部：

词云图分析

可以先添加所有的人物、武功和门派作为自定义词汇：

这里我们仅提取词长度不小于4的成语、俗语和短语进行分析，以天龙八部这部小说为例：

修改上述代码，查看《射雕英雄传》：

神雕侠侣：

主角相关剧情词云

我们知道《神雕侠侣》这部小说最重要的主角是杨过和小龙女，我们可能会对于杨过和小龙女之间所发生的故事很感兴趣。如果通过程序快速了解呢？

我们考虑把《神雕侠侣》这部小说每一段中出现杨过及小龙女的段落进行jieba分词并制作词云。

同样我们只看4个字以上的词：

这里的每一个词都能联想到发生在杨过和小龙女背后的一个故事。

同样的思路看看郭靖和黄蓉：

最后我们看看天龙八部的三兄弟相关的词云：

关系图分析

金庸小说15部小说中预计出现了1400个以上的角色，下面我们将遍历小说的每一段，在一段中出现的任意两个角色，都计数1。最终我们取出现频次最高的前200个关系对进行可视化。

完整代码如下：

这次我们生成了HTML文件是为了更方便的查看结果，前200个人物的关系情况如下：

门派关系分析

按照相同的方法分析所有小说的门派关系：

Word2Vec分析

Word2Vec 是一款将词表征为实数值向量的高效工具，接下来，我们将使用它来处理这些小说。

gensim 包提供了一个 Python 版的实现。

之前我有使用 gensim 包进行了相似文本的匹配，有兴趣可查阅：《批量模糊匹配的三种方法》

首先我要将所有小说的段落分词后添加到组织到一起（前面的程序可以重启）：

接下面我们使用Word2Vec训练模型：

我这边模型训练耗时15秒，若训练耗时较长可以把训练好的模型存到本地：

以后可以直接从本地磁盘读取模型：

有了模型，我们可以进行一些简单而有趣的测试。

首先看与乔(萧)峰相似的角色：

再看看与阿朱相似的角色：

除了角色，我们还可以看看门派：

还可以看看与降龙十八掌相似的武功秘籍：

在 Word2Vec 的模型里，有过“中国-北京=法国-巴黎”的例子，我们看看"段誉"和"段公子"类似于乔峰和什么的关系呢？

类似的还有：

查看韦小宝相关的关系：

门派武功之间的关系：

之前我们使用 Word2Vec 将每个词映射到了一个向量空间，因此，我们可以利用这个向量表示的空间，对这些词进行聚类分析。

首先取出所有角色对应的向量空间：

聚类算法有很多，这里我们使用基本的Kmeans算法进行聚类，如果只分成3类，那么很明显地可以将众人分成主角，配角，跑龙套的三类：

我们可以根据每个类别的角色数量的相对大小，判断该类别的角色是属于主角，配角还是跑龙套。

下面我们过滤掉众龙套角色之后，重新聚合成四类：

每次运行结果都不一样，大家可以调整类别数量继续测试。从结果可以看到，反派更倾向于被聚合到一起，非正常姓名的人物更倾向于被聚合在一起，主角更倾向于被聚合在一起。

现在我们采用层级聚类的方式，查看人物间的层次关系，这里同样龙套角色不再参与聚类。

层级聚类调用 scipy.cluster.hierarchy 中层级聚类的包，在此之前先解决matplotlib中文乱码问题：

接下来调用代码为：

然后我们可以得到金庸小说宇宙的人物层次关系地图，结果较长仅展示一部分结果：

当然所有小说混合产生的平行宇宙中，人物关系变得有些混乱，读者有兴趣可以拿单本小说作层次分析，就可以得到较为准确的人物层次关系。

对各种武功作与人物层次聚类相同的操作：

结果较长，仅展示部分结果：

可以看到，比较少的黄色部分明显是主角比较厉害的武功，而绿色比较多的部分基本都是配角的武功。

最后我们对门派进行层次聚类：

比较少的这一类，基本都是在某几部小说中出现的主要门派，而大多数门派都是打酱油的。

本文从金庸小说数据的采集，到普通的频次分析、剧情分析、关系分析，再到使用词向量空间分析相似关系，最后使用scipy进行所有小说的各种层次聚类。

python爬虫大神帮忙看一下啊，使用 urllib.urlretrieve（）下载不到图片，具体图片看下图代码

更改一下地址啊，因为你要下载的是图片，所以要用图片后缀，改成：

work_path?=?"E:/"?+?str(imgname)?+?".jpg"

urllib.request.urlretrieve(imgurl,?work_path)

这个imgname你定义一个循环的名字即可