简单python爬虫完整代码运行截图(python简单的爬虫代码)

python爬虫简单代码怎么写

import requests

import you_get

# 系统模块包

import sys

import json

url = '视频的播放地址'

path = './shipin'

def downloadshipin(url,path):

'''

#:param url: 视频播放的地址

#:param path: 视频下载保存的路径

#:return:

'''

# 调用cmd指令

sys.argv = ['you_get','-o',path,url]

you_get.main()

def Extractshipin():

'''

提取网页当中的视频播放地址

:return:

'''

urls = ''

headers = {

'user-agent':''

}

response = requests.get(urls,headers=headers).text

json_data = json.loads(response[37:-1])

data = json_data['result']

for i in data:

shipin_url = i['arcurl']

path = './shipin'

downloadshipin(shipin_url,path)

Extractshipin()

Python 的 爬虫真的好简单

一直在研究股票行情，使用 AKshare 进行研究，发现股票数据有一些想要的数据，可是 AKshare 上没有，想模仿一下自己进行抓取，于是就点开了 AKshare 的源码，一看才发现，原来抓取这样简单，下面就以一段 AKshare 中的抓取的代码为例做一个简单的说明。

就不上网址了，有感兴趣的请自行查看。

通过这个方法就能获取到 DataFrame 格式的股票数据了，那么去观察一下相关网站，很容易就获取到其他想要的内容了。这个网站是比较简单的，有些网站比较复杂，就比较难获取了。

Pthon编程海龟编辑器爬虫图片htm1怎么生产

使用方法

1.拖动块，然后单击右上角的“运行”以查看运行结果。?2.单击页面顶部的“代码/构建模块模式”以一键式在代码和构建模块之间切换。 3.从Turtle Library Block Box中拖动图块，单击“运行”，然后一键绘制。

拓展资料

软件功能

1. Turtle Editor提供了一种简单的Python编辑方法，可以通过拖动来控制。

2.您可以编辑事件并在图形界面中配置逻辑。

3.可以显示代码结果，并可以查看多种编程方法。

4.功能界面很简单：Turtle Editor不仅可以在线编写和执行Python代码，还可以增加构建模块模式。

5.从图形编程过渡到Python编程，并学习带有构建块的Python。

6.通过[Building Block Mode]完成组装后，只需单击模式切换按钮，即可将Building Block转换为真实的Python语言。

7.在实际应用中，除了运行自己编写的程序外，我们还可以使用Python来调用和使用其他人编写的程序。这样，我们可以节省大量重复和不必要的工作，并使我们可以更有效地编辑程序。

8. Turtle Editor支持一键安装常用的第三方库。单击编辑器界面顶部的“库管理”以打开用于下载和安装第三方库的界面。

9. Turtle Editor不仅具有开朗可爱的外观设计，而且还特别设计了暖黄色基本色和超大而清晰的文字字体来保护眼睛。

10.有许多内在的细节可以帮助初学者快速纠正错误并学习编码。

如何用Python做爬虫

1）首先你要明白爬虫怎样工作。

想象你是一只蜘蛛，现在你被放到了互联“网”上。那么，你需要把所有的网页都看一遍。怎么办呢？没问题呀，你就随便从某个地方开始，比如说人民日报的首页，这个叫initial pages，用$表示吧。

在人民日报的首页，你看到那个页面引向的各种链接。于是你很开心地从爬到了“国内新闻”那个页面。太好了，这样你就已经爬完了俩页面（首页和国内新闻）！暂且不用管爬下来的页面怎么处理的，你就想象你把这个页面完完整整抄成了个html放到了你身上。

突然你发现， 在国内新闻这个页面上，有一个链接链回“首页”。作为一只聪明的蜘蛛，你肯定知道你不用爬回去的吧，因为你已经看过了啊。所以，你需要用你的脑子，存下你已经看过的页面地址。这样，每次看到一个可能需要爬的新链接，你就先查查你脑子里是不是已经去过这个页面地址。如果去过，那就别去了。

好的，理论上如果所有的页面可以从initial page达到的话，那么可以证明你一定可以爬完所有的网页。

那么在python里怎么实现呢？

很简单

import Queue

initial_page = "初始化页"

url_queue = Queue.Queue()

seen = set()

seen.insert(initial_page)

url_queue.put(initial_page)

while(True): #一直进行直到海枯石烂

if url_queue.size()0:

current_url = url_queue.get() #拿出队例中第一个的url

store(current_url) #把这个url代表的网页存储好

for next_url in extract_urls(current_url): #提取把这个url里链向的url

if next_url not in seen:

seen.put(next_url)

url_queue.put(next_url)

else:

break

写得已经很伪代码了。

所有的爬虫的backbone都在这里，下面分析一下为什么爬虫事实上是个非常复杂的东西——搜索引擎公司通常有一整个团队来维护和开发。

2）效率

如果你直接加工一下上面的代码直接运行的话，你需要一整年才能爬下整个豆瓣的内容。更别说Google这样的搜索引擎需要爬下全网的内容了。

问题出在哪呢？需要爬的网页实在太多太多了，而上面的代码太慢太慢了。设想全网有N个网站，那么分析一下判重的复杂度就是N*log(N)，因为所有网页要遍历一次，而每次判重用set的话需要log(N)的复杂度。OK，OK，我知道python的set实现是hash——不过这样还是太慢了，至少内存使用效率不高。

通常的判重做法是怎样呢？Bloom Filter. 简单讲它仍然是一种hash的方法，但是它的特点是，它可以使用固定的内存（不随url的数量而增长）以O(1)的效率判定url是否已经在set中。可惜天下没有白吃的午餐，它的唯一问题在于，如果这个url不在set中，BF可以100%确定这个url没有看过。但是如果这个url在set中，它会告诉你：这个url应该已经出现过，不过我有2%的不确定性。注意这里的不确定性在你分配的内存足够大的时候，可以变得很小很少。一个简单的教程:Bloom Filters by Example

注意到这个特点，url如果被看过，那么可能以小概率重复看一看（没关系，多看看不会累死）。但是如果没被看过，一定会被看一下（这个很重要，不然我们就要漏掉一些网页了！）。 [IMPORTANT: 此段有问题，请暂时略过]

好，现在已经接近处理判重最快的方法了。另外一个瓶颈——你只有一台机器。不管你的带宽有多大，只要你的机器下载网页的速度是瓶颈的话，那么你只有加快这个速度。用一台机子不够的话——用很多台吧！当然，我们假设每台机子都已经进了最大的效率——使用多线程（python的话，多进程吧）。

3）集群化抓取

爬取豆瓣的时候，我总共用了100多台机器昼夜不停地运行了一个月。想象如果只用一台机子你就得运行100个月了...

那么，假设你现在有100台机器可以用，怎么用python实现一个分布式的爬取算法呢？

我们把这100台中的99台运算能力较小的机器叫作slave，另外一台较大的机器叫作master，那么回顾上面代码中的url_queue，如果我们能把这个queue放到这台master机器上，所有的slave都可以通过网络跟master联通，每当一个slave完成下载一个网页，就向master请求一个新的网页来抓取。而每次slave新抓到一个网页，就把这个网页上所有的链接送到master的queue里去。同样，bloom filter也放到master上，但是现在master只发送确定没有被访问过的url给slave。Bloom Filter放到master的内存里，而被访问过的url放到运行在master上的Redis里，这样保证所有操作都是O(1)。（至少平摊是O(1)，Redis的访问效率见:LINSERT – Redis)

考虑如何用python实现：

在各台slave上装好scrapy，那么各台机子就变成了一台有抓取能力的slave，在master上装好Redis和rq用作分布式队列。

代码于是写成

#slave.py

current_url = request_from_master()

to_send = []

for next_url in extract_urls(current_url):

to_send.append(next_url)

store(current_url);

send_to_master(to_send)

#master.py

distributed_queue = DistributedQueue()

bf = BloomFilter()

initial_pages = ""

while(True):

if request == 'GET':

if distributed_queue.size()0:

send(distributed_queue.get())

else:

break

elif request == 'POST':

bf.put(request.url)

好的，其实你能想到，有人已经给你写好了你需要的：darkrho/scrapy-redis · GitHub

4）展望及后处理

虽然上面用很多“简单”，但是真正要实现一个商业规模可用的爬虫并不是一件容易的事。上面的代码用来爬一个整体的网站几乎没有太大的问题。

但是如果附加上你需要这些后续处理，比如

有效地存储（数据库应该怎样安排）

有效地判重（这里指网页判重，咱可不想把人民日报和抄袭它的大民日报都爬一遍）

有效地信息抽取（比如怎么样抽取出网页上所有的地址抽取出来，“朝阳区奋进路中华道”），搜索引擎通常不需要存储所有的信息，比如图片我存来干嘛...

及时更新（预测这个网页多久会更新一次）

如你所想，这里每一个点都可以供很多研究者十数年的研究。虽然如此，

“路漫漫其修远兮,吾将上下而求索”。

所以，不要问怎么入门，直接上路就好了：）

python 新浪微博爬虫，求助

0x00. 起因

因为参加学校大学生创新竞赛，研究有关微博博文表达的情绪，需要大量微博博文，而网上无论是国内的某度、csdn，还是国外谷歌、gayhub、codeproject等都找不到想要的程序，没办法只能自己写一个程序了。

ps.在爬盟找到类似的程序，但是是windows下的，并且闭源，而且最终爬取保存的文件用notepad++打开有很多奇怪的问题，所以放弃了。

0x01. 基础知识

本程序由Python写成，所以基本的python知识是必须的。另外，如果你有一定的计算机网络基础，在前期准备时会有少走很多弯路。

对于爬虫，需要明确几点：

1. 对爬取对象分类，可以分为以下几种：第一种是不需要登录的，比如博主以前练手时爬的中国天气网，这种网页爬取难度较低，建议爬虫新手爬这类网页；第二种是需要登录的，如豆瓣、新浪微博，这些网页爬取难度较高；第三种独立于前两种，你想要的信息一般是动态刷新的，如AJAX或内嵌资源，这种爬虫难度最大，博主也没研究过，在此不细举（据同学说淘宝的商品评论就属于这类）。

2. 如果同一个数据源有多种形式（比如电脑版、手机版、客户端等），优先选取较为“纯净的”展现。比如新浪微博，有网页版，也有手机版，而且手机版可以用电脑浏览器访问，这时我优先选手机版新浪微博。

3. 爬虫一般是将网页下载到本地，再通过某些方式提取出感兴趣的信息。也就是说，爬取网页只完成了一半，你还要将你感兴趣的信息从下载下来的html文件中提取出来。这时就需要一些xml的知识了，在这个项目中，博主用的是XPath提取信息，另外可以使用XQuery等等其他技术，详情请访问w3cschool。

4. 爬虫应该尽量模仿人类，现在网站反爬机制已经比较发达，从验证码到禁IP，爬虫技术和反爬技术可谓不断博弈。

0x02. 开始

决定了爬虫的目标之后，首先应该访问目标网页，明确目标网页属于上述几种爬虫的哪种，另外，记录为了得到感兴趣的信息你需要进行的步骤，如是否需要登录，如果需要登录，是否需要验证码；你要进行哪些操作才能获得希望得到的信息，是否需要提交某些表单；你希望得到的信息所在页面的url有什么规律等等。

以下博文以博主项目为例，该项目爬取特定新浪微博用户从注册至今的所有微博博文和根据关键词爬取100页微博博文（大约1000条）。

0x03. 收集必要信息

首先访问目标网页，发现需要登录，进入登录页面如下新浪微博手机版登录页面

注意url后半段有很多形如”%xx”的转义字符，本文后面将会讲到。

从这个页面可以看到，登录新浪微博手机版需要填写账号、密码和验证码。

这个验证码是近期（本文创作于2016.3.11）才需要提供的，如果不需要提供验证码的话，将有两种方法进行登录。

第一种是填写账号密码之后执行js模拟点击“登录”按钮，博主之前写过一个Java爬虫就是利用这个方法，但是现在找不到工程了，在此不再赘述。

第二种需要一定HTTP基础，提交包含所需信息的HTTP POST请求。我们需要Wireshark 工具来抓取登录微博时我们发出和接收的数据包。如下图我抓取了在登录时发出和接收的数据包Wireshark抓取结果1

在搜索栏提供搜索条件”http”可得到所有http协议数据包，右侧info显示该数据包的缩略信息。图中蓝色一行是POST请求，并且info中有”login”，可以初步判断这个请求是登录时发出的第一个数据包，并且这个180.149.153.4应该是新浪微博手机版登录认证的服务器IP地址，此时我们并没有任何的cookie。

在序号为30是数据包中有一个从该IP发出的HTTP数据包，里面有四个Set-Cookie字段，这些cookie将是我们爬虫的基础。

Wireshark抓取结果2

早在新浪微博服务器反爬机制升级之前，登录是不需要验证码的，通过提交POST请求，可以拿到这些cookie，在项目源码中的TestCookie.py中有示例代码。

ps.如果没有wireshark或者不想这么麻烦的话，可以用浏览器的开发者工具，以chrome为例，在登录前打开开发者工具，转到Network，登录，可以看到发出和接收的数据，登录完成后可以看到cookies，如下图chrome开发者工具

接下来访问所需页面，查看页面url是否有某种规律。由于本项目目标之一是获取某用户的全部微博，所以直接访问该用户的微博页面，以央视新闻 为例。

央视新闻1

图为央视新闻微博第一页，观察该页面的url可以发现，新浪微博手机版的微博页面url组成是 “weibo.cn/(displayID)?page=(pagenum)” 。这将成为我们爬虫拼接url的依据。

接下来查看网页源码，找到我们希望得到的信息的位置。打开浏览器开发者工具，直接定位某条微博，可以发现它的位置，如下所示。

xpath

观察html代码发现，所有的微博都在div标签里，并且这个标签里有两个属性，其中class属性为”c”，和一个唯一的id属性值。得到这个信息有助于将所需信息提取出来。

另外，还有一些需要特别注意的因素

* 微博分为原创微博和转发微博

* 按照发布时间至当前时间的差距，在页面上有”MM分钟前”、”今天HH:MM”、”mm月dd日 HH:MM”、”yyyy-mm-dd HH:MM:SS”等多种显示时间的方式* 手机版新浪微博一个页面大约显示10条微博，所以要注意对总共页数进行记录以上几点都是细节，在爬虫和提取的时候需要仔细考虑。

0x04. 编码

1.爬取用户微博

本项目开发语言是Python 2.7，项目中用了一些第三方库，第三方库可以用pip的方法添加。

既然程序自动登录的想法被验证码挡住了，想要访问特定用户微博页面，只能使用者提供cookies了。

首先用到的是Python的request模块，它提供了带cookies的url请求。

import request

print request.get(url, cookies=cookies).content使用这段代码就可以打印带cookies的url请求页面结果。

首先取得该用户微博页面数，通过检查网页源码，查找到表示页数的元素，通过XPath等技术提取出页数。

页数

项目使用lxml模块对html进行XPath提取。

首先导入lxml模块，在项目里只用到了etree，所以from lxml import etree

然后利用下面的方法返回页数

def getpagenum(self):

url = self.geturl(pagenum=1)

html = requests.get(url, cookies=self.cook).content # Visit the first page to get the page number.

selector = etree.HTML(html)

pagenum = selector.xpath('//input[@name="mp"]/@value')[0]

return int(pagenum)

接下来就是不断地拼接url-访问url-下载网页。

需要注意的是，由于新浪反爬机制的存在，同一cookies访问页面过于“频繁”的话会进入类似于“冷却期”，即返回一个无用页面，通过分析该无用页面发现，这个页面在特定的地方会出现特定的信息，通过XPath技术来检查这个特定地方是否出现了特定信息即可判断该页面是否对我们有用。

def ispageneeded(html):

selector = etree.HTML(html)

try:

title = selector.xpath('//title')[0]

except:

return False

return title.text != '微博广场' and title.text != '微博'

如果出现了无用页面，只需简单地重新访问即可，但是通过后期的实验发现，如果长期处于过频访问，返回的页面将全是无用页面，程序也将陷入死循环。为了避免程序陷入死循环，博主设置了尝试次数阈值trycount，超过这个阈值之后方法自动返回。

下面代码片展示了单线程爬虫的方法。

def startcrawling(self, startpage=1, trycount=20):

attempt = 0

try:

os.mkdir(sys.path[0] + '/Weibo_raw/' + self.wanted)except Exception, e:

print str(e)

isdone = False

while not isdone and attempt trycount:

try:

pagenum = self.getpagenum()

isdone = True

except Exception, e:

attempt += 1

if attempt == trycount:

return False

i = startpage

while i = pagenum:

attempt = 0

isneeded = False

html = ''

while not isneeded and attempt trycount:

html = self.getpage(self.geturl(i))

isneeded = self.ispageneeded(html)

if not isneeded:

attempt += 1

if attempt == trycount:

return False

self.savehtml(sys.path[0] + '/Weibo_raw/' + self.wanted + '/' + str(i) + '.txt', html)print str(i) + '/' + str(pagenum - 1)

i += 1

return True

考虑到程序的时间效率，在写好单线程爬虫之后，博主也写了多线程爬虫版本，基本思想是将微博页数除以线程数，如一个微博用户有100页微博，程序开10个线程，那么每个线程只负责10个页面的爬取，其他基本思想跟单线程类似，只需仔细处理边界值即可，在此不再赘述，感兴趣的同学可以直接看代码。另外，由于多线程的效率比较高，并发量特别大，所以服务器很容易就返回无效页面，此时trycount的设置就显得更重要了。博主在写这篇微博的时候，用一个新的cookies，多线程爬取现场测试了一下爬取北京邮电大学的微博，3976条微博全部爬取成功并提取博文，用时仅15s，实际可能跟cookies的新旧程度和网络环境有关，命令行设置如下，命令行意义在项目网址里有说明python main.py _T_WM=xxx; SUHB=xxx; SUB=xxx; gsid_CTandWM=xxx u bupt m 20 20爬取的工作以上基本介绍结束，接下来就是爬虫的第二部分，解析了。由于项目中提供了多线程爬取方法，而多线程一般是无序的，但微博博文是依靠时间排序的，所以项目采用了一种折衷的办法，将下载完成的页面保存在本地文件系统，每个页面以其页号为文件名，待爬取的工作结束后，再遍历文件夹内所有文件并解析。

通过前面的观察，我们已经了解到微博博文存在的标签有什么特点了，利用XPath技术，将这个页面里所有有这个特点的标签全部提取出来已经不是难事了。

在这再次提醒，微博分为转发微博和原创微博、时间表示方式。另外，由于我们的研究课题仅对微博文本感兴趣，所以配图不考虑。

def startparsing(self, parsingtime=datetime.datetime.now()):

basepath = sys.path[0] + '/Weibo_raw/' + self.uidfor filename in os.listdir(basepath):

if filename.startswith('.'):

continue

path = basepath + '/' + filename

f = open(path, 'r')

html = f.read()

selector = etree.HTML(html)

weiboitems = selector.xpath('//div[@class="c"][@id]')for item in weiboitems:

weibo = Weibo()

weibo.id = item.xpath('./@id')[0]

cmt = item.xpath('./div/span[@class="cmt"]')if len(cmt) != 0:

weibo.isrepost = True

weibo.content = cmt[0].text

else:

weibo.isrepost = False

ctt = item.xpath('./div/span[@class="ctt"]')[0]

if ctt.text is not None:

weibo.content += ctt.text

for a in ctt.xpath('./a'):

if a.text is not None:

weibo.content += a.text

if a.tail is not None:

weibo.content += a.tail

if len(cmt) != 0:

reason = cmt[1].text.split(u'\xa0')

if len(reason) != 1:

weibo.repostreason = reason[0]

ct = item.xpath('./div/span[@class="ct"]')[0]

time = ct.text.split(u'\xa0')[0]

weibo.time = self.gettime(self, time, parsingtime)self.weibos.append(weibo.__dict__)

f.close()

方法传递的参数parsingtime的设置初衷是，开发前期爬取和解析可能不是同时进行的（并不是严格的“同时”），微博时间显示是基于访问时间的，比如爬取时间是10:00，这时爬取到一条微博显示是5分钟前发布的，但如果解析时间是10:30，那么解析时间将错误，所以应该讲解析时间设置为10:00。到后期爬虫基本开发完毕，爬取工作和解析工作开始时间差距降低，时间差将是爬取过程时长，基本可以忽略。

解析结果保存在一个列表里，最后将这个列表以json格式保存到文件系统里，删除过渡文件夹，完成。

def save(self):

f = open(sys.path[0] + '/Weibo_parsed/' + self.uid + '.txt', 'w')jsonstr = json.dumps(self.weibos, indent=4, ensure_ascii=False)f.write(jsonstr)

f.close()

2.爬取关键词

同样的，收集必要的信息。在微博手机版搜索页面敲入”python”，观察url，研究其规律。虽然第一页并无规律，但是第二页我们发现了规律，而且这个规律可以返回应用于第一页第一页

第二页

应用后第一页

观察url可以发现，对于关键词的搜索，url中的变量只有keyword和page（事实上，hideSearchFrame对我们的搜索结果和爬虫都没有影响），所以在代码中我们就可以对这两个变量进行控制。

另外，如果关键词是中文，那么url就需要对中文字符进行转换，如我们在搜索框敲入”开心”并搜索，发现url如下显示搜索开心

但复制出来却为

;keyword=%E5%BC%80%E5%BF%83page=1幸好，python的urllib库有qoute方法处理中文转换的功能（如果是英文则不做转换），所以在拼接url前使用这个方法处理一下参数。

另外，考虑到关键词搜索属于数据收集阶段使用的方法，所以在此只提供单线程下载网页，如有多线程需要，大家可以按照多线程爬取用户微博的方法自己改写。最后，对下载下来的网页进行提取并保存（我知道这样的模块设计有点奇怪，打算重(xin)构(qing)时(hao)时再改，就先这样吧）。

def keywordcrawling(self, keyword):

realkeyword = urllib.quote(keyword) # Handle the keyword in Chinese.

try:

os.mkdir(sys.path[0] + '/keywords')

except Exception, e:

print str(e)

weibos = []

try:

highpoints = re.compile(u'[\U00010000-\U0010ffff]') # Handle emoji, but it seems doesn't work.

except re.error:

highpoints = re.compile(u'[\uD800-\uDBFF][\uDC00-\uDFFF]')pagenum = 0

isneeded = False

while not isneeded:

html = self.getpage(';page=1' % realkeyword)isneeded = self.ispageneeded(html)

if isneeded:

selector = etree.HTML(html)

try:

pagenum = int(selector.xpath('//input[@name="mp"]/@value')[0])except:

pagenum = 1

for i in range(1, pagenum + 1):

try:

isneeded = False

while not isneeded:

html = self.getpage(';page=%s' % (realkeyword, str(i)))isneeded = self.ispageneeded(html)

selector = etree.HTML(html)

weiboitems = selector.xpath('//div[@class="c"][@id]')for item in weiboitems:

cmt = item.xpath('./div/span[@class="cmt"]')if (len(cmt)) == 0:

ctt = item.xpath('./div/span[@class="ctt"]')[0]

if ctt.text is not None:

text = etree.tostring(ctt, method='text', encoding="unicode")tail = ctt.tail

if text.endswith(tail):

index = -len(tail)

text = text[1:index]

text = highpoints.sub(u'\u25FD', text) # Emoji handling, seems doesn't work.

weibotext = text

weibos.append(weibotext)

print str(i) + '/' + str(pagenum)

except Exception, e:

print str(e)

f = open(sys.path[0] + '/keywords/' + keyword + '.txt', 'w')try:

f.write(json.dumps(weibos,indent=4,ensure_ascii=False))except Exception,ex:

print str(ex)

finally:

f.close()

博主之前从未写过任何爬虫程序，为了获取新浪微博博文，博主先后写了3个不同的爬虫程序，有Python，有Java，爬虫不能用了是很正常的，不要气馁，爬虫程序和反爬机制一直都在不断博弈中，道高一尺魔高一丈。

另. 转载请告知博主，如果觉得博主帅的话就可以不用告知了

如何用Python编写一个简单的爬虫

以下代码运行通过：

import?re

import?requests

def?ShowCity():

????html?=?requests.get("")

????citys?=?re.findall('td?style="height:?22px"?align="center"a?href="(.*?)"',?html.text,?re.S)

????for?city?in?citys:

????????print(city)

ShowCity()

运行效果：