Python豆瓣影评爬虫报告(用python爬取豆瓣电影排行榜)

http://www.itjxue.com  2023-04-01 09:36  来源:未知  点击次数: 

Python爬虫实战(1)requests爬取豆瓣电影TOP250

爬取时间:2020/11/25

系统环境:Windows 10

所用工具:Jupyter Notebook\Python 3.0

涉及的库:requests\lxml\pandas\matplotlib\numpy

蛋肥想法: 先将电影名称、原名、评分、评价人数、分类信息从网站上爬取下来。

蛋肥想法: print数据列表后发现电影原名、分类信息等存在不需要的字符,需预先处理;同时因为后续想做一个豆瓣电影TOP250的维度分布图,而同一电影存在多个发行国家、类型(如“法国 美国 / 剧情 动作 犯罪”),为了简(偷)便(懒),这里均取第一个作为记入的数据;最后将数据保存为xlsx。

蛋肥想法: 蛋肥想知道在豆瓣电影TOP250中年份、国家、类型的维度数据,为了练手,使用刚才保存成xlsx的数据,并分别画成雷达图、柱形图、扇形图。

python爬虫爬取豆瓣影评返回403怎么办,代理IP和cookie都设置了

如果只是爬取影评的话,没必要登录。

返回的304是你的cookie用的是旧的。

去掉cookie,正常抓取就可以了。

Python爬虫如何抓取豆瓣影评中的所有数据?

你可以用前嗅爬虫采集豆瓣的影评,我之前用的,还可以过滤只采集评分在6分以上的所有影评,非常强大,而且他们软件跟数据库对接,采集完数据后,直接入库,导出excel表。很省心。

python爬虫抓取电影top20排名怎么写

初步接触python爬虫(其实python也是才起步),发现一段代码研究了一下,觉得还比较有用处,Mark下。?

上代码:

#!/usr/bin/python#coding=utf-8#Author: Andrew_liu#mender:cy"""

一个简单的Python爬虫, 用于抓取豆瓣电影Top前100的电影的名称

Anthor: Andrew_liu

mender:cy

Version: 0.0.2

Date: 2017-03-02

Language: Python2.7.12

Editor: JetBrains PyCharm 4.5.4

"""import stringimport reimport urllib2import timeclass DouBanSpider(object) :

"""类的简要说明

主要用于抓取豆瓣Top100的电影名称

Attributes:

page: 用于表示当前所处的抓取页面

cur_url: 用于表示当前争取抓取页面的url

datas: 存储处理好的抓取到的电影名称

_top_num: 用于记录当前的top号码

"""

def __init__(self):

self.page = 1

self.cur_url = "h0?start={page}filter=type="

self.datas = []

self._top_num = 1

print u"豆瓣电影爬虫准备就绪, 准备爬取数据..."

def get_page(self, cur_page):

"""

根据当前页码爬取网页HTML

Args:

cur_page: 表示当前所抓取的网站页码

Returns:

返回抓取到整个页面的HTML(unicode编码)

Raises:

URLError:url引发的异常

"""

url = self.cur_url ? ? ? ?try:

my_page = urllib2.urlopen(url.format(page=(cur_page - 1) * 25)).read().decode("utf-8") ? ? ? ?except urllib2.URLError, e: ? ? ? ? ? ?if hasattr(e, "code"): ? ? ? ? ? ? ? ?print "The server couldn't fulfill the request."

print "Error code: %s" % e.code ? ? ? ? ? ?elif hasattr(e, "reason"): ? ? ? ? ? ? ? ?print "We failed to reach a server. Please check your url and read the Reason"

print "Reason: %s" % e.reason ? ? ? ?return my_page ? ?def find_title(self, my_page):

"""

通过返回的整个网页HTML, 正则匹配前100的电影名称

Args:

my_page: 传入页面的HTML文本用于正则匹配

"""

temp_data = []

movie_items = re.findall(r'span.*?class="title"(.*?)/span', my_page, re.S) ? ? ? ?for index, item in enumerate(movie_items): ? ? ? ? ? ?if item.find("nbsp") == -1:

temp_data.append("Top" + str(self._top_num) + " " + item)

self._top_num += 1

self.datas.extend(temp_data) ? ?def start_spider(self):

"""

爬虫入口, 并控制爬虫抓取页面的范围

"""

while self.page = 4:

my_page = self.get_page(self.page)

self.find_title(my_page)

self.page += 1def main():

print u"""

###############################

一个简单的豆瓣电影前100爬虫

Author: Andrew_liu

mender: cy

Version: 0.0.2

Date: 2017-03-02

###############################

"""

my_spider = DouBanSpider()

my_spider.start_spider()

fobj = open('/data/moxiaokai/HelloWorld/cyTest/blogcode/top_move.txt', 'w+') ? ?for item in my_spider.datas: ? ? ? ?print item

fobj.write(item.encode("utf-8")+'\n')

time.sleep(0.1) ? ?print u"豆瓣爬虫爬取完成"if __name__ == '__main__':

main()123456789101112131415161718192021222324252627282930313233343536373839404142434445464748495051525354555657585960616263646566676869707172737475767778798081828384858687888990919293949596979899100101102

运行结果:?

?

【python爬虫实战】爬取豆瓣影评数据

爬取豆瓣影评数据步骤:

1、获取网页请求

2、解析获取的网页

3、提速数据

4、保存文件

.利用python获得豆瓣电影前30部电影的中文片名,排名,导演,主演,上映时间

热门频道

首页

博客

研修院

VIP

APP

问答

下载

社区

推荐频道

活动

招聘

专题

打开CSDN APP

Copyright ? 1999-2020, CSDN.NET, All Rights Reserved

打开APP

python 网络爬虫 1.2 获取豆瓣TOP250电影的中英文名、港台名、导演、上映年份、电影分类以及评分,将数据存入文档。 原创

2021-07-19 01:03:15

2点赞

zynaln

码龄8年

关注

题目:

获取豆瓣TOP250电影的中英文名、港台名、导演、上映年份、电影分类以及评分,将数据存入文档。

代码:

输出结果:

文章知识点与官方知识档案匹配

Python入门技能树网络爬虫urllib

201761 人正在系统学习中

打开CSDN APP,看更多技术内容

最新发布 用python爬取豆瓣影评及影片信息(评论时间、用户ID、评论内容)

用python爬取豆瓣影评及影片信息(评论时间、用户ID、评论内容)

继续访问

python

写评论

7

14

2

分享

(责任编辑:IT教学网)

更多

推荐时间特效文章