为什么python爬虫爬取中途没反应(python爬虫不报错也不出结果)

http://www.itjxue.com  2023-03-31 07:54  来源:未知  点击次数: 

使用python抓取百度搜索结果时不成功,怎么回事?

百度搜索有专门的接口,使用相应的API接口调用吧。你这直接调用它的主页,需要解决很多问题的。

这段代码访问的是百度主页,这里头不仅仅只是表面上的这些参数在起作用,还有cookie,session等在起作用,百度会通过这些信息对搜索信息进行整理,用于生成大数据集(比如哪个区域的人偏爱查询哪些词之类的),你的机子没有这些信息,调用百度主页进行搜索就会有问题。

请参照以下代码

起调百度地图API

python用通用代码爬取,没有反应,该如何处理?

目前大概的看,有两处问题。

第一处,你的try语句里的except语句后面没有跟上异常类(比如TypeError),所以根本没起到捕获异常的作用。

第二处,这是在Python的交互式界面,不需要使用if __name__语句判断当前是否作为主模块调用,这种语法是在编译器里有的。

所以你定义完getHTMLtext函数后,按回车键,另起一行,从【】开始,直接使用命令getHTMLtext('')就调用函数就行

你试试看还行不行,如果还有问题再调整

python爬虫,运行后没有反应?求助!

python 爬虫用scrapy好了,简单,使用异步twisted库,性能刚刚的。

仔细检查正则表达,先看content是否有内容,有,估计就是正则表达式不对吧。一步步打印啊

(责任编辑:IT教学网)

更多