爬虫ip(爬虫IP被禁会有什么情况)
爬虫时IP被限制怎么解决？
互联网时代，我们可以轻松交换各种信息资源。随着数据量的增长，爬虫已经成了获取数据的主流方式。如果你需要爬取的数据量比较大，难免会遇到大规模爬虫IP被网站封禁的情况。大部分网站都会有反爬虫策略，我们该如何应对呢？和IPIPGO一起来看看吧～
方法一：对爬虫抓取进行压力控制，可以考虑使用 IPIPGO代理IP 访问目标站点。
proxy_list = list(pd.read_csv('ip_list.csv')['ip'])
spider_header = list(pd.read_csv('spider_header_list.csv')['header'])
proxy = random.choice(proxy_list)
header = random.choice(spider_header)
urlhandle = urllib.request.ProxyHandler({'http': proxy})
opener = urllib.request.build_opener(urlhandle)
urllib.request.install_opener(opener)
req = urllib.request.Request(url)
req.add_header('User-Agent', header)
author_poem = []
response_result = urllib.request.urlopen(req).read()
html = response_result.decode('utf-8')
html = etree.HTML(html)
方法二：频繁切换UserAgent
不同浏览器的不同版本都有不同的user_agent，是浏览器类型的详细信息，也是浏览器提交Http请求的重要头部信息。我们可以在每次请求的时候提供不同的user_agent，绕过网站检测客户端的反爬虫机制。比如说，可以把很多的user_agent放在一个列表中，每次随机选一个用于提交访问请求。
爬虫过程中ip被封,怎么解决？
找代理解决问题。出现这个现象的原因是因为网站采取了一些反爬中措施，如：服务器检测IP在单位时间内请求次数超过某个阀值导致，称为封IP。为了解决此类问题，代理就派上了用场，如：代理软件、付费代理、ADSL拨号代理，以帮助爬虫脱离封IP的苦海。
使用爬虫时ip限制问题的六种方法。
方法1
1、IP必须需要，如果有条件，建议一定要使用代理IP。
2、在有外网IP的机器上，部署爬虫代理服务器。
3、你的程序，使用轮训替换代理服务器来访问想要采集的网站。
好处：
1、程序逻辑变化小，只需要代理功能。
2、根据对方网站屏蔽规则不同，你只需要添加更多的代理就行了。
3、就算具体IP被屏蔽了，你可以直接把代理服务器下线就OK，程序逻辑不需要变化。
方法2
1、ADSL+脚本，监测是否被封，然后不断切换ip。
2、设置查询频率限制正统的做法是调用该网站提供的服务接口。
方法3
1、useragent伪装和轮换。
2、使用雷电ip代理。
3、cookies的处理，有的网站对登陆用户政策宽松些。
方法4
尽可能的模拟用户行为：
1、UserAgent经常换一换。
2、访问时间间隔设长一点，访问时间设置为随机数。
3、访问页面的顺序也可以随机着来。
方法5
网站封的依据一般是单位时间内特定IP的访问次数。将采集的任务按目标站点的IP进行分组通过控制每个IP在单位时间内发出任务的个数,来避免被封。当然,这个前题采集很多网站。如果只是采集一个网站,那么只能通过多外部IP的方式来实现了。
方法6
对爬虫抓取进行压力控制；可以考虑使用代理的方式访问目标站点。
1、降低抓取频率，时间设置长一些，访问时间采用随机数。
2、频繁切换UserAgent（模拟浏览器访问）。
3、多页面数据，随机访问然后抓取数据。
4、更换用户IP，这是最直接有效的方法。
爬虫IP被限制怎么办？教你三招解决
有很多小白在学习Python的初期，都会遇到爬虫IP被限制的情况，那么在面对这种突发情况，有什么好的解决办法吗？别急，IPIPGO教你三招！
（一）降低访问速度，减小对于目标网站造成的压力。过快的访问会导致IP被封，我们首先要检测出网站设置的限制速度阈值，这样我们才可以设置合理的访问速度，建议不要设固定的访问速度，可以设置在一个范围之内，因为过于规律而被系统检测到，也会导致IP被封。有时候平台为了阻止频繁访问，会设置IP在规定时间内的访问次数，超过次数就会禁止访问。
（二）设置代理IP辅助爬取。降低访问速度难以避免会影响到爬取效率，如果抓取速度过慢，就失去了使用爬虫抓取的优势了。这时就可以使用代理IP，来规避网站对IP的检测来，通过切换不同的IP爬取内容，让代理服务器去帮我们获得网页内容，然后再转发回我们的电脑。选择代理时最好是IPIPGO这种住宅代理，真实家庭IP地址，不易被网站拦截。
（三）user_agent 伪装和轮换
不同浏览器的不同版本都有不同的user_agent，是浏览器类型的详细信息，也是浏览器提交Http请求的重要头部信息。我们可以在每次请求的时候提供不同的user_agent，绕过网站检测客户端的反爬虫机制。比如说，可以把很多的user_agent放在一个列表中，每次随机选一个用于提交访问请求，你可以找到提供各种user_agent的网站来使用。
