Python爬虫下载文件需要跳转(爬虫 下载文件)
如何在scrapy框架下，用python实现爬虫自动跳转页面来抓去网页内容？？
Scrapy是一个用Python写的Crawler Framework，简单轻巧，并且非常方便。Scrapy使用Twisted这个异步网络库来处理网络通信，架构清晰，并且包含了各种中间件接口，可以灵活地完成各种需求。Scrapy整体架构如下图所示：
根据架构图介绍一下Scrapy中的各大组件及其功能：
Scrapy引擎（Engine）：负责控制数据流在系统的所有组建中流动，并在相应动作发生触发事件。
调度器（Scheduler）：从引擎接收Request并将它们入队，以便之后引擎请求request时提供给引擎。
下载器（Downloader）：负责获取页面数据并提供给引擎，而后提供给Spider。
Spider：Scrapy用户编写用于分析Response并提取Item（即获取到的Item）或额外跟进的URL的类。每个Spider负责处理一个特定（或一些网站）。
Item Pipeline：负责处理被Spider提取出来的Item。典型的处理有清理验证及持久化（例如存储到数据库中，这部分后面会介绍存储到MySQL中，其他的数据库类似）。
下载器中间件（Downloader middlewares）：是在引擎即下载器之间的特定钩子（special hook），处理Downloader传递给引擎的Response。其提供了一个简便的机制，通过插入自定义代码来扩展Scrapy功能（后面会介绍配置一些中间并激活，用以应对反爬虫）。
Spider中间件（Spider middlewares）：是在引擎及Spider之间的特定钩子（special hook），处理Spider的输入（response）和输出（Items即Requests）。其提供了一个简便的机制，通过插入自定义的代码来扩展Scrapy功能。
如何在scrapy框架下，用python实现爬虫自动跳转页面来抓去网页内容
（1）一种是像我之前爬虫新京报网的新闻，下一页的url可以通过审查元素获得，第一页的网址是
在第一页的时候，下一页按钮的审查元素是
我们通过获取next_pages = response.xpath('//div[@id="page"]/a[@class="next"]/@href').extract()[0]
,便可以得到下一页的url,next_page = "" + next_pages,
这一部分的完整代码为：
page_link=set() #保存下一页页面url
content_link=set() #保存页面内所有可获得的url
rules={'page':LinkExtractor(allow=(r'^\w+/2016/\d{2}/\d{2}/\d{6}.html
))}
start_urls={''}
def parse(self, response):
#爬取一个页面内的所有url链接
??? for link in self.rules['page'].extract_links(response):
??????? if link.url not in self.content_link:
??????????? self.page_link.add(link.url)
??????????? yield scrapy.Request(link.url, callback=self.parse_item)
#自动获取下一页的url
??? next_pages = response.xpath('//div[@id="page"]/a[@class="next"]/@href').extract()[0]
??? if next_pages:
??????? next_page = "" + next_pages
??????? self.page_link.add(next_page)
??????? yield scrapy.Request(next_page, callback=self.parse)
(2)第二种情况，就是在下一页的审查元素中没有提供url链接，需要自己分析，在这里依然举个例子，比如搜狐新闻，该页中下一页按钮的审查元素是：
我们不能通过href来直接过得下一页的url,需要自己手动获得，那现在我们来分析
第二页的url:,第三页的，最后一页的，由此可以分析出这一共100页的url，是"+i+".shtml",其中i是从5230到5132倒序排列的，也就是说通过for循环，就可以获得这100页的所有url,完整代码如下：在这里给大家加一个新的方法的使用start_request,该方法就是子定义start_urls，把所有自定义的url放到page_link中，self.make_requests_from_url方法会自动获取里面的请求
python 下载文件到文件夹下的问题
open文件的时候就可以设置文件的路径，比如，这里改成
open(r'd:\download\google.gif', 'wb').write(rs)
就保存到那个文件夹下了。
python爬虫的工作步骤
当前处于一个大数据的时代，一般网站数据来源有二：网站用户自身产生的数据和网站从其他来源获取的数据，今天要分享的是如何从其他网站获取你想要的数据。
目前最适合用于写爬虫的语言是python，python中最受欢迎的爬虫框架是scrapy,本文围绕scrapy来展开讲解爬虫是怎么工作的。
1.如下图所示，爬虫从编写的spider文件中的start_urls开始，这个列表中的url就是爬虫抓取的第一个网页，它的返回值是该url对应网页的源代码，我们可以用默认的parse(self,response)函数去打印或解析这个源代码
2.我们获取到源代码之后，就可以从网页源代码中找到我们想要的信息或需要进一步访问的url,提取信息这一步，scrapy中集成了xpath,正则(re),功能十分强大，提取到信息之后会通过yield进入到中间件当中。
中间件包括爬虫中间件和下载中间件，爬虫中间件主要用于设置处理爬虫文件中的代码块，下载中间件主要用于判断爬虫进入网页前后的爬取状态，在此中间件中，你可以根据爬虫的返回状态去做进一步判断。
最后我们将yield过来的item，即就是我们想要的数据会在pipeline.py文件中进行处理，存入数据库，写入本地文件，都可以在这里进行，另外，为了减少代码冗余，建议所有与设置参数有关的参数，都写在settings.py中去
学校机房的python怎么下
和正常下载一样。
1、Python爬虫，首先需要本地电脑上安装有Python，这里我简单说一下Python的安装，我相信学爬虫的同学们肯定有一定的Python基础了。
2、首先，进入到Python官网，你可以直接输入Python主页，也可以从百度搜索框进入到Python的主页，这里方法很多，我不再一一列举了，在主页上可以看见Downloads字样，点击下载，然后跳转出下载界面。
3、跳转出Python下载界面，选择一个版本进行下载，这里的我3.X和2.7.X版本的差别还是蛮大的，这里我就不多说了。Python2.7的支持包要更加全面完善，Python3的包扩展可能比较少，但是正在慢慢开发；Python2.7预计在202X停止更新了Python学习q-u-n七八四，七五八，二一四教程视频，工具，各类实战操作分享。
4、下载好后，点击安装包，依据提示点击下一步即可，这里相信大家没有任何的问题。
5、安装好后，按windos键加R键，弹出运行窗口，在运行窗口输入cms进入到命令行界面，然后输入Python，如果安装成功，即可进入到Python交互界面，如果没有则表示Python没有安装成功。
Python如何下载请求的url指向文件，例如这样的： http://edi.chi/Print.do?fileId=123
#!/usr/bin/env?python
#-*-?coding:utf-8?-*-
import?requests
print('start')
url?=?r'问号前面的网址'
parms?=?{
'fileId'?:?'123?'
}
try:
????r?=?requests.post(url,?data=parms)
????print(r.text)
except?Exception?as?e:
????print(e)