python主流爬虫框架(python爬虫框架scrapy)
python都有哪些框架？
1、Django
谈到Python框架，我们第一个想到的应该就是Django。Django作为一个Python
Web应用开发框架，可以说是一个被广泛使用的全能型框架。Django的目的是为了让开发者能够快速地开发一个网站，因此它提供了很多模块。另外，Django最出名的是其全自动化的管理后台历伏：只需要使用起ORM，做简单的对象定义，它就能自动生成数据库结构、以及全功能的管理后台。它与其他框架最大的区别就是，鲜明独特的特性，支持orm，将数据库的操作封装成为Python，对于需要适用多种数据库的应用来说是个比较好的特性。
2、Flask
Flask也被称为“microframework”，因为它使用简单的核心，用extension增加其他功能。Flask没有默认使用的数据库、窗体验证工具。基于他的这个特性使用者可以花很少的成本就能够开发一个简单的网站。因此，从这个角度来讲，Flask框架非常适合初学者学习。Flask框架学会以后，我们还可以考虑学习插件的使用。
3、Scrapy
Scrapy是一个轻量级的使用Python编写的网络爬虫框架，这也是它与其他Python框架最大的区别。因为专门用于爬取网站和获取结构数据且使用起来非常的方便，Scrapy用途广泛，可以用于数据挖掘、监测和自动化测试等等。
4、Diesel
Diesel是基于Greenlet的事件I/O框架，它提供一个整洁的API来编写网络客户端和服务肢铅携器。它与其他Python框架最大的区别是支持TCP和UDP。
5、Cubes
Cubes作为一个轻量级Python OLAP框架，包含了OLAP、多维数据分析和浏览聚合数据等工具。
6、Pulsar
Pulsar是激陵Python的事件驱动并发框架。有了pulsar，你可以写出在不同进程或线程中运行一个或多个活动的异步服务器。
7、Tornado
Tornado全称是Torado Web Server，仅仅从它的名字上我们就可以知道它可以用作Web服务器，但同时它也是一个Python
Web的开发框架。Tornado和现在的主流Web服务器框架和大多数Python框架有着明显的区别，它是非阻塞式服务器，而且速度相当快。而其他框架不支持异步处理。
用python写爬虫有哪些框架？
1、Scrapy是一个为了爬取网站数据，提取结构性数据而编写的应用框架。 可以应用在包括数据挖掘，信息处理或存储历史数据等一系列的程序中。它是很强大的爬虫框架，可以满足简单的页面爬取，比如可以明确获知url pattern的情况。用这个框架可以轻松爬下来如亚马逊商品信息之类的数据。但是对于稍微复杂一点的页面，如weibo的页面信息，这个框架就满足不了需求。
2、pyspider
是一个用python实孙岩现的功能强大的网络爬虫系统，能在浏览器界面上进行脚本的编写，功能的调度和爬取结果的实时查看，后端使用常用的数据库进行爬取结果的存储，还能定时设置任务与任务优先级等。
3、Crawley可以高速爬取对应网站的内容，支持关系和非关系数据库，数据可以导出为JSON、XML等。
4、Portia是一个开源可视化爬虫工具，可让使用者在不需要任何编程知识的情况下爬改凯戚取网站!简单地注释自己感兴趣的页面，Portia将创建一核陵个蜘蛛来从类似的页面提取数据。简单来讲，它是基于scrapy内核;可视化爬取内容，不需要任何开发专业知识;动态匹配相同模板的内容。
5、Grab是一个用于构建Web刮板的Python框架。借助Grab，您可以构建各种复杂的网页抓取工具，从简单的5行脚本到处理数百万个网页的复杂异步网站抓取工具。Grab提供一个API用于执行网络请求和处理接收到的内容，例如与HTML文档的DOM树进行交互。
网络爬虫的技术框架包括
杂乱的框架告雀派 它是一个成熟的Python爬虫框架，是Python开发的一个快速、高级的信息抓取框架，可以高效抓取网页，提取结构化数据。crapy是一个适用于抓取网站数据和抽取结构化数据的应用框架，应用领域非常广泛:Scrapy常用于包括数据挖掘、信息处理或存储历史数据在内的一系列程序中。通常我们可以简单的通过Scrapy框架实现一个爬虫，抓取指定网站的内容或者图片。虽然Scrapy最初是为屏幕抓取(更准确地说是网页抓取)而设计的，但它也可以用于访问API来提取数据。Scrapy Engine:负责Spider、ItemPipeline、Downloader和Scheduler之间的通信、信号和数据传输。调度器:负责接受引擎发来的请求，按照一定的方式排列，加入队列，需要袜贺的时候返回给引擎。下载器:负责下载Scrapy引擎发送的所有请求，并将获得的响应返回给Scrapy引擎，由Scrapy引擎交给Spider处理。Spider:负责处理所有响应，从中分析提取数据，获取Item字段需要的数据，向引擎提交需要跟进的URL，再次进入调度器。物品管道(Item Pipeline):负责处理从Spider获取的物品并进行后处理(详细分析、过滤、存储等)的地方。).下载器中间件:可以定制扩展下载功能的组件。蜘蛛中间件(Spider Middleware):可以定制运行岁升引擎和蜘蛛之间的扩展和通信的功能组件。