python常用框架(python基本框架)
Python 有哪些好的 Web 框架
常见的5种Web框架：
第一个：Django
Django是一个开源的Web应用框架，由Python写成，支持许多数据库引擎，可以让Web开发变得迅速和可扩展，并会不断的版本更新以匹配Python最新版本，如果是新手程序员，可以从这个框架入手。
第二个：Flask
Flask是一个轻量级的Web应用框架，使用Python编写。基于WerkzeugWSGI工具箱和JinJa2模板引擎，使用BSD授权。
Flask也被称为microframework，因为它使用简单的核心，用extension增加其他功能。Flask没有默认使用的数据库、窗体验证工具。然而Flask保留了扩增的弹性，可以用Flask-extension加入这些功能：ORM、窗体验证工具、文件上传、各种开放式身份验证技术。
第三个：Web2py
Web2py是一个用Python语言编写的免费的开源Web框架，旨在敏捷快速的开发Web应用，具有快速、可扩展、安全以及可移植的数据库驱动的应用，遵循LGPLv3开源协议。
Web2py提供一站式的解决方案，整个开发过程都可以在浏览器上进行，提供了Web版的在线开发，HTML模板编写，静态文件的上传，数据库的编写的功能。其他的还有日志功能，以及一个自动化的admin接口。
第四个：Tornado
Tornado即是一个Webserver，同时又是一个类web.py的micro-framework，作为框架的Tornado的思想主要来源于web.PY，大家在web.PY的网站首页也可以看到Tornado的大佬Bret
Taylor的这么一段话：“[web.py inspired the] Web framework we use at FriendFeed [and] thewebapp framework that ships with App Engine…”，因为这层关系，后面不再单独讨论Tornado。
第五个：CherryPy
CherryPy是一个用于Python的、简单而非常有用的Web框架，其主要作用是以尽可能少的操作将Web服务器与Python代码连接，其功能包括内置的分析功能、灵活的插件系统以及一次运行多个HTTP服务器的功能，可运行在最新版本的Python、Jython、android上。
Python中的爬虫框架有哪些呢？
实现爬虫技术的编程环境有很多种，Java、Python、C++等都可以用来爬虫。但很多人选择Python来写爬虫，为什么呢？因为Python确实很适合做爬虫，丰富的第三方库十分强大，简单几行代码便可实现你想要的功能。更重要的，Python也是数据挖掘和分析的好能手。那么，Python爬虫一般用什么框架比较好？
一般来讲，只有在遇到比较大型的需求时，才会使用Python爬虫框架。这样的做的主要目的，是为了方便管理以及扩展。本文我将向大家推荐十个Python爬虫框架。
1、Scrapy：Scrapy是一个为了爬取网站数据，提取结构性数据而编写的应用框架。 可以应用在包括数据挖掘，信息处理或存储历史数据等一系列的程序中。它是很强大的爬虫框架，可以满足简单的页面爬取，比如可以明确获知url pattern的情况。用这个框架可以轻松爬下来如亚马逊商品信息之类的数据。但是对于稍微复杂一点的页面，如weibo的页面信息，这个框架就满足不了需求了。它的特性有：HTML, XML源数据 选择及提取 的内置支持；提供了一系列在spider之间共享的可复用的过滤器(即 Item Loaders)，对智能处理爬取数据提供了内置支持。
2、Crawley：高速爬取对应网站的内容，支持关系和非关系数据库，数据可以导出为JSON、XML等。
3、Portia：是一个开源可视化爬虫工具，可让使用者在不需要任何编程知识的情况下爬取网站！简单地注释自己感兴趣的页面，Portia将创建一个蜘蛛来从类似的页面提取数据。简单来讲，它是基于scrapy内核；可视化爬取内容，不需要任何开发专业知识；动态匹配相同模板的内容。
4、newspaper：可以用来提取新闻、文章和内容分析。使用多线程，支持10多种语言等。作者从requests库的简洁与强大得到灵感，使用Python开发的可用于提取文章内容的程序。支持10多种语言并且所有的都是unicode编码。
5、Python-goose：Java写的文章提取工具。Python-goose框架可提取的信息包括：文章主体内容、文章主要图片、文章中嵌入的任何Youtube/Vimeo视频、元描述、元标签。
6、Beautiful Soup：名气大，整合了一些常用爬虫需求。它是一个可以从HTML或XML文件中提取数据的Python库。它能够通过你喜欢的转换器实现惯用的文档导航,查找,修改文档的方式.Beautiful Soup会帮你节省数小时甚至数天的工作时间。Beautiful Soup的缺点是不能加载JS。
7、mechanize：它的优点是可以加载JS。当然它也有缺点，比如文档严重缺失。不过通过官方的example以及人肉尝试的方法，还是勉强能用的。
8、selenium：这是一个调用浏览器的driver，通过这个库你可以直接调用浏览器完成某些操作，比如输入验证码。Selenium是自动化测试工具，它支持各种浏览器，包括 Chrome，Safari，Firefox等主流界面式浏览器，如果在这些浏览器里面安装一个 Selenium 的插件，可以方便地实现Web界面的测试. Selenium支持浏览器驱动。Selenium支持多种语言开发，比如 Java，C，Ruby等等，PhantomJS 用来渲染解析JS，Selenium 用来驱动以及与Python的对接，Python进行后期的处理。
9、cola：是一个分布式的爬虫框架，对于用户来说，只需编写几个特定的函数，而无需关注分布式运行的细节。任务会自动分配到多台机器上，整个过程对用户是透明的。项目整体设计有点糟，模块间耦合度较高。
10、PySpider：一个国人编写的强大的网络爬虫系统并带有强大的WebUI。采用Python语言编写，分布式架构，支持多种数据库后端，强大的WebUI支持脚本编辑器，任务监视器，项目管理器以及结果查看器。Python脚本控制，可以用任何你喜欢的html解析包。
Python几种主流框架比较
从GitHub中整理出的15个最受欢迎的Python开源框架。这些框架包括事件I/O，OLAP，Web开发，高性能网络通信，测试，爬虫等。\x0d\x0a\x0d\x0aDjango: Python Web应用开发框架\x0d\x0a Django 应该是最出名的Python框架，GAE甚至Erlang都有框架受它影响。Django是走大而全的方向，它最出名的是其全自动化的管理后台：只需要使用起ORM，做简单的对象定义，它就能自动生成数据库结构、以及全功能的管理后台。\x0d\x0a\x0d\x0aDiesel：基于Greenlet的事件I/O框架\x0d\x0a Diesel提供一个整洁的API来编写网络客户端和服务器。支持TCP和UDP。\x0d\x0a\x0d\x0aFlask：一个用Python编写的轻量级Web应用框架\x0d\x0a Flask是一个使用Python编写的轻量级Web应用框架。基于Werkzeug WSGI工具箱和Jinja2 \x0d\x0a模板引擎。Flask也被称为“microframework”，因为它使用简单的核心，用extension增加其他功能。Flask没有默认使用的数\x0d\x0a据库、窗体验证工具。\x0d\x0a\x0d\x0aCubes：轻量级Python OLAP框架\x0d\x0a Cubes是一个轻量级Python框架，包含OLAP、多维数据分析和浏览聚合数据（aggregated data）等工具。\x0d\x0a\x0d\x0aKartograph.py：创造矢量地图的轻量级Python框架\x0d\x0a Kartograph是一个Python库，用来为ESRI生成SVG地图。Kartograph.py目前仍处于beta阶段，你可以在virtualenv环境下来测试。\x0d\x0a\x0d\x0aPulsar：Python的事件驱动并发框架\x0d\x0a Pulsar是一个事件驱动的并发框架，有了pulsar，你可以写出在不同进程或线程中运行一个或多个活动的异步服务器。\x0d\x0a\x0d\x0aWeb2py：全栈式Web框架\x0d\x0a Web2py是一个为Python语言提供的全功能Web应用框架，旨在敏捷快速的开发Web应用，具有快速、安全以及可移植的数据库驱动的应用，兼容Google App Engine。\x0d\x0a\x0d\x0aFalcon：构建云API和网络应用后端的高性能Python框架\x0d\x0a Falcon是一个构建云API的高性能Python框架，它鼓励使用REST架构风格，尽可能以最少的力气做最多的事情。\x0d\x0a\x0d\x0aDpark：Python版的Spark\x0d\x0a DPark是Spark的Python克隆，是一个Python实现的分布式计算框架，可以非常方便地实现大规模数据处理和迭代计算。DPark由豆瓣实现，目前豆瓣内部的绝大多数数据分析都使用DPark完成，正日趋完善。\x0d\x0a\x0d\x0aBuildbot：基于Python的持续集成测试框架\x0d\x0a Buildbot是一个开源框架，可以自动化软件构建、测试和发布等过程。每当代码有改变，服务器要求不同平台上的客户端立即进行代码构建和测试，收集并报告不同平台的构建和测试结果。\x0d\x0a\x0d\x0aZerorpc：基于ZeroMQ的高性能分布式RPC框架\x0d\x0a Zerorpc是一个基于ZeroMQ和MessagePack开发的远程过程调用协议（RPC）实现。和 Zerorpc 一起使用的 Service API 被称为 zeroservice。Zerorpc 可以通过编程或命令行方式调用。\x0d\x0a\x0d\x0aBottle: 微型Python Web框架\x0d\x0a Bottle是一个简单高效的遵循WSGI的微型python Web框架。说微型，是因为它只有一个文件，除Python标准库外，它不依赖于任何第三方模块。\x0d\x0a\x0d\x0aTornado：异步非阻塞IO的Python Web框架\x0d\x0a Tornado的全称是Torado Web Server，从名字上看就可知道它可以用作Web服务器，但同时它也是一个Python Web的开发框架。最初是在FriendFeed公司的网站上使用，FaceBook收购了之后便开源了出来。\x0d\x0a\x0d\x0awebpy: 轻量级的Python Web框架\x0d\x0a webpy的设计理念力求精简（Keep it simple and powerful），源码很简短，只提供一个框架所必须的东西，不依赖大量的第三方模块，它没有URL路由、没有模板也没有数据库的访问。\x0d\x0a\x0d\x0aScrapy：Python的爬虫框架\x0d\x0a Scrapy是一个使用Python编写的，轻量级的，简单轻巧，并且使用起来非常的方便。
Python自动化测试框架有哪些？
自动化测试常用的Python框架有哪些？常用的框架有Robot Framework、Pytest、UnitTest/PyUnit、Behave、Lettuce。Pytest、Robot Framework和UnitTest主要用于功能与单元测试，Lettuce和Behave仅适用于行为驱动测试。
一、Robot Framework
Python测试框架之一，Robot Framework被用在测试驱动(test-driven)类型的开发与验收中。虽然是由Python开发而来，但是它也可以在基于.Net的IronPython和基于Java的Jython上运行。作为一个Python框架，Robot还能够兼容诸如Windows、MacOS、以及Linux等平台。
在使用Robot Framework(RF)之前，需要先安装Python 2.7.14及以上的版本。推荐使用Python 3.6.4，以确保适当的注释能够被添加到代码段中，并能够跟踪程序的更改。同时还需要安装Python包管理器--pip。
二、Pytest
适用于多种软件测试的Pytest，是另一个Python类型的自动化测试框架。凭借着其开源和易学的特点，该工具经常被QA(质量分析)团队、开发团队、个人团队、以及各种开源项目所使用。鉴于Pytest具有“断言重写(assert rewriting)”之类的实用功能，许多大型互联网应用，如Dropbox和Mozilla，都已经从下面将要提到的unittest(Pyunit)切换到了Pytest之上。
除了基本的Python知识，用户并不需要更多的技术储备。另外，用户只需要有一台带有命令行界面的测试设备，并且安装好了Python包管理器、以及可用于开发的IDE工具。
三、UnitTest/PyUnit
UnitTest/PyUnit一种标准化的针对单元测试的Python类自动化测试框架。基类TestCase提供了各种断言方法、以及所有清理和设置的例程。因此，TestCase子类中的每一种方法都是以“test”作为名词前缀，以标识它们能够被作为测试用例所运行。用户可以使用load方法和TestSuite类来分组、并加载各种测试。
可以通过联合使用，来构建自定义的测试运行器。正如我们使用Junit去测试Selenium那样，UnitTest也会用到UnitTest-sml-reporting、并能生成各种XML类型的报告。由于UnitTest默认使用了Python，因此我们并不需要什么先决条件。除了需要具备Python框架的基本知识，您也可以额外地安装pip、以及用于开发的IDE工具。
四、Behave
行为驱动开发是一种基于敏捷软件开发的方法。它能够鼓励开发人员、业务参与者和QA人员，三者之间的协作。Python测试框架Behave允许团队避开各种复杂的情况，去执行BDD测试。从本质上说该框架与SpecFlow和Cucumber相似，常被用于执行自动化测试。用户可以通过简单易读的语言来编写测试用例，并能够在其执行期间粘贴到代码之中。而且，那些被设定的行为规范与步骤，也可以被重用到其他的测试方案中。
任何具备Python基础知识的人都可以使用Behave。其他先决条件还包括：先安装Python 2.7.14及以上的版本。通过Python包管理器或pip来与Behave协作。大多数开发人员会选择Pycharm作为开发环境，当然您也可以选用其他的IDE工具。
五、Lettuce
Lettuce是另一种基于Cucumber和Python的行为驱动类自动化工具。Lettuce主要专注于那些具有行为驱动开发特征的普通任务。它不但简单易用，而且能够使得整个测试过程更流畅、甚至更有趣。安装带有IDE的Python 2.7.14、及以上的版本。当然，您也可以使用Pycharm或任何其他IDE工具。同时，您还需要安装Python包管理器。
用python写爬虫有哪些框架？
1、Scrapy是一个为了爬取网站数据，提取结构性数据而编写的应用框架。 可以应用在包括数据挖掘，信息处理或存储历史数据等一系列的程序中。它是很强大的爬虫框架，可以满足简单的页面爬取，比如可以明确获知url pattern的情况。用这个框架可以轻松爬下来如亚马逊商品信息之类的数据。但是对于稍微复杂一点的页面，如weibo的页面信息，这个框架就满足不了需求。
2、pyspider
是一个用python实现的功能强大的网络爬虫系统，能在浏览器界面上进行脚本的编写，功能的调度和爬取结果的实时查看，后端使用常用的数据库进行爬取结果的存储，还能定时设置任务与任务优先级等。
3、Crawley可以高速爬取对应网站的内容，支持关系和非关系数据库，数据可以导出为JSON、XML等。
4、Portia是一个开源可视化爬虫工具，可让使用者在不需要任何编程知识的情况下爬取网站!简单地注释自己感兴趣的页面，Portia将创建一个蜘蛛来从类似的页面提取数据。简单来讲，它是基于scrapy内核;可视化爬取内容，不需要任何开发专业知识;动态匹配相同模板的内容。
5、Grab是一个用于构建Web刮板的Python框架。借助Grab，您可以构建各种复杂的网页抓取工具，从简单的5行脚本到处理数百万个网页的复杂异步网站抓取工具。Grab提供一个API用于执行网络请求和处理接收到的内容，例如与HTML文档的DOM树进行交互。
python自动化测试框架有哪些
第一种：Robot Framework
作为最重要的python测试框架之一，Robot Framework主要被用在测试驱动类型的开发与验收中。虽然由python开发而来，但是它也可以在基于.net的Ironpython和基于Java的Jython上运行。同时，作为一个python框架，Robot还能够兼容诸如Windows、MacOS、Linux等平台。
在使用Robot Framework之前，需要先安装python2.7.14及以上版本，在这里推荐大家使用python3.6.4，以确保适当的注解能够被添加到代码段中，并能够跟踪程序的更改，同时，您还需要安装python包管理器--pip。
第二种：Pytest
适用于多种软件测试的Pytest，是另一个python类型的自动化测试框架。凭借着开源和易学的特点，该工具经常被QA团体、开发团体、个人团体以及各种开源项目所使用。鉴于Pytest具有断言重写之类的实用功能，许多大型互联网应用，如Dropbox、Mozilla，都已经从下面将要提到的unittest切换到了Pytest之上。
除了基本的python知识，用户并不需要更多的技术储备。另外，用户只需要有一台带有命令行界面的测试设备，并且安装好了python包管理器以及可用于开发的IDE工具。
第三种：UnitTest/PyUnit
受到Junit启发的UnitTest/PyUnit，也是一种标准化的针对单元测试的python类自动化测试框架。它的基类TestCase提供了各种断言方法、以及所有清理和设置的例程。因此，TestCase子类中的每一种方法都是以test作为名词点缀，以标识它们能够被作为测试用例所运行。用户可以使用load方法和TestSuite类来分组、并加载各种测试。当然，也可以通过联合使用，来构建自定义的测试运行器。正如我们使用Junit去测试Selenium那样，UnitTest也会用到unittest-sml-reporting，并能生成各种XML类型的报告。
第四种：Behave
行为驱动开发是一种基于敏捷软件开发的方法。它能够鼓励开发人员、业务参与者和QA人员，三者之间的协作。python测试框架Behave允许团队避开各种复杂的情况，去执行BDD测试。从本质上说该框架与SpecFlow和Cucumber相似，常被用于执行自动化测试。用户可以通过简单易读的语言来编写测试用例，并能够在其执行期间粘贴到代码之中。而且，那些被设定的行为规范与步骤，也可以被重用到其他的测试方案中。
第五种：Lettuce
Lettuce是另一种基于Cucumber和python的行为驱动类自动化工具。Lettuce主要专注于那些具有行为驱动开发特性的普通任务。它不但简单易用，而且能够使得整个测试过程更流畅、甚至更有趣。
您需要安装带有IDE的python2.7.14及以上版本。当然，您也可以使用pycharm或任何其他IDE工具。同时，您还需要安装python包管理器。