如何用python从数据库中批量生成文本(python数据库数据生成网页)

求助用python从数据库取数据动态生成表格的方法

一、可使用的第三方库

python中处理excel表格，常用的库有xlrd（读excel）表、xlwt（写excel）表、openpyxl（可读写excel表）等。xlrd读数据较大的excel表时效率高于openpyxl，所以我在写脚本时就采用了xlrd和xlwt这两个库。介绍及下载地址为： 这些库文件都没有提供修改现有excel表格内容的功能。一般只能将原excel中的内容读出、做完处理后，再写入一个新的excel文件。

二、常见问题

使用python处理excel表格时，发现两个个比较难缠的问题：unicode编码和excel中记录的时间。

因为python的默认字符编码都为unicode，所以打印从excel中读出的中文或读取中文名的excel表或sheet时，程序提示错误UnicodeEncodeError: 'ascii' codec can't encode characters in position 0-2: ordinal not in range(128)。这是由于在windows中，中文使用了gb2312编码方式，python将其当作unicode和ascii来解码都不正确才报出的错误。使用VAR.encode('gb2312')即可解决打印中文的问题。（很奇怪，有的时候虽然能打印出结果，但显示的不是中文，而是一堆编码。）若要从中文文件名的excel表中读取数据，可在文件名前加‘u’表示将该中文文件名采用unicode编码。

有excel中，时间和日期都使用浮点数表示。可看到，当‘2013年3月20日’所在单元格使用‘常规’格式表示后，内容变为‘41353’；当其单元格格式改变为日期后，内容又变为了‘2013年3月20日’。而使用xlrd读出excel中的日期和时间后，得到是的一个浮点数。所以当向excel中写入的日期和时间为一个浮点数也不要紧，只需将表格的表示方式改为日期和时间，即可得到正常的表示方式。excel中，用浮点数1表示1899年12月31日。

三、常用函数

以下主要介绍xlrd、xlwt、datetime中与日期相关的函数。

import xlrd

import xlwt

from datetime

def testXlrd(filename):

book=xlrd.open_workbook(filename)

sh=book.sheet_by_index(0)

print "Worksheet name(s): ",book.sheet_names()[0]

print 'book.nsheets',book.nsheets

print 'sh.name:',sh.name,'sh.nrows:',sh.nrows,'sh.ncols:',sh.ncols

print 'A1:',sh.cell_value(rowx=0,colx=1)

#如果A3的内容为中文

print 'A2:',sh.cell_value(0,2).encode('gb2312')

def testXlwt(filename):

book=xlwt.Workbook()

sheet1=book.add_sheet('hello')

book.add_sheet('word')

sheet1.write(0,0,'hello')

sheet1.write(0,1,'world')

row1 = sheet1.row(1)

row1.write(0,'A2')

row1.write(1,'B2')

sheet1.col(0).width = 10000

sheet2 = book.get_sheet(1)

sheet2.row(0).write(0,'Sheet 2 A1')

sheet2.row(0).write(1,'Sheet 2 B1')

sheet2.flush_row_data()

sheet2.write(1,0,'Sheet 2 A3')

sheet2.col(0).width = 5000

sheet2.col(0).hidden = True

book.save(filename)

if __name__=='__main__':

testXlrd(u'你好。xls')

testXlwt('helloWord.xls')

base=datetime.date(1899,12,31).toordinal()

tmp=datetime.date(2013,07,16).toordinal()

print datetime.date.fromordinal(tmp+base-1).weekday()

python中如何将表中的数据做成一张表,然后再从中取出数据？

第一部分是生成数据表，常见的生成方法有两种，第一种是导入外部数据，第二种是直接写入数据。 Excel 中的文件菜单中提供了获取外部数据的功能，支持数据库和文本文件和页面的多种数据源导入。

获取外部数据

python 支持从多种类型的数据导入。在开始使用 python 进行数据导入前需要先导入 pandas 库，为了方便起见，我们也同时导入 numpy 库。

1 import numpy as np

2 import pandas as pd

导入数据表

下面分别是从 excel 和 csv 格式文件导入数据并创建数据表的方法。代码是最简模式，里面有很多可选参数设置，例如列名称，索引列，数据格式等等。感兴趣的朋友可以参考 pandas 的

官方文档。

1 df=pd.DataFrame(pd.read_csv(‘name.csv’,header=1))

2 df=pd.DataFrame(pd.read_excel(‘name.xlsx’))

创建数据表

另一种方法是通过直接写入数据来生成数据表，excel 中直接在单元格中输入数据就可以，python 中通过下面的代码来实现。生成数据表的函数是 pandas 库中的 DateFrame 函数，数据表一共有 6 行数据，每行有 6 个字段。在数据中我们特意设置了一些 NA 值和有问题的字段，例如包含空格等。后面将在数据清洗步骤进行处理。后面我们将统一以 DataFrame 的简称 df 来命名数据表。

1 df = pd.DataFrame({‘id’:[1001,1002,1003,1004,1005,1006],

2 ‘date’:pd.date_range(‘20130102’, periods=6),

3 ‘city’:['Beijing ', ‘SH’, ’ guangzhou ', ‘Shenzhen’, ‘shanghai’, 'BEIJING '],

4 ‘age’:[23,44,54,32,34,32],

5 ‘category’:[‘100-A’,‘100-B’,‘110-A’,‘110-C’,‘210-A’,‘130-F’],

6 ‘price’:[1200,np.nan,2133,5433,np.nan,4432]},

7 columns =[‘id’,‘date’,‘city’,‘category’,‘age’,‘price’])

这是刚刚创建的数据表，我们没有设置索引列，price 字段中包含有 NA 值，city 字段中还包含了一些脏数据。

数据表检查

python 中处理的数据量通常会比较大，所以就需要我们对数据表进行检查。比如我们之前的文章中介绍的纽约出租车数据和 Citibike 的骑行数据，数据量都在千万级，我们无法一目了然的了解数据表的整体情况，必须要通过一些方法来获得数据表的关键信息。数据表检查的另一个目的是了解数据的概况，例如整个数据表的大小，所占空间，数据格式，是否有空值和重复项和具体的数据内容。为后面的清洗和预处理做好准备。

数据维度(行列)

Excel 中可以通过 CTRL 向下的光标键，和 CTRL 向右的光标键来查看行号和列号。Python 中使用 shape 函数来查看数据表的维度，也就是行数和列数，函数返回的结果(6,6)表示数据表有 6 行，6 列。下面是具体的代码。

1 #查看数据表的维度

2 df.shape

3 (6, 6)

数据表信息

使用 info 函数查看数据表的整体信息，这里返回的信息比较多，包括数据维度，列名称，数据格式和所占空间等信息。

1 #数据表信息

2 df.info()

4 class ‘pandas.core.frame.DataFrame’

5 RangeIndex: 6 entries, 0 to 5

6 Data columns (total 6 columns):

7 id 6 non-null int64

8 date 6 non-null datetime64[ns]

9 city 6 non-null object

10 category 6 non-null object

11 age 6 non-null int64

12 price 4 non-null float64

13 dtypes: datetime64ns, float64(1), int64(2), object(2)

14 memory usage: 368.0 bytes

查看数据格式

Excel 中通过选中单元格并查看开始菜单中的数值类型来判断数据的格式。Python 中使用 dtypes 函数来返回数据格式。

Dtypes 是一个查看数据格式的函数，可以一次性查看数据表中所有数据的格式，也可以指定一列来单独查看。

1#查看数据表各列格式

2df.dtypes

3

4id int64

5date datetime64[ns]

6city object

7category object

8age int64

9price float64

10dtype: object

11

12#查看单列格式

13df[‘B’].dtype

14

15dtype(‘int64’)

查看空值

Excel 中查看空值的方法是使用“定位条件”功能对数据表中的空值进行定位。“定位条件”在“开始”目录下的“查找和选择”目录中。

Isnull 是 Python 中检验空值的函数，返回的结果是逻辑值，包含空值返回 True，不包含则返回 False。可以对整个数据表进行检查，也可以单独对某一列进行空值检查。

df_isnull

1#检查特定列空值

2df[‘price’].isnull()

3

40 False

51 True

62 False

73 False

84 True

95 False

10Name: price, dtype: bool

查看唯一值

Excel 中查看唯一值的方法是使用“条件格式”对唯一值进行颜色标记。Python 中使用 unique 函数查看唯一值。

Unique 是查看唯一值的函数，只能对数据表中的特定列进行检查。下面是代码，返回的结果是该列中的唯一值。类似与 Excel 中删除重复项后的结果。

1 #查看 city 列中的唯一值

2 df[‘city’].unique()34array(['Beijing ', ‘SH’, ’ guangzhou ', ‘Shenzhen’, ‘shanghai’, 'BEIJING '], dtype=object)

查看数据表数值

Python 中的 Values 函数用来查看数据表中的数值。以数组的形式返回，不包含表头信息。

1#查看数据表的值

2df.values

3

4array([[1001, Timestamp(‘2013-01-02 00:00:00’), 'Beijing ', ‘100-A’, 23,

5 1200.0],

6 [1002, Timestamp(‘2013-01-03 00:00:00’), ‘SH’, ‘100-B’, 44, nan],

7 [1003, Timestamp(‘2013-01-04 00:00:00’), ’ guangzhou ', ‘110-A’, 54,

8 2133.0],

9 [1004, Timestamp(‘2013-01-05 00:00:00’), ‘Shenzhen’, ‘110-C’, 32,

10 5433.0],

11 [1005, Timestamp(‘2013-01-06 00:00:00’), ‘shanghai’, ‘210-A’, 34,

12 nan],

13 [1006, Timestamp(‘2013-01-07 00:00:00’), 'BEIJING ', ‘130-F’, 32,

14 4432.0]], dtype=object)

查看列名称

Colums 函数用来单独查看数据表中的列名称。

1 #查看列名称

2 df.columns

3

4 Index([‘id’, ‘date’, ‘city’, ‘category’, ‘age’, ‘price’], dtype=‘object’)

查看前 10 行数据

Head 函数用来查看数据表中的前 N 行数据，默认 head()显示前 10 行数据，可以自己设置参数值来确定查看的行数。下面的代码中设置查看前 3 行的数据。

1#查看前 3 行数据``df.head(``3``)

Tail 行数与 head 函数相反，用来查看数据表中后 N 行的数据，默认 tail()显示后 10 行数据，可以自己设置参数值来确定查看的行数。下面的代码中设置查看后 3 行的数据。

1#查看最后 3 行df.tail(3)

使用 Python 读写文件

有些数据是临时的，它们在应用程序运行时存储在内存中，然后丢弃。但是有些数据是持久的。它们存储在硬盘驱动器上供以后使用，而且它们通常是用户最关心的东西。对于程序员来说，编写代码读写文件是很常见的，但每种语言处理该任务的方式都不同。本文演示了如何使用 Python 处理文件数据。

在 Linux 上，你可能已经安装了 Python。如果没有，你可以通过发行版软件仓库安装它。例如，在 CentOS 或 RHEL 上：

在 macOS 上，你可以使用 MacPorts或Homebrew安装。在 Windows 上，你可以使用Chocolatey安装。

一旦安装了 Python，打开你最喜欢的文本编辑器，准备好写代码吧。

如果你需要向一个文件中写入数据，记住有三个步骤：

这与你在计算机上编码、编辑照片或执行其他操作时使用的步骤完全相同。首先，打开要编辑的文档，然后进行编辑，最后关闭文档。

在 Python 中，过程是这样的：

这个例子中，第一行以 写 模式打开了一个文件，然后用变量 f 表示，我使用了 f 是因为它在 Python 代码中很常见，使用其他任意有效变量名也能正常工作。

在打开文件时，有不同的模式：

第二行表示向文件中写入数据，本例写入的是纯文本，但你可以写入任意类型的数据。

最后一行关闭了文件。

对于快速的文件交互，常用有一种简短的方法可以写入数据。它不会使文件保持打开状态，所以你不必记得调用 close 函数。相反，它使用 with 语法：

如果你或你的用户需要通过应用程序需要向文件中写入一些数据，然后你需要使用它们，那么你就需要读取文件了。与写入类似，逻辑一样：

同样的，这个逻辑反映了你一开始使用计算机就已知的内容。阅读文档，你可以打开、阅读，然后关闭。在计算机术语中，“打开”文件意味着将其加载到内存中。

实际上，一个文本文件内容肯定不止一行。例如，你需要读取一个配置文件、 游戏 存档或乐队下一首歌曲的歌词，正如你打开一本实体书时，你不可能立刻读完整本书，代码也只能解析已经加载到内存中的文件。因此，你可能需要遍历文件的内容。

示例的第一行指明使用 读 模式打开一个文件，然后文件交由变量 f 表示，但就像你写数据一样，变量名是任意的。 f 并没有什么特殊的，它只是单词 “file” 的最简表示，所以 Python 程序员会经常使用它。

在第二行，我们使用了 line ，另一个任意变量名，用来表示 f 的每一行。这告诉 Python 逐行迭代文件的内容，并将每一行的内容打印到输出中（在本例中为终端或IDLE）。

就像写入一样，使用 with 语法是一种更简短的方法读取数据。即不需要调用 close 方法，方便地快速交互。

使用 Python 有很多方法向文件写入数据，包括用 JSON、YAML、TOML等不同的格式写入。还有一个非常好的内置方法用于创建和维护SQLite数据库，以及许多库来处理不同的文件格式，包括图像、音频和视频等。

via:

作者：Seth Kenlon选题：lujun9972译者：MjSeven校对：turbokernel

如何用python实现对数据库的整理

先花点时间来说说一个程序怎么和数据库进行交互

1.和数据库建立连接

2.执行sql语句,接收返回值

3.关闭数据库连接

使用MySQLdb也要遵循上面的几步.让我们一步步的进行.

1、MySQL数据库要用MySQLdb模块,但Python用来链接MySQL的第三方库MySQLdb不支持Python3.x

特别说明：我在我的电脑上实验时，我的python是2.7.2版本，安装对应版本的MySQLdb之后直接可以运行，并与数据库连接成功，所以如果大家

也像我一样顺利的话，下面的就不需要看了，直接跳过，看第2点如何执行sql语句即可！如果安装之后出现异常，可以参考一下下面的解决办法。

连接的关键是安装MySQLdb模块要下载与Python相对应的版本：

下载好后安装，它会自动检测到计算机Python的安装路径，并自动填写模块解压路径（我的是：D:\ProgramFiles\ActivePython 2.6.6.17\Lib\site-packages\）。

但解压完成后并不能使用，还要修改MySQLdb模块下的一些文件：

①.在MySQLdb目录下（我的是：D:\ProgramFiles\ActivePython 2.6.6.17\Lib\site-packages\MySQLdb）找到__init__.py：

注释第34、35行的from setsimport ImmutableSet、class DBAPISet(ImmutableSet):，在后面添加class DBAPISet(frozenset):

# from sets import ImmutableSet

# class DBAPISet(ImmutableSet):

class DBAPISet(frozenset):

②.打开converters.py：

注释第37行的from sets import BaseSet, Set，将第45行的return Set([ i for i in

s.split(',') ifi ])中的Set改为set；同样将第129行的Set:

Set2Str,中的Set改为set（不要修改Set2Str），到这里就修改完毕了

2.建立数据库连接

import MySQLdb

conn=MySQLdb.connect(host="localhost",user="root",passwd="sa",db="mytable")

比较常用的参数包括

host: 连接的数据库服务器主机名，默认为本地主机(localhost)。

user:数据库登陆名.默认是当前用户.

passwd:数据库登陆的秘密.默认为空.

db:要使用的数据库名.没有默认值.

port:MySQL服务使用的TCP端口.默认是3306.

conn连接有两个重要的方法commit【提交新增和修改】,rollback【撤销新增或修改】

3、执行数据库操作

n=cursor.execute(sql,param)

我们要使用连接对象获得一个cursor对象,接下来,我们会使用cursor提供的方法来进行工作.

这些方法包括两大类:1.执行命令,2.接收返回值

cursor用来执行命令的方法:

　 callproc(self, procname, args):用来执行存储过程,接收的参数为存储过程名和参数列表,返回值为受影响的行数

　 execute(self, query, args):执行单条sql语句,接收的参数为sql语句本身和使用的参数列表,返回值为受影响的行数

　 executemany(self, query, args):执行单挑sql语句,但是重复执行参数列表里的参数,返回值为受影响的行数

　 nextset(self):移动到下一个结果集

　 cursor用来接收返回值的方法:

　 fetchall(self):接收全部的返回结果行.

　 fetchmany(self, size=None):接收size条返回结果行.如果size的值大于返回的结果行的数量,则会返回cursor.arraysize条数据.

　 fetchone(self):返回一条结果行.

　 scroll(self, value, mode='relative'):移动指针到某一行.如果mode='relative',则表示从当前所在行移动value条,如果mode='absolute',则表示从结果集的第一行移动value条.

下面的代码是一个完整的例子.

#使用sql语句,这里要接收的参数都用%s占位符.要注意的是,无论你要插入的数据是什么类型,占位符永远都要用%s

sql="insert into cdinfo values(%s,%s,%s,%s,%s)"

#param应该为tuple或者list

param=(title,singer,imgurl,url,alpha)

#执行,如果成功,n的值为1

n=cursor.execute(sql,param)

#再来执行一个查询的操作

cursor.execute("select * from cdinfo")

#我们使用了fetchall这个方法.这样,cds里保存的将会是查询返回的全部结果.每条结果都是一个tuple类型的数据,这些tuple组成了一个tuple

cds=cursor.fetchall()

#因为是tuple,所以可以这样使用结果集

print cds[0][3]

#或者直接显示出来,看看结果集的真实样子

print cds

#如果需要批量的插入数据,就这样做

sql="insert into cdinfo values(0,%s,%s,%s,%s,%s)"

#每个值的集合为一个tuple,整个参数集组成一个tuple,或者list

param=((title,singer,imgurl,url,alpha),(title2,singer2,imgurl2,url2,alpha2))

#使用executemany方法来批量的插入数据.这真是一个很酷的方法!

n=cursor.executemany(sql,param)

需要注意的是(或者说是我感到奇怪的是),在执行完插入或删除或修改操作后,需要调用一下

conn.commit()方法进行提交.这样,数据才会真正保存在数据库中.我不清楚是否是我的mysql设置问题,总之,今天我在一开始使用的时候,

如果不用commit,那数据就不会保留在数据库中,但是,数据确实在数据库呆过.因为自动编号进行了累积,而且返回的受影响的行数并不为0.

4、关闭数据库连接

需要分别的关闭指针对象和连接对象.他们有名字相同的方法

cursor.close()

conn.close()

5、

5 编码（防止乱码）

需要注意的点：

1 Python文件设置编码 utf-8 （文件前面加上 #encoding=utf-8)

2 MySQL数据库charset=utf-8

3 Python连接MySQL是加上参数 charset=utf8

4 设置Python的默认编码为 utf-8 (sys.setdefaultencoding(utf-8)

#encoding=utf-8 import sys import MySQLdb reload(sys) sys.setdefaultencoding('utf-8') db=MySQLdb.connect(user='root',charset='utf8')

注：MySQL的配置文件设置也必须配置成utf8

6.模块功能演示

#!/usr/bin/python

import MySQLdb

Con= MySQLdb.connect(host='localhost',user='root',passwd='root',db='abc')

cursor =con.cursor()

sql ="select * from myt"

cursor.execute(sql)

row=cursor.fetchone()

print row

cursor.close()

con.close()

执行以下SQL语句获取返回值：

//获取连接的游标

cursor=conn.cursor()

//查询

sql = "select * from 【table】"

//新增

sql = "insert into 【table】(字段,字段) values(值，值)"

//修改

sql = "update 【table】 set 字段 =‘值’where 条件 "

//删除

sql = "delete from 【table】where 条件"

cursor.execute(sql)

返回值

cur.execute('select * from tables')

其返回值为SQL语句得到的行数，如：2L，表示2行。

然后，可以从该对象的fetchone或fetchall方法得到行信息。

获取行信息

指针对象的fetchone()方法，是每次得到一行的tuple返回值：

引用

row=cur.fetchone()

print row

('user1', '52c69e3a57331081823331c4e69d3f2e', 1000L, 1000L, '/home/FTP/user1','')

指针对象的fetchall()方法，可取出指针结果集中的所有行，返回的结果集一个元组(tuples)：

引用

cur.scroll(0,'absolute')

row=cur.fetchall()

print row

(('user1', '52c69e3a57331081823331c4e69d3f2e', 1000L, 1000L,

'/home/FTP/user1',''), ('user2', '7e58d63b60197ceb55a1c487989a3720',

1000L, 1000L,'/home/FTP/user2', None))

移动指针

当使用fetchone()方法是，指针是会发生移动的。所以，若不重置指针，那么使用fetchall的信息将只会包含指针后面的行内容。

手动移动指针使用：

cur.scroll(int,parm)

含义为：

引用

int：移动的行数，整数；在相对模式下，正数向下移动，负值表示向上移动。

parm：移动的模式，默认是relative，相对模式；可接受absoulte，绝对模式。

修改数据

修改数据，包括插入、更新、删除。它们都是使用指针对象的execute()方法执行：

cur.execute("insert into table (row1, row2) values ('111', '222')")

cur.execute("update table set row1 = 'test' where row2 = 'row2' ")

cur.execute("delete from table where row1 = 'row1' ")

因单引号“'”用于SQL语句中的标识，所以，python中的字符串需使用双引号括住。

此外，也可以使用python的“格式化字符串”写法，简化命令，例如：

cur.execute("update table set row1 = '%s' where row2 = '%s' "%('value1','value2'))

※请注意，'%s'的单引号是SQL语句的间隔符，'value1'的单引号是python的字符串间隔符，其含义是不同的。是否需要间隔符，以及使用双引号还是单引号作为间隔，需根据其含义决定。例如，还有：

cur.execute("update FTPUSERS set passwd=%s where userid='%s' "%("md5('123')",'user2'))

这里，paswd=%s是因SQL的md5()函数是不需要单引号间隔的；"md5('123')"是python的字符串中含有单引号，所以用双引号括住。

提交修改

一般情况下，MySQLdb模块会自动提交修改。但我们在更新数据后，手动运行一次：

conn.commit()

关闭数据库连接

需要分别的关闭指针对象和连接对象.他们有名字相同的方法

cursor.close()

conn.close()

如何用python把网页上的文本内容保存下来

1、了解Python如何获取网页内容。

2、导入 urllib.request模块。

3、使用urllib.request.urlopen( )获取对象。

4、urllib.request.urlopen()获取的是一个网页的http.client.HTTPResponse对象。

5、若要打印http.client.HTTPResponse对象的内容，可以继续使用read()()方法。