pythonCSV(pythonCSV文件)

Python csv模块（读写文件）

CSV文件又称为逗号分隔值文件，是一种通用的、相对简单的文件格式，用以存储表格数据，包括数字或者字符。CSV是电子表格和数据库中最常见的输入、输出文件格式。

通过爬虫将数据抓取的下来，然后把数据保存在文件，或者数据库中，这个过程称为数据的持久化存储。本节介绍Python内置模块CSV的读写操作。

1)csv.writer()

csv模块中的writer类可用于读写序列化的数据，其语法格式如下：

参数说明：

csvfile：必须是支持迭代(Iterator)的对象，可以是文件(file)对象或者列表(list)对象。

dialect：编码风格，默认为excel的风格，也就是使用逗号,分隔。

fmtparam：格式化参数，用来覆盖之前dialect对象指定的编码风格。

如果想同时写入多行数据，需要使用writerrows()方法，代码如下所示：

aggs.csv文件内容：

2)csv.DictWriter()

当然也可使用DictWriter类以字典的形式读写数据，使用示例如下：

name.csv文件内容，如下所示：

1)csv,reader()

csv模块中的reader类和DictReader类用于读取文件中的数据，其中reader()语法格式如下：

2)csv.DictReader()

应用示例如下：

输出结果：

开课吧广场-人才学习交流平台

python—CSV的读写

1.写入csv数据

import csv

header=['class','name','sex','height','year']

rows=[

[1,'xiaoming','male',168,23],

[1,'xiaohong','female',162,22],

[2,'xiaozhang','female',158,21],

[2,'xiaoli','male',158,21]

]

with open('csvdir.csv','w',newline='')as f:? ? ? ? ? #newline=" "是为了避免写入之后有空行

????????ff=csv.writer(f)

????????ff.writerow(header)

? ? ????ff.writerows(rows)

2.在写入字典序列类型数据的时候，需要传入两个参数，一个是文件对象——f，一个是字段名称——fieldnames，到时候要写入表头的时候，只需要调用writerheader方法，写入一行字典系列数据调用writerrow方法，并传入相应字典参数，写入多行调用writerows ?

import csv

headers = ['class','name','sex','height','year']

rows = [

? ? ? ? {'class':1,'name':'xiaoming','sex':'male','height':168,'year':23},

? ? ? ? {'class':1,'name':'xiaohong','sex':'female','height':162,'year':22},

? ? ? ? {'class':2,'name':'xiaozhang','sex':'female','height':163,'year':21},

? ? ? ? {'class':2,'name':'xiaoli','sex':'male','height':158,'year':21},

? ? ]

with open('test2.csv','w',newline='')as f:

? ? ? f_csv = csv.DictWriter(f,headers)

? ? ? f_csv.writeheader()

? ? ? f_csv.writerows(rows)

注意：列表和字典形式的数据写入是不一样的！！！！！！

3.csv的读取，和读取文件差不多：

import csv?

with open('test.csv')as f:

? ? f_csv = csv.reader(f)

? ? for row in f_csv:

? ? ? ? print(row)

说说如何利用 Python 处理 CSV 文件

CSV 表示 “Comma-Separated Values （逗号分隔的值） ” ， CSV 文件是简化的电子表格，实际为纯文本文件。

一个 CSV 文件，格式是这样的：

因为 CSV 文件中的每个单元格都是以逗号分割，所以也许有人会对每行文本调用 split() 方法，来解析 CSV 文件。但 CSV 文件也有自己的转义字符，通过转义字符，允许逗号和其他字符作为值的一部分，但单纯使用 split() 方法不能处理这些转义字符。因为这些潜在的缺陷，所以建议总是使用 csv 模块来读写 CSV 文件。

csv 模块是 Python 自带的，所以可以直接导入。

要使用 csv 模块从 CSV 文件中读取数据，我们需要创建一个 Reader 对象。 通过 Reader 对象，我们可以迭代遍历 CSV 文件中的每一行内容。

运行结果：

要用 csv 模块读取 CSV 文件，首先先使用 open() 函数打开它 ，就像打开任何其他文本文件一样。然后将它传递给 csv .reader() 函数。 这个函数将返回一个 Reader 对象。注意，csv .reader() 函数不接受文件名作为入参。

要访问 Reader 对象中的值，最直接的方法，就是利用 list() 将它转换成一个普通 Python 列表。它实际为一个包含列表的列表，用于表示二维数据。

我们还可以使用表达式 data [ row ][ col ] 来访问 CSV 中特定行和列的值。其中， row 是 data 中一个列表的下标， col 是该列表中，我们想访问的项的下标：

运行结果：

运行结果：

Writer 对象可以让我们把数据写入 CSV 文件。

运行结果：

在 Windows 上，需要为 open() 函数的 newline 关键字参数传入一个空字符串。如果没有设置 newline 参数， output.csv 中的行距将变为两倍，如下图所示。

如果写入的内容包含逗号，那么 csv 模块会自动加上双引号，对其进行转义，如下例所示。

运行结果：

我们也可以利用 delimiter ，来制作 TSV 文件，TSV 是Tab-separated values的缩写，即以制表符作为分隔符的文件；利用 lineterminator 参数来设定行距。

运行结果：

这里利用 lineterminator='\n\n\n' 将行与行之间的字符变为三个换行符，效果就是实现了 3 倍行距。

python 读取CSV 文件

读取一个CSV 文件

最全的

一个简化版本

filepath_or_buffer : str，pathlib。str, pathlib.Path, py._path.local.LocalPath or any object with a read() method (such as a file handle or StringIO)

可以是URL，可用URL类型包括：http, ftp, s3和文件。对于多文件正在准备中

本地文件读取实例：://localhost/path/to/table.csv

**sep **: str, default ‘,’

指定分隔符。如果不指定参数，则会尝试使用逗号分隔。分隔符长于一个字符并且不是‘\s+’,将使用python的语法分析器。并且忽略数据中的逗号。正则表达式例子：'\r\t'

**delimiter **: str, default None

定界符，备选分隔符（如果指定该参数，则sep参数失效）

delim_whitespace : boolean, default False.

指定空格(例如’ ‘或者’ ‘)是否作为分隔符使用，等效于设定sep='\s+'。如果这个参数设定为Ture那么delimiter 参数失效。

在新版本0.18.1支持

header : int or list of ints, default ‘infer’

指定行数用来作为列名，数据开始行数。如果文件中没有列名，则默认为0，否则设置为None。如果明确设定header=0 就会替换掉原来存在列名。header参数可以是一个list例如：[0,1,3]，这个list表示将文件中的这些行作为列标题（意味着每一列有多个标题），介于中间的行将被忽略掉。

注意：如果skip_blank_lines=True 那么header参数忽略注释行和空行，所以header=0表示第一行数据而不是文件的第一行。

**names **: array-like, default None

用于结果的列名列表，如果数据文件中没有列标题行，就需要执行header=None。默认列表中不能出现重复，除非设定参数mangle_dupe_cols=True。

index_col : int or sequence or False, default None

用作行索引的列编号或者列名，如果给定一个序列则有多个行索引。

如果文件不规则，行尾有分隔符，则可以设定index_col=False 来是的pandas不适用第一列作为行索引。

usecols : array-like, default None

返回一个数据子集，该列表中的值必须可以对应到文件中的位置（数字可以对应到指定的列）或者是字符传为文件中的列名。例如：usecols有效参数可能是 [0,1,2]或者是 [‘foo’, ‘bar’, ‘baz’]。使用这个参数可以加快加载速度并降低内存消耗。

as_recarray : boolean, default False

不赞成使用：该参数会在未来版本移除。请使用pd.read_csv(...).to_records()替代。

返回一个Numpy的recarray来替代DataFrame。如果该参数设定为True。将会优先squeeze参数使用。并且行索引将不再可用，索引列也将被忽略。

**squeeze **: boolean, default False

如果文件值包含一列，则返回一个Series

**prefix **: str, default None

在没有列标题时，给列添加前缀。例如：添加‘X’ 成为 X0, X1, ...

**mangle_dupe_cols **: boolean, default True

重复的列，将‘X’...’X’表示为‘X.0’...’X.N’。如果设定为false则会将所有重名列覆盖。

dtype : Type name or dict of column - type, default None

每列数据的数据类型。例如 {‘a’: np.float64, ‘b’: np.int32}

**engine **: {‘c’, ‘python’}, optional

Parser engine to use. The C engine is faster while the python engine is currently more feature-complete.

使用的分析引擎。可以选择C或者是python。C引擎快但是Python引擎功能更加完备。

converters : dict, default None

列转换函数的字典。key可以是列名或者列的序号。

true_values : list, default None

Values to consider as True

false_values : list, default None

Values to consider as False

**skipinitialspace **: boolean, default False

忽略分隔符后的空白（默认为False，即不忽略）.

skiprows : list-like or integer, default None

需要忽略的行数（从文件开始处算起），或需要跳过的行号列表（从0开始）。

skipfooter : int, default 0

从文件尾部开始忽略。 (c引擎不支持)

skip_footer : int, default 0

不推荐使用：建议使用skipfooter ，功能一样。

nrows : int, default None

需要读取的行数（从文件头开始算起）。

na_values : scalar, str, list-like, or dict, default None

一组用于替换NA/NaN的值。如果传参，需要制定特定列的空值。默认为‘1.#IND’, ‘1.#QNAN’, ‘N/A’, ‘NA’, ‘NULL’, ‘NaN’, ‘nan’`.

**keep_default_na **: bool, default True

如果指定na_values参数，并且keep_default_na=False，那么默认的NaN将被覆盖，否则添加。

**na_filter **: boolean, default True

是否检查丢失值（空字符串或者是空值）。对于大文件来说数据集中没有空值，设定na_filter=False可以提升读取速度。

verbose : boolean, default False

是否打印各种解析器的输出信息，例如：“非数值列中缺失值的数量”等。

skip_blank_lines : boolean, default True

如果为True，则跳过空行；否则记为NaN。

**parse_dates **: boolean or list of ints or names or list of lists or dict, default False

infer_datetime_format : boolean, default False

如果设定为True并且parse_dates 可用，那么pandas将尝试转换为日期类型，如果可以转换，转换方法并解析。在某些情况下会快5~10倍。

**keep_date_col **: boolean, default False

如果连接多列解析日期，则保持参与连接的列。默认为False。

date_parser : function, default None

用于解析日期的函数，默认使用dateutil.parser.parser来做转换。Pandas尝试使用三种不同的方式解析，如果遇到问题则使用下一种方式。

1.使用一个或者多个arrays（由parse_dates指定）作为参数；

2.连接指定多列字符串作为一个列作为参数；

3.每行调用一次date_parser函数来解析一个或者多个字符串（由parse_dates指定）作为参数。

**dayfirst **: boolean, default False

DD/MM格式的日期类型

**iterator **: boolean, default False

返回一个TextFileReader 对象，以便逐块处理文件。

chunksize : int, default None

文件块的大小， See IO Tools docs for more information on iterator and chunksize.

compression : {‘infer’, ‘gzip’, ‘bz2’, ‘zip’, ‘xz’, None}, default ‘infer’

直接使用磁盘上的压缩文件。如果使用infer参数，则使用 gzip, bz2, zip或者解压文件名中以‘.gz’, ‘.bz2’, ‘.zip’, or ‘xz’这些为后缀的文件，否则不解压。如果使用zip，那么ZIP包中国必须只包含一个文件。设置为None则不解压。

新版本0.18.1版本支持zip和xz解压

thousands : str, default None

千分位分割符，如“，”或者“."

decimal : str, default ‘.’

字符中的小数点 (例如：欧洲数据使用’，‘).

float_precision : string, default None

Specifies which converter the C engine should use for floating-point values. The options are None for the ordinary converter, high for the high-precision converter, and round_trip for the round-trip converter.

指定

**lineterminator **: str (length 1), default None

行分割符，只在C解析器下使用。

**quotechar **: str (length 1), optional

引号，用作标识开始和解释的字符，引号内的分割符将被忽略。

quoting : int or csv.QUOTE_* instance, default 0

控制csv中的引号常量。可选 QUOTE_MINIMAL (0), QUOTE_ALL (1), QUOTE_NONNUMERIC (2) or QUOTE_NONE (3)

doublequote : boolean, default True

双引号，当单引号已经被定义，并且quoting 参数不是QUOTE_NONE的时候，使用双引号表示引号内的元素作为一个元素使用。

escapechar : str (length 1), default None

当quoting 为QUOTE_NONE时，指定一个字符使的不受分隔符限值。

comment : str, default None

标识着多余的行不被解析。如果该字符出现在行首，这一行将被全部忽略。这个参数只能是一个字符，空行（就像skip_blank_lines=True）注释行被header和skiprows忽略一样。例如如果指定comment='#' 解析‘#empty\na,b,c\n1,2,3’ 以header=0 那么返回结果将是以’a,b,c'作为header。

encoding : str, default None

指定字符集类型，通常指定为'utf-8'. List of Python standard encodings

dialect : str or csv.Dialect instance, default None

如果没有指定特定的语言，如果sep大于一个字符则忽略。具体查看csv.Dialect 文档

tupleize_cols : boolean, default False

Leave a list of tuples on columns as is (default is to convert to a Multi Index on the columns)

error_bad_lines : boolean, default True

如果一行包含太多的列，那么默认不会返回DataFrame ，如果设置成false，那么会将改行剔除（只能在C解析器下使用）。

warn_bad_lines : boolean, default True

如果error_bad_lines =False，并且warn_bad_lines =True 那么所有的“bad lines”将会被输出（只能在C解析器下使用）。

**low_memory **: boolean, default True

分块加载到内存，再低内存消耗中解析。但是可能出现类型混淆。确保类型不被混淆需要设置为False。或者使用dtype 参数指定类型。注意使用chunksize 或者iterator 参数分块读入会将整个文件读入到一个Dataframe，而忽略类型（只能在C解析器中有效）

**buffer_lines **: int, default None

不推荐使用，这个参数将会在未来版本移除，因为他的值在解析器中不推荐使用

compact_ints : boolean, default False

不推荐使用，这个参数将会在未来版本移除

如果设置compact_ints=True ，那么任何有整数类型构成的列将被按照最小的整数类型存储，是否有符号将取决于use_unsigned 参数

use_unsigned : boolean, default False

不推荐使用：这个参数将会在未来版本移除

如果整数列被压缩(i.e. compact_ints=True)，指定被压缩的列是有符号还是无符号的。

memory_map : boolean, default False

如果使用的文件在内存内，那么直接map文件使用。使用这种方式可以避免文件再次进行IO操作。

ref：

python保存csv文件到桌面

python保存csv文件到桌面：

1、虽然python中有内置模块能够操作csv文件，不过pandas这个第三方库在处理速度和代码编写方面都是优于内置模块了，同时也需要将os模块导入进来判断一下保存csv文件的路径是否存在或者有同名文件。

2、模块导入完成之后要用变量来保存csv文件路径了，然后定义两个空集合，作用是保存列数据，再使用listdir()方法将文件路径里面的所有文件和文件夹都获取到并用for循环迭代。

3、在for循环代码块里面向一个列表对象内添加文件名，然后定义一个参数并赋值为aa，然后将这个变量添加到另一个列表中，循环迭代完毕之后这两个列表内就有数据了。

4、调用zip()函数将这两个列表合并在一起并且使用list()方法再次转为列表，然后用pandas库中的DataFrame()方法将data参数表示的数据源设置为该列表对象，并指定两个列名，最后用to_csv()方法将其保存起来即可。