python循环数据读取和存储(python如何循环读取文件)
Python读取Excel表格数据并以字典dict格式存储
??有时我们需要将一个 Excel表格文件 中的全部或一部分数据 导入到Python中 ,并将其通过 字典格式 来存储;那么如何实现上述操作呢?
??我们以如下所示的一个表格( .xlsx 格式)作为简单的示例。其中,表格共有两列,第一列为 学号 ,第二列为 姓名 ,且每一行的 学号 都不重复;同时表格的第一行为表头。
??假设我们需要将第一列的 学号 数据作为字典的 键 ,而第二列 姓名 数据作为字典的 值 。
??首先,导入必要的库。
??随后,列出需要转换为字典格式数据的Excel文件的路径与名称,以及数据开头所在行、数据的总行数。在这里,由于第一行是表头,因此开头所在行 look_up_table_row_start 就是 2 ;同时这个表格共有32位同学的信息,因此总行数 look_up_table_row_number 就是 32 。
??接下来,我们就可以直接依次读取Excel表格文件中的数据,并将其导入到字典格式的变量 name_number_dict 中。
??至此,大功告成啦~我们来看一看 name_number_dict 此时的状态:
??其中, Key 就是原本Excel中的 学号 , Value (就是右侧的马赛克区域)就是原本Excel中的 姓名 ;还可以从上图的标题中看到,这个字典共有32个 elements ,也就是对应着原本Excel中32位同学的信息。
python如何将一个文件夹下的所有excel读取,并每一个文件的第一列存为list
os.listdir() 得到路径下所有文件名构成的列表(在这里就是你的所有excel)
然后循环 读取excel文件就行了
读取和取第一列的数值都可以使用pandas 库,
df = pd.read_excel()
取第一列的数值构成list
list( df.iloc[:,0].values )
如何用python实现读取一个有100条循环记录的文件,并讲记录中的字段插入一个制定数据表中?
f = open("file")
for i in range(100):
r = f.readline()
制定数据表.insert(r)
利用python批量读取excel数据并按顺序保存至新表?
一般需要数据处理时我们会使用excel表格,并可使用其自带的求和、排序等功能对数据进行处理,但对于某些复杂的处理,我们可以使用python工具来读取excel数据,并通过python编程,来实现自己所需要的数据处理结果和数据保存方式。
python 循环读一个文件
Python按行读文件
1. 最基本的读文件方法:
# File: readline-example-1.py
file = open("sample.txt")
while 1:
line = file.readline()
if not line:
break
pass # do something
一行一行得从文件读数据,显然比较慢;不过很省内存。
在我的机器上读10M的sample.txt文件,每秒大约读32000行
2. 用fileinput模块
# File: readline-example-2.py
import fileinput
for line in fileinput.input("sample.txt"):
pass
写法简单一些,不过测试以后发现每秒只能读13000行数据,效率比上一种方法慢了两倍多……
3. 带缓存的文件读取
# File: readline-example-3.py
file = open("sample.txt")
while 1:
lines = file.readlines(100000)
if not lines:
break
for line in lines:
pass # do something
这个方法真的更好吗?事实证明,用同样的数据测试,它每秒可以读96900行数据!效率是第一种方法的3倍,第二种方法的7倍!
————————————————————————————————————————————————————————————
在Python 2.2以后,我们可以直接对一个file对象使用for循环读每行数据:
# File: readline-example-5.py
file = open("sample.txt")
for line in file:
pass # do something
而在Python 2.1里,你只能用xreadlines迭代器来实现:
# File: readline-example-4.py
file = open("sample.txt")
for line in file.xreadlines():
pass # do something
如何在python中读写和存储matlab的数据文件
import scipy.io as sio
import matplotlib.pyplot as plt
import numpy as np
#matlab文件名
matfn=u'E:/python/测试程序/162250671_162251656_1244.mat'
data=sio.loadmat(matfn)
plt.close('all')
xi=data['xi']
yi=data['yi']
ui=data['ui']
vi=data['vi']
plt.figure(1)
plt.quiver( xi[::5,::5],yi[::5,::5],ui[::5,::5],vi[::5,::5])
plt.figure(2)
plt.contourf(xi,yi,ui)
plt.show()
sio.savemat('saveddata.mat', {'xi': xi,'yi': yi,'ui': ui,'vi': vi})