Python怎么添加数据集(python怎么添加数据库)
怎么在python中导入数据集
本文实例讲述了Python导入oracle数据的方法。分享给大家供大家参考。具体如下：
import cx_Oracle
dns_tns=cx_Oracle.makedsn("192.168.0.288",1521,"skynet")
print dns_tns
con = cx_Oracle.connect('alibaba', 'zhimakamen', dns_tns)
cur=con.cursor()
for index,line in enumerate(file("f2.csv")):
sql="""insert into iq_data_B011F8286A1B2000A
(field1,field2,field3,field4) values ("""
for fields in (line.split(",")):
sql=sql+"'"+fields+"',"
cur.execute(sql[:-1]+")")
con.commit()
con.close()
pycharm怎么调用数据集
pycharm怎么调用数据集
实例必须是开机状态
选择左上角的File-settings-Python Interpreter,点击小齿轮选择Add
进入下一个界面后，点击SSH Interpreter，红框中信息从自己实例的ssh指令获取
然后点击Next
回到AutoDL自己的实例中，将密码复制下来
填入刚复制好的密码，点击Next
路径选择一定要正确，如图；最后点击Finish，再弹出新框后点击Apply，OK，这样就连接成功了。
如何使用python访问ECMWF公共数据集
1.安装ECMWF KEY
如果您没有帐户，请通过https //apps.ecmwf.int/registration/? 进行自我注册，然后转到以下步骤。
登录https //apps.ecmwf.int/auth/login/
通过https //api.ecmwf.int/v1/key/? 获取密钥
请注意，该密钥在1年内到期。您将在到期日期前1个月收到注册电子邮件地址的电子邮件，并附上续订说明。要查看当前密钥登录的到期日期，请访问
复制此页面中的信息，并将其粘贴到文件??$ HOME / .ecmwfapirc（Unix / Linux）或％USERPROFILE％\ .ecmwfapirc（Windows;
如何创建前导点文件？
重命名
创建?file.txt
重命名.file.，最后一个点将被删除，你就得到.file
这里我们需要 创建? .ecmwfapirc 文件 ，并将下面内容拷贝进去
上面的文件放在 %USERPROFILE%下，这里这个路径可以在用户变量中找到，本人电脑用户名为Cronous 路径为?C:\Users\Cronous
所以将?.ecmwfapirc 放在上面路径下面
$ HOME / .ecmwfapirc（Unix / Linux）或％USERPROFILE％\。ecmwfapirc（Windows）的内容
{
"url"? ?: "",
"key"? ?: "XXXXXXXXXXXXXXXXXX",
"email" : "example@123.com"
}
2.安装客户端库
该版本的库提供对Python 2.7.x和Python 3的支持。
您可以ecmwfapi?通过在Unix / Linux上运行来安装??python库：
sudo?pip?install?? ?
或在Windows上：
pip install?? ?
如果您无法运行sudo或pip命令，只需下载??ecmwf-api-client-python.tgz。提取其内容并将模块复制ecmwfapi到环境变量指向的目录中PYTHONPATH。
3.检查数据可用性
要查看ECMWF Public Datasets的可用性，请访问Web界面：
使用此界面，您可以??发现我们存档中提供的所有ECMWF公用数据集。我们强烈建议您浏览我们的公共数据集以熟悉其可用性。您可以选择一个公共数据集，并开始浏览其内容。
请考虑有关内容的一些注意事项：
不同的ECMWF公共数据集包括不同的“参数”，“时间”和“步骤”
在每个??ECMWF公共数据集中，并非所有“参数”都可以从所有“步骤”
在每个??ECMWF公共数据集中，并非所有“时间”都提供所有“步骤”
上面的Web界面将帮助您检查和了解可用性。对于任何类型的选择，系统将以动态方式更新属性以反映当前的可用性。（即如果您更改步骤，一些参数将被添加或删除）。
小费
选择完成后，我们鼓励用户使用页面底部的“?查看MARS请求?”功能。使用这个MARS请求，你可以建立自己的Python脚本。
这里说一下查看MARS请求可以自动生成python脚本样例文件，我们可以对照着学习一下，如下面的我选择的数据源：
自动生成的python脚本如下：
[python]?view plain?copy
For?more?information?on?how?to?retrieve?data?programmatically,?in?Python,?please?go?to?Access?ECMWF?Public?Datasets.
#!/usr/bin/env?python
from?ecmwfapi?import?ECMWFDataServer
server?=?ECMWFDataServer()
server.retrieve({
"class":?"ti",
"dataset":?"tigge",
"date":?"2017-10-01/to/2017-10-20",
"expver":?"prod",
"grid":?"0.5/0.5",
"levtype":?"sfc",
"origin":?"ecmf",
"param":?"134/167/228228",
"step":?"0/6/12/18/24/30/36/42/48/54/60/66/72/78/84/90/96/102/108/114/120/126/132/138/144/150/156/162/168/174/180/186/192/198/204/210/216/222/228/234/240/246/252/258/264/270/276/282/288/294/300/306/312/318/324/330/336/342/348/354/360",
"time":?"00:00:00/12:00:00",
"type":?"cf",
"target":?"output",
})
我们可以对照着学习一下。
这里给出一个TIGGE数据源的示例
转至元数据结尾转至元数据起始
TIGGE压力水平控制预测
TIGGE表面扰动预测
TIGGE压力水平控制预测
10m风组件，10m v风组件，来自NCEP。所有压力水平。
ECMWF公共数据集Web界面
?#!/usr/bin/env pythonfrom?ecmwfapi?import?ECMWFDataServer????server?=?ECMWFDataServer()????server.retrieve({????'origin'????:?"kwbc",????'levelist'??:?"200/250/300/500/700/850/925/1000",????'levtype'???:?"pl",????'expver'????:?"prod",????'dataset'???:?"tigge",????'step'??????:?"0/6/12/18/24/30",????'grid'??????:?"0.5/0.5",????'param'?????:?"131/132",????'time'??????:?"00/06/12/18",????'date'??????:?"2014-10-01",????'type'??????:?"cf",????'class'?????:?"ti",????'target'????:?"tigge_2014-10-01_00061218.grib"})? ?
TIGGE表面扰动预测
2m温度。01 NOV 2014，来自ECMWF
ECMWF公共数据集Web界面
#!/usr/bin/env pythonfrom?ecmwfapi?import?ECMWFDataServer????server?=?ECMWFDataServer()????server.retrieve({????'origin'????:?"ecmf",????'levtype'???:?"sfc",????'number'????:?"1/2/3/4/5/6/7/8/9/10/11/12/13/14/15/16/17/18/19/20/21/22/23/24/25/26/27/28/29/30/31/32/33/34/35/36/37/38/39/40/41/42/43/44/45/46/47/48/49/50",????'expver'????:?"prod",????'dataset'???:?"tigge",????'step'??????:?"0/6/12/18",????'grid'??????:?"0.5/0.5",????'param'?????:?"167",????'time'??????:?"00/12",????'date'??????:?"2014-11-01",????'type'??????:?"pf",????'class'?????:?"ti",????'target'????:?"tigge_2014-11-01_0012.grib"})? ?
来自日本东京日本的rjtd
#!/usr/bin/env pythonfrom?ecmwfapi?import?ECMWFDataServer????server?=?ECMWFDataServer()????server.retrieve({????'origin'????:?"rjtd",????'levtype'???:?"sfc",????'number'????:?"1/2/3/4/5/6/7/8/9/10/11/12/13/14/15/16/17/18/19/20/21/22/23/24/25/26",????'expver'????:?"prod",????'dataset'???:?"tigge",????'step'??????:?"0/6/12/18",????'grid'??????:?"0.5/0.5",????'param'?????:?"167",????'time'??????:?"00/12",????'date'??????:?"2014-11-01",????'type'??????:?"pf",????'class'?????:?"ti",????'target'????:?"tigge_2014-11-01_0012.grib"})?? ?
来自rksl，韩国：
#!/usr/bin/env pythonfrom?ecmwfapi?import?ECMWFDataServer????server?=?ECMWFDataServer()????server.retrieve({????'origin'????:?"rksl",????'levtype'???:?"sfc",????'number'????:?"1/2/3/4/5/6/7/8/9/10/11/12/13/14/15/16/17/18/19/20/21/22/23",????'expver'????:?"prod",????'dataset'???:?"tigge",????'step'??????:?"0/6/12/18",????'grid'??????:?"0.5/0.5",????'param'?????:?"167",????'time'??????:?"00/12",????'date'??????:?"2014-11-01",????'type'??????:?"pf",????'class'?????:?"ti",????'target'????:?"tigge_2014-11-01_0012.grib"})? ?
转至元数据起始
监控您的请求（python中我如何知道是否成功，如何取消请求）
我的要求完成需要多长时间？
根据一些因素和限制，请求可能需要一些时间（从几分钟到几个小时）才能完成。（例如，您提交的请求数，Nr当前正在运行的总活动请求数量，所涉及资源的可用性，最重要的是您的请求效率）
如何追溯旧请求？
您的工作列表可用于跟踪旅游请求。
您还可以使用Web-API活动和MARS活动页面。请参阅为什么MARS活动很重要
哪个是取消请求的最佳方式？
如果您想取消请求，请访问??您的工作，并单击取消选项。
一旦你已经取消了它，请求的状态将成为中止
取消不是推荐的方法，因为它可能会影响其他提交的请求的性能。
参见下一个常见问题。
我可以在本地环境中杀死我的请求（例如通过CTRL + C）
如果您只是在本地环境中杀死一个Web API请求（例如通过CTRL + C），那么在web-API服务级别上的相应作业不会被取消，但仍在运行。
您的请求将在您的工作列表中继续有效。?
这个是查看请求的列表的网站，执行完的请求数据以及请求状态都可以看到，请求完成的数据
也可以在这里下载
请参阅以前的常见问题，以查看如何正确取消您的请求。
图为joblist
我的请求已经排队（或活动）了很长时间。我要杀了吗？
根据许多因素和限制，请求可能需要一些时间才能完成。
访问您的工作列表以查看请求的状态
您可能需要访问我们的疑难解答页面了解更多信息。
进一步
我可以要求“netcdf”格式的数据吗？
是的，?你只需要添加你的请求“格式”：“netcdf”
我可以要求有限区域吗？
是
如果您已经在请求中设置了“grid”关键字，可以添加“area”：“coordinates”关键字。您可以设置预定义的区域，例如欧洲，或者使用北/西/南/东的坐标设置区域。
您还可以访问MARS区域关键字以获取更多信息：后处理关键字。
见下面的例子。
?"area":?"europe",? ?
#area:? N/W/S/E?#europe"area":?"75/-20/10/60",?#africa"area":?"40/-20/-40/60",? ?
转至元数据结尾
由Cristian Simarro创建，最后修改于五月11，2015
转至元数据起始
TIGGE压力水平控制预测
TIGGE表面扰动预测
请参阅简要请求语法来了解每个关键字。
TIGGE压力水平控制预测
10m风组件，10m v风组件，来自NCEP。所有压力水平。
ECMWF公共数据集Web界面
?#!/usr/bin/env pythonfrom?ecmwfapi?import?ECMWFDataServer????server?=?ECMWFDataServer()????server.retrieve({????'origin'????:?"kwbc",????'levelist'??:?"200/250/300/500/700/850/925/1000",????'levtype'???:?"pl",????'expver'????:?"prod",????'dataset'???:?"tigge",????'step'??????:?"0/6/12/18/24/30",????'grid'??????:?"0.5/0.5",????'param'?????:?"131/132",????'time'??????:?"00/06/12/18",????'date'??????:?"2014-10-01",????'type'??????:?"cf",????'class'?????:?"ti",????'target'????:?"tigge_2014-10-01_00061218.grib"})? ?
TIGGE表面扰动预测
2m温度。01 NOV 2014，来自ECMWF
ECMWF公共数据集Web界面
#!/usr/bin/env pythonfrom?ecmwfapi?import?ECMWFDataServer????server?=?ECMWFDataServer()????server.retrieve({????'origin'????:?"ecmf",????'levtype'???:?"sfc",????'number'????:?"1/2/3/4/5/6/7/8/9/10/11/12/13/14/15/16/17/18/19/20/21/22/23/24/25/26/27/28/29/30/31/32/33/34/35/36/37/38/39/40/41/42/43/44/45/46/47/48/49/50",????'expver'????:?"prod",????'dataset'???:?"tigge",????'step'??????:?"0/6/12/18",????'grid'??????:?"0.5/0.5",????'param'?????:?"167",????'time'??????:?"00/12",????'date'??????:?"2014-11-01",????'type'??????:?"pf",????'class'?????:?"ti",????'target'????:?"tigge_2014-11-01_0012.grib"})? ?
来自日本东京日本的rjtd
#!/usr/bin/env pythonfrom?ecmwfapi?import?ECMWFDataServer????server?=?ECMWFDataServer()????server.retrieve({????'origin'????:?"rjtd",????'levtype'???:?"sfc",????'number'????:?"1/2/3/4/5/6/7/8/9/10/11/12/13/14/15/16/17/18/19/20/21/22/23/24/25/26",????'expver'????:?"prod",????'dataset'???:?"tigge",????'step'??????:?"0/6/12/18",????'grid'??????:?"0.5/0.5",????'param'?????:?"167",????'time'??????:?"00/12",????'date'??????:?"2014-11-01",????'type'??????:?"pf",????'class'?????:?"ti",????'target'????:?"tigge_2014-11-01_0012.grib"})?? ?
来自rksl，韩国：
#!/usr/bin/env pythonfrom?ecmwfapi?import?ECMWFDataServer????server?=?ECMWFDataServer()????server.retrieve({????'origin'????:?"rksl",????'levtype'???:?"sfc",????'number'????:?"1/2/3/4/5/6/7/8/9/10/11/12/13/14/15/16/17/18/19/20/21/22/23",????'expver'????:?"prod",????'dataset'???:?"tigge",????'step'??????:?"0/6/12/18",????'grid'??????:?"0.5/0.5",????'param'?????:?"167",????'time'??????:?"00/12",????'date'??????:?"2014-11-01",????'type'??????:?"pf",????'class'?????:?"ti",????'target'????:?"tigge_2014-11-01_0012.grib"})? ?
序列数据集怎么加载
可以使用Python中的pickle模块来加载序列数据集，pickle模块提供了一种方法来将Python对象存储到文件中，并且在需要的时候可以将对象从文件中读取出来。
使用pickle模块加载序列数据集的步骤如下：
1. 导入pickle模块：import pickle
2. 打开要加载的序列数据集文件：f = open('filename.pkl', 'rb')
3. 使用pickle模块的load()函数加载数据集：data = pickle.load(f)
4. 关闭文件：f.close()
Python 制作Pascal VOC数据集
下图是 Pascal VOC 数据集格式。
1、 Annotations 目录是存放 xml 文件；
2、 ImageSets 目录是存放 txt 文件，主要是测试集、训练集、验证集等文件名称的集合；
3、 JPEGImages 目录是存放图片文件（ jpg ）；
1、从 Annotations 目录下读取 xml 目录；
2、把 xml 目录，随机重置一下，这样在训练的时候，各个分类是随机读取，不会出现某一个分类聚集读取，从而影响训练效果。当然，你也可以在训练的时候选择随机重置，道理是一样的；
3、创建将要写入的 txt 文件。这里示范了训练集、验证集，其他的可自行添加；
4、读取目录文件，通过前缀判断，写入 txt 文件。
有时候不需要指定数据集，只是从一个大的原始数据集中，随机选取一部分当中训练集、一部分当作验证集、一部分当作测试集。
1 如何用Python导入Excel以及csv数据集
Excel是一个二进制文件，它保存有关工作簿中所有工作表的信息
CSV代表Comma Separated Values 。这是一个纯文本格式，用逗号分隔一系列值
Excel不仅可以存储数据，还可以对数据进行操作
CSV文件只是一个文本文件，它存储数据，但不包含格式，公式，宏等。它也被称为平面文件
Excel是一个电子表格，将文件保存为自己的专有格式，即xls或xlsx
CSV是将表格信息保存为扩展名为.csv的分隔文本文件的格式
保存在excel中的文件不能被文本编辑器打开或编辑
CSV文件可以通过文本编辑器（如记事本）打开或编辑
excel中会有若干个表单，每个表单都会这些属性：?
行数（nrows） 列数（ncols） 名称（name） 索引（number）?
import xlrd //执行操作前需要导入xlrd库?
#读取文件?
excel = xlrd.open_workexcel("文件地址") //这里表格名称为excel，文件的地址可以从文件的属性中看到?
#读取表格表单数量?
sheet_num= excel.nsheets // sheet_num为变量，其值为表格表单数量?
#读取表格表单名称?
sheet_name = excel.sheet_names() // sheet_name为变量，其值为表格表单名称?
#如果想要看到上述两个变量，可以使用print()函数将它们打印出来?
#想要读取某个表单的数据，首先获取表单 excel.sheet_by_index(0)?
//表单索引从0开始，获取第一个表单对象 excel.sheet_by_name('xxx')?
// 获取名为”xxx”的表单对象 excel.sheets()?
// 获取所有的表单对象 获取单元格的内容：使用cell_value 方法 这里有两个参数：行号和列号，用来读取指定的单元格内容。?
第一行的内容是:sheet.row_values(rowx=0)?
第一列的内容是:sheet.col_values(colx=0)
CSV是英文Comma Separate Values（逗号分隔值）的缩写，文档的内容是由 “,” 分隔的一列列的数据构成的。在python数据处理中也经常用到。
import csv //执行操作前需要导入csv库?
#csv读取?
遍历其中数据 csv_file = csv.reader(open(‘文件地址’,’r’)) for x in csv_file print(x)