python数据分析基础余本国课后答案(python数据分析基础教程课后

python数据分析与应用第三章代码3-5的数据哪来的

savetxt

import numpy as np

i2 = np.eye(2)

np.savetxt("eye.txt", i2)

3.4 读入CSV文件

# AAPL,28-01-2011, ,344.17,344.4,333.53,336.1,21144800

c,v=np.loadtxt('data.csv', delimiter=',', usecols=(6,7), unpack=True) #index从0开始

3.6.1 算术平均值

np.mean(c) = np.average(c)

3.6.2 加权平均值

t = np.arange(len(c))

np.average(c, weights=t)

3.8 极值

np.min(c)

np.max(c)

np.ptp(c) 最大值与最小值的差值

3.10 统计分析

np.median(c) 中位数

np.msort(c) 升序排序

np.var(c) 方差

3.12 分析股票收益率

np.diff(c) 可以返回一个由相邻数组元素的差

值构成的数组

returns = np.diff( arr ) / arr[ : -1] #diff返回的数组比收盘价数组少一个元素

np.std(c) 标准差

对数收益率

logreturns = np.diff( np.log(c) ) #应检查输入数组以确保其不含有零和负数

where 可以根据指定的条件返回所有满足条件的数

组元素的索引值。

posretindices = np.where(returns 0)

np.sqrt(1./252.) 平方根，浮点数

3.14 分析日期数据

# AAPL,28-01-2011, ,344.17,344.4,333.53,336.1,21144800

dates, close=np.loadtxt('data.csv', delimiter=',', usecols=(1,6), converters={1:datestr2num}, unpack=True)

print "Dates =", dates

def datestr2num(s):

return datetime.datetime.strptime(s, "%d-%m-%Y").date().weekday()

# 星期一 0

# 星期二 1

# 星期三 2

# 星期四 3

# 星期五 4

# 星期六 5

# 星期日 6

#output

Dates = [ 4. 0. 1. 2. 3. 4. 0. 1. 2. 3. 4. 0. 1. 2. 3. 4. 1. 2. 4. 0. 1. 2. 3. 4. 0.

1. 2. 3. 4.]

averages = np.zeros(5)

for i in range(5):

indices = np.where(dates == i)

prices = np.take(close, indices) #按数组的元素运算,产生一个数组作为输出。

a = [4, 3, 5, 7, 6, 8]

indices = [0, 1, 4]

np.take(a, indices)

array([4, 3, 6])

np.argmax(c) #返回的是数组中最大元素的索引值

np.argmin(c)

3.16 汇总数据

# AAPL,28-01-2011, ,344.17,344.4,333.53,336.1,21144800

#得到第一个星期一和最后一个星期五

first_monday = np.ravel(np.where(dates == 0))[0]

last_friday = np.ravel(np.where(dates == 4))[-1]

#创建一个数组，用于存储三周内每一天的索引值

weeks_indices = np.arange(first_monday, last_friday + 1)

#按照每个子数组5个元素，用split函数切分数组

weeks_indices = np.split(weeks_indices, 5)

#output

[array([1, 2, 3, 4, 5]), array([ 6, 7, 8, 9, 10]), array([11,12, 13, 14, 15])]

weeksummary = np.apply_along_axis(summarize, 1, weeks_indices,open, high, low, close)

def summarize(a, o, h, l, c): #open, high, low, close

monday_open = o[a[0]]

week_high = np.max( np.take(h, a) )

week_low = np.min( np.take(l, a) )

friday_close = c[a[-1]]

return("APPL", monday_open, week_high, week_low, friday_close)

np.savetxt("weeksummary.csv", weeksummary, delimiter=",", fmt="%s") #指定了文件名、需要保存的数组名、分隔符(在这个例子中为英文标点逗号)以及存储浮点数的格式。

0818b9ca8b590ca3270a3433284dd417.png

格式字符串以一个百分号开始。接下来是一个可选的标志字符：-表示结果左对齐，0表示左端补0，+表示输出符号(正号+或负号-)。第三部分为可选的输出宽度参数，表示输出的最小位数。第四部分是精度格式符，以”.”开头，后面跟一个表示精度的整数。最后是一个类型指定字符，在例子中指定为字符串类型。

numpy.apply_along_axis(func1d, axis, arr, *args, **kwargs)

def my_func(a):

... """Average first and last element of a 1-D array"""

... return (a[0] + a[-1]) * 0.5

b = np.array([[1,2,3], [4,5,6], [7,8,9]])

np.apply_along_axis(my_func, 0, b) #沿着X轴运动，取列切片

array([ 4., 5., 6.])

np.apply_along_axis(my_func, 1, b) #沿着y轴运动，取行切片

array([ 2., 5., 8.])

b = np.array([[8,1,7], [4,3,9], [5,2,6]])

np.apply_along_axis(sorted, 1, b)

array([[1, 7, 8],

[3, 4, 9],

[2, 5, 6]])

3.20 计算简单移动平均线

(1) 使用ones函数创建一个长度为N的元素均初始化为1的数组，然后对整个数组除以N，即可得到权重。如下所示：

N = int(sys.argv[1])

weights = np.ones(N) / N

print "Weights", weights

在N = 5时，输出结果如下：

Weights [ 0.2 0.2 0.2 0.2 0.2] #权重相等

(2) 使用这些权重值，调用convolve函数：

c = np.loadtxt('data.csv', delimiter=',', usecols=(6,),unpack=True)

sma = np.convolve(weights, c)[N-1:-N+1] #卷积是分析数学中一种重要的运算，定义为一个函数与经过翻转和平移的另一个函数的乘积的积分。

t = np.arange(N - 1, len(c)) #作图

plot(t, c[N-1:], lw=1.0)

plot(t, sma, lw=2.0)

show()

3.22 计算指数移动平均线

指数移动平均线(exponential moving average)。指数移动平均线使用的权重是指数衰减的。对历史上的数据点赋予的权重以指数速度减小，但永远不会到达0。

x = np.arange(5)

print "Exp", np.exp(x)

#output

Exp [ 1. 2.71828183 7.3890561 20.08553692 54.59815003]

Linspace 返回一个元素值在指定的范围内均匀分布的数组。

print "Linspace", np.linspace(-1, 0, 5) #起始值、终止值、可选的元素个数

#output

Linspace [-1. -0.75 -0.5 -0.25 0. ]

(1)权重计算

N = int(sys.argv[1])

weights = np.exp(np.linspace(-1. , 0. , N))

(2)权重归一化处理

weights /= weights.sum()

print "Weights", weights

#output

Weights [ 0.11405072 0.14644403 0.18803785 0.24144538 0.31002201]

(3)计算及作图

c = np.loadtxt('data.csv', delimiter=',', usecols=(6,),unpack=True)

ema = np.convolve(weights, c)[N-1:-N+1]

t = np.arange(N - 1, len(c))

plot(t, c[N-1:], lw=1.0)

plot(t, ema, lw=2.0)

show()

3.26 用线性模型预测价格

(x, residuals, rank, s) = np.linalg.lstsq(A, b) #系数向量x、一个残差数组、A的秩以及A的奇异值

print x, residuals, rank, s

#计算下一个预测值

print np.dot(b, x)

3.28 绘制趋势线

x = np.arange(6)

x = x.reshape((2, 3))

x

array([[0, 1, 2], [3, 4, 5]])

np.ones_like(x) #用1填充数组

array([[1, 1, 1], [1, 1, 1]])

类似函数

zeros_like

empty_like

zeros

ones

empty

3.30 数组的修剪和压缩

a = np.arange(5)

print "a =", a

print "Clipped", a.clip(1, 2) #将所有比给定最大值还大的元素全部设为给定的最大值，而所有比给定最小值还小的元素全部设为给定的最小值

#output

a = [0 1 2 3 4]

Clipped [1 1 2 2 2]

a = np.arange(4)

print a

print "Compressed", a.compress(a 2) #返回一个根据给定条件筛选后的数组

#output

[0 1 2 3]

Compressed [3]

b = np.arange(1, 9)

print "b =", b

print "Factorial", b.prod() #输出数组元素阶乘结果

#output

b = [1 2 3 4 5 6 7 8]

Factorial 40320

print "Factorials", b.cumprod()

#output

Python数据分析案例-药店销售数据分析

最近学习了Python数据分析的一些基础知识，就找了一个药品数据分析的小项目来练一下手。

数据分析的目的：

本篇文章中，假设以朝阳医院2018年销售数据为例，目的是了解朝阳医院在2018年里的销售情况，通过对朝阳区医院的药品销售数据的分析，了解朝阳医院的患者的月均消费次数，月均消费金额、客单价以及消费趋势、需求量前几位的药品等。

数据分析基本过程包括：获取数据、数据清洗、构建模型、数据可视化以及消费趋势分析。

数据准备

数据是存在Excel中的，可以使用pandas的Excel文件读取函数将数据读取到内存中，这里需要注意的是文件名和Excel中的sheet页的名字。读取完数据后可以对数据进行预览和查看一些基本信息。

获取数据：朝阳医院2018年销售数据.xlsx(非真实数据) 提取码: 6xm2

导入原始数据

数据准备

数据是存在Excel中的，可以使用pandas的Excel文件读取函数将数据读取到内存中，这里需要注意的是文件名和Excel中的sheet页的名字。读取完数据后可以对数据进行预览和查看一些基本信息。

获取数据：朝阳医院2018年销售数据.xlsx(非真实数据) 提取码: 6xm2

导入原始数据

数据清洗

数据清洗过程包括：选择子集、列名重命名、缺失数据处理、数据类型转换、数据排序及异常值处理

（1）选择子集

在我们获取到的数据中，可能数据量非常庞大，并不是每一列都有价值都需要分析，这时候就需要从整个数据中选取合适的子集进行分析，这样能从数据中获取最大价值。在本次案例中不需要选取子集，暂时可以忽略这一步。

（2）列重命名

在数据分析过程中，有些列名和数据容易混淆或产生歧义，不利于数据分析，这时候需要把列名换成容易理解的名称，可以采用rename函数实现：

（3）缺失值处理

获取的数据中很有可能存在缺失值，通过查看基本信息可以推测“购药时间”和“社保卡号”这两列存在缺失值，如果不处理这些缺失值会干扰后面的数据分析结果。

缺失数据常用的处理方式为删除含有缺失数据的记录或者利用算法去补全缺失数据。

在本次案例中为求方便，直接使用dropna函数删除缺失数据，具体如下：

（4）数据类型转换

在导入数据时为了防止导入不进来，会强制所有数据都是object类型，但实际数据分析过程中“销售数量”，“应收金额”，“实收金额”，这些列需要浮点型（float）数据，“销售时间”需要改成时间格式，因此需要对数据类型进行转换。

可以使用astype()函数转为浮点型数据：

在“销售时间”这一列数据中存在星期这样的数据，但在数据分析过程中不需要用到，因此要把销售时间列中日期和星期使用split函数进行分割，分割后的时间，返回的是Series数据类型：

此时时间是没有按顺序排列的，所以还是需要排序一下，排序之后索引会被打乱，所以也需要重置一下索引。

其中by:表示按哪一列进行排序，ascending=True表示升序排列，ascending=False表示降序排列

先查看数据的描述统计信息

通过描述统计信息可以看到，“销售数量”、“应收金额”、“实收金额”这三列数据的最小值出现了负数，这明显不符合常理，数据中存在异常值的干扰，因此要对数据进一步处理，以排除异常值的影响：

数据清洗完成后，需要利用数据构建模型（就是计算相应的业务指标），并用可视化的方式呈现结果。

月均消费次数 = 总消费次数 / 月份数（同一天内，同一个人所有消费算作一次消费）

月均消费金额 = 总消费金额 / 月份数

客单价 = 总消费金额 / 总消费次数

从结果可以看出，每天消费总额差异较大，除了个别天出现比较大笔的消费，大部分人消费情况维持在1000-2000元以内。

接下来，我销售时间先聚合再按月分组进行分析：

结果显示，7月消费金额最少，这是因为7月份的数据不完整，所以不具参考价值。

1月、4月、5月和6月的月消费金额差异不大.

2月和3月的消费金额迅速降低，这可能是2月和3月处于春节期间，大部分人都回家过年的原因。

d. 分析药品销售情况

对“商品名称”和“销售数量”这两列数据进行聚合为Series形式，方便后面统计，并按降序排序：

截取销售数量最多的前十种药品，并用条形图展示结果：

结论：对于销售量排在前几位的药品，医院应该时刻关注，保证药品不会短缺而影响患者。得到销售数量最多的前十种药品的信息，这些信息也会有助于加强医院对药房的管理。

每天的消费金额分布情况：一横轴为时间，纵轴为实收金额画散点图。

结论： 从散点图可以看出，每天消费金额在500以下的占绝大多数，个别天存在消费金额很大的情况。

/article

Python 金融数据分析：数据可视化

课程简介

本节为 Python 金融数据分析基础课程，将重点介绍使用 matplotlib 制作基本图表的方法，此外，也对较特别的金融常用图表进行了说明。建议初学者认真学习本节内容，已经掌握 Python 基本作图的读者可以直接跳转至金融图表部分。

学习目标

用 matplotlib 做基本的 2D 图表，主要为点线图、散点图、柱状图

用 matplotlib 做金融图表，主要为蜡状图、箱型图

用 matplotlib 做基本的 3D 图表，主要为 3D 曲面图和 3D 散点图

一、平面图表

1、生成一维数据集

python数据分析与应用-Python数据分析与应用 PDF 内部全资料版

给大家带来的一篇关于Python数据相关的电子书资源，介绍了关于Python方面的内容，本书是由人民邮电出版社出版，格式为PDF，资源大小281 MB，黄红梅 张良均编写，目前豆瓣、亚马逊、当当、京东等电子书综合评分为：7.8。

内容介绍

目录

第1章　Python数据分析概述　1

任务1.1　认识数据分析　1

1.1.1　掌握数据分析的概念　2

1.1.2　掌握数据分析的流程　2

1.1.3　了解数据分析应用场景　4

任务1.2　熟悉Python数据分析的工具　5

1.2.1　了解数据分析常用工具　6

1.2.2　了解Python数据分析的优势　7

1.2.3　了解Python数据分析常用类库　7

任务1.3　安装Python的Anaconda发行版　9

1.3.1　了解Python的Anaconda发行版　9

1.3.2　在Windows系统中安装Anaconda　9

1.3.3　在Linux系统中安装Anaconda　12

任务1.4　掌握Jupyter Notebook常用功能　14

1.4.1　掌握Jupyter Notebook的基本功能　14

1.4.2　掌握Jupyter Notebook的高 级功能　16

小结　19

课后习题　19

第2章　NumPy数值计算基础　21

任务2.1　掌握NumPy数组对象ndarray　21

2.1.1　创建数组对象　21

2.1.2　生成随机数　27

2.1.3　通过索引访问数组　29

2.1.4　变换数组的形态　31

任务2.2　掌握NumPy矩阵与通用函数　34

2.2.1　创建NumPy矩阵　34

2.2.2　掌握ufunc函数　37

任务2.3　利用NumPy进行统计分析　41

2.3.1　读/写文件　41

2.3.2　使用函数进行简单的统计分析　44

2.3.3　任务实现　48

小结　50

实训　50

实训1　创建数组并进行运算　50

实训2　创建一个国际象棋的棋盘　50

课后习题　51

第3章　Matplotlib数据可视化基础　52

任务3.1　掌握绘图基础语法与常用参数　52

3.1.1　掌握pyplot基础语法　53

3.1.2　设置pyplot的动态rc参数　56

任务3.2　分析特征间的关系　59

3.2.1　绘制散点图　59

3.2.2　绘制折线图　62

3.2.3　任务实现　65

任务3.3　分析特征内部数据分布与分散状况　68

3.3.1　绘制直方图　68

3.3.2　绘制饼图　70

3.3.3　绘制箱线图　71

3.3.4　任务实现　73

小结　77

实训　78

实训1　分析1996 2015年人口数据特征间的关系　78

实训2　分析1996 2015年人口数据各个特征的分布与分散状况　78

课后习题　79

第4章　pandas统计分析基础　80

任务4.1　读/写不同数据源的数据　80

4.1.1　读/写数据库数据　80

4.1.2　读/写文本文件　83

4.1.3　读/写Excel文件　87

4.1.4　任务实现　88

任务4.2　掌握DataFrame的常用操作　89

4.2.1　查看DataFrame的常用属性　89

4.2.2　查改增删DataFrame数据　91

4.2.3　描述分析DataFrame数据　101

4.2.4　任务实现　104

任务4.3　转换与处理时间序列数据　107

4.3.1　转换字符串时间为标准时间　107

4.3.2　提取时间序列数据信息　109

4.3.3　加减时间数据　110

4.3.4　任务实现　111

任务4.4　使用分组聚合进行组内计算　113

4.4.1　使用groupby方法拆分数据　114

4.4.2　使用agg方法聚合数据　116

4.4.3　使用apply方法聚合数据　119

4.4.4　使用transform方法聚合数据　121

4.4.5　任务实现　121

任务4.5　创建透视表与交叉表　123

4.5.1　使用pivot_table函数创建透视表　123

4.5.2　使用crosstab函数创建交叉表　127

4.5.3　任务实现　128

小结　130

实训　130

实训1　读取并查看P2P网络贷款数据主表的基本信息　130

实训2　提取用户信息更新表和登录信息表的时间信息　130

实训3　使用分组聚合方法进一步分析用户信息更新表和登录信息表　131

实训4　对用户信息更新表和登录信息表进行长宽表转换　131

课后习题　131

第5章　使用pandas进行数据预处理　133

任务5.1　合并数据　133

5.1.1　堆叠合并数据　133

5.1.2　主键合并数据　136

5.1.3　重叠合并数据　139

5.1.4　任务实现　140

任务5.2　清洗数据　141

5.2.1　检测与处理重复值　141

5.2.2　检测与处理缺失值　146

5.2.3　检测与处理异常值　149

5.2.4　任务实现　152

任务5.3　标准化数据　154

5.3.1　离差标准化数据　154

5.3.2　标准差标准化数据　155

5.3.3　小数定标标准化数据　156

5.3.4　任务实现　157

任务5.4　转换数据　158

5.4.1　哑变量处理类别型数据　158

5.4.2　离散化连续型数据　160

5.4.3　任务实现　162

小结　163

实训　164

实训1　插补用户用电量数据缺失值　164

实训2　合并线损、用电量趋势与线路告警数据　164

实训3　标准化建模专家样本数据　164

课后习题　165

第6章　使用scikit-learn构建模型　167

任务6.1　使用sklearn转换器处理数据　167

6.1.1　加载datasets模块中的数据集　167

6.1.2　将数据集划分为训练集和测试集　170

6.1.3　使用sklearn转换器进行数据预处理与降维　172

6.1.4　任务实现　174

任务6.2　构建并评价聚类模型　176

6.2.1　使用sklearn估计器构建聚类模型　176

6.2.2　评价聚类模型　179

6.2.3　任务实现　182

任务6.3　构建并评价分类模型　183

6.3.1　使用sklearn估计器构建分类模型　183

6.3.2　评价分类模型　186

6.3.3　任务实现　188

任务6.4　构建并评价回归模型　190

6.4.1　使用sklearn估计器构建线性回归模型　190

6.4.2　评价回归模型　193

6.4.3　任务实现　194

小结　196

实训　196

实训1　使用sklearn处理wine和wine_quality数据集　196

实训2　构建基于wine数据集的K-Means聚类模型　196

实训3　构建基于wine数据集的SVM分类模型　197

实训4　构建基于wine_quality数据集的回归模型　197

课后习题　198

第7章　航空公司客户价值分析　199

任务7.1　了解航空公司现状与客户价值分析　199

7.1.1　了解航空公司现状　200

7.1.2　认识客户价值分析　201

7.1.3　熟悉航空客户价值分析的步骤与流程　201

任务7.2　预处理航空客户数据　202

7.2.1　处理数据缺失值与异常值　202

7.2.2　构建航空客户价值分析关键特征　202

7.2.3　标准化LRFMC模型的5个特征　206

7.2.4　任务实现　207

任务7.3　使用K-Means算法进行客户分群　209

7.3.1　了解K-Means聚类算法　209

7.3.2　分析聚类结果　210

7.3.3　模型应用　213

7.3.4　任务实现　214

小结　215

实训　215

实训1　处理信用卡数据异常值　215

实训2　构造信用卡客户风险评价关键特征　217

实训3　构建K-Means聚类模型　218

课后习题　218

第8章　财政收入预测分析　220

任务8.1　了解财政收入预测的背景与方法　220

8.1.1　分析财政收入预测背景　220

8.1.2　了解财政收入预测的方法　222

8.1.3　熟悉财政收入预测的步骤与流程　223

任务8.2　分析财政收入数据特征的相关性　223

8.2.1　了解相关性分析　223

8.2.2　分析计算结果　224

8.2.3　任务实现　225

任务8.3　使用Lasso回归选取财政收入预测的关键特征　225

8.3.1　了解Lasso回归方法　226

8.3.2　分析Lasso回归结果　227

8.3.3　任务实现　227

任务8.4　使用灰色预测和SVR构建财政收入预测模型　228

8.4.1　了解灰色预测算法　228

8.4.2　了解SVR算法　229

8.4.3　分析预测结果　232

8.4.4　任务实现　234

小结　236

实训　236

实训1　求取企业所得税各特征间的相关系数　236

实训2　选取企业所得税预测关键特征　237

实训3　构建企业所得税预测模型　237

课后习题　237

第9章　家用热水器用户行为分析与事件识别　239

任务9.1　了解家用热水器用户行为分析的背景与步骤　239

9.1.1　分析家用热水器行业现状　240

9.1.2　了解热水器采集数据基本情况　240

9.1.3　熟悉家用热水器用户行为分析的步骤与流程　241

任务9.2　预处理热水器用户用水数据　242

9.2.1　删除冗余特征　242

9.2.2　划分用水事件　243

9.2.3　确定单次用水事件时长阈值　244

9.2.4　任务实现　246

任务9.3　构建用水行为特征并筛选用水事件　247

9.3.1　构建用水时长与频率特征　248

9.3.2　构建用水量与波动特征　249

9.3.3　筛选候选洗浴事件　250

9.3.4　任务实现　251

任务9.4　构建行为事件分析的BP神经网络模型　255

9.4.1　了解BP神经网络算法原理　255

9.4.2　构建模型　259

9.4.3　评估模型　260

9.4.4　任务实现　260

小结　263

实训　263

实训1　清洗运营商客户数据　263

实训2　筛选客户运营商数据　264

实训3　构建神经网络预测模型　265

课后习题　265

附录A　267

附录B　270

参考文献　295

学习笔记

Jupyter Notebook（此前被称为 IPython notebook）是一个交互式笔记本，支持运行 40 多种编程语言。 Jupyter Notebook 的本质是一个 Web 应用程序，便于创建和共享文学化程序文档，支持实时代码，数学方程，可视化和 markdown。 用途包括：数据清理和转换，数值模拟，统计建模，机器学习等等 。 定义 （推荐学习：Python视频教程） 用户可以通过电子邮件，Dropbox，GitHub 和 Jupyter Notebook Viewer，将 Jupyter Notebook 分享给其他人。 在Jupyter Notebook 中，代码可以实时的生成图像，视频，LaTeX和JavaScript。 使用 数据挖掘领域中最热门的比赛 Kaggle 里的资料都是Jupyter 格式 。 架构 Jupyter组件 Jupyter包含以下组件： Jupyter Notebook 和 ……

本文实例讲述了Python实现的微信好友数据分析功能。分享给大家供大家参考，具体如下： 这里主要利用python对个人微信好友进行分析并把结果输出到一个html文档当中，主要用到的python包为 itchat ， pandas ， pyecharts 等 1、安装itchat 微信的python sdk，用来获取个人好友关系。获取的代码 如下： import itchatimport pandas as pdfrom pyecharts import Geo, Baritchat.login()friends = itchat.get_friends(update=True)[0:]def User2dict(User): User_dict = {} User_dict["NickName"] = User["NickName"] if User["NickName"] else "NaN" User_dict["City"] = User["City"] if User["City"] else "NaN" User_dict["Sex"] = User["Sex"] if User["Sex"] else 0 User_dict["Signature"] = User["Signature"] if User["Signature"] else "NaN" ……

基于微信开放的个人号接口python库itchat，实现对微信好友的获取，并对省份、性别、微信签名做数据分析。 效果： 直接上代码，建三个空文本文件stopwords.txt，newdit.txt、unionWords.txt，下载字体simhei.ttf或删除字体要求的代码，就可以直接运行。 #wxfriends.py 2018-07-09import itchatimport sysimport pandas as pdimport matplotlib.pyplot as pltplt.rcParams['font.sans-serif']=['SimHei']#绘图时可以显示中文plt.rcParams['axes.unicode_minus']=False#绘图时可以显示中文import jiebaimport jieba.posseg as psegfrom scipy.misc import imreadfrom wordcloud import WordCloudfrom os import path#解决编码问题non_bmp_map = dict.fromkeys(range(0x10000, sys.maxunicode + 1), 0xfffd) #获取好友信息def getFriends():……

Python数据分析之双色球基于线性回归算法预测下期中奖结果示例

本文实例讲述了Python数据分析之双色球基于线性回归算法预测下期中奖结果。分享给大家供大家参考，具体如下： 前面讲述了关于双色球的各种算法，这里将进行下期双色球号码的预测，想想有些小激动啊。 代码中使用了线性回归算法，这个场景使用这个算法，预测效果一般，各位可以考虑使用其他算法尝试结果。 发现之前有很多代码都是重复的工作，为了让代码看的更优雅，定义了函数，去调用，顿时高大上了 #!/usr/bin/python# -*- coding:UTF-8 -*-#导入需要的包import pandas as pdimport numpy as npimport matplotlib.pyplot as pltimport operatorfrom sklearn import datasets,linear_modelfrom sklearn.linear_model import LogisticRegression#读取文件d……

以上就是本次介绍的Python数据电子书的全部相关内容，希望我们整理的资源能够帮助到大家，感谢大家对鬼鬼的支持。

注·获取方式：私信（666）

python大数据挖掘系列之基础知识入门 知识整理（入门教程含源码）

Python在大数据行业非常火爆近两年，as a pythonic，所以也得涉足下大数据分析，下面就聊聊它们。

Python数据分析与挖掘技术概述

所谓数据分析，即对已知的数据进行分析，然后提取出一些有价值的信息，比如统计平均数，标准差等信息，数据分析的数据量可能不会太大，而数据挖掘，是指对大量的数据进行分析与挖倔，得到一些未知的，有价值的信息等，比如从网站的用户和用户行为中挖掘出用户的潜在需求信息，从而对网站进行改善等。

数据分析与数据挖掘密不可分，数据挖掘是对数据分析的提升。数据挖掘技术可以帮助我们更好的发现事物之间的规律。所以我们可以利用数据挖掘技术可以帮助我们更好的发现事物之间的规律。比如发掘用户潜在需求，实现信息的个性化推送，发现疾病与病状甚至病与药物之间的规律等。

预先善其事必先利其器

我们首先聊聊数据分析的模块有哪些：

下面就说说这些模块的基础使用。

numpy模块安装与使用

安装：

下载地址是：

我这里下载的包是1.11.3版本，地址是：

下载好后，使用pip install "numpy-1.11.3+mkl-cp35-cp35m-win_amd64.whl"

安装的numpy版本一定要是带mkl版本的，这样能够更好支持numpy

numpy简单使用

生成随机数

主要使用numpy下的random方法。

pandas

使用 pip install pandas 即可

直接上代码：

下面看看pandas输出的结果， 这一行的数字第几列，第一列的数字是行数，定位一个通过第一行，第几列来定位：

常用方法如下：

下面看看pandas对数据的统计，下面就说说每一行的信息

转置功能：把行数转换为列数，把列数转换为行数，如下所示：

通过pandas导入数据

pandas支持多种输入格式，我这里就简单罗列日常生活最常用的几种，对于更多的输入方式可以查看源码后者官网。

CSV文件

csv文件导入后显示输出的话，是按照csv文件默认的行输出的，有多少列就输出多少列，比如我有五列数据，那么它就在prinit输出结果的时候，就显示五列

excel表格

依赖于xlrd模块，请安装它。

老样子，原滋原味的输出显示excel本来的结果，只不过在每一行的开头加上了一个行数

读取SQL

依赖于PyMySQL，所以需要安装它。pandas把sql作为输入的时候，需要制定两个参数，第一个是sql语句，第二个是sql连接实例。

读取HTML

依赖于lxml模块，请安装它。

对于HTTPS的网页，依赖于BeautifulSoup4，html5lib模块。

读取HTML只会读取HTML里的表格，也就是只读取

显示的是时候是通过python的列表展示，同时添加了行与列的标识

读取txt文件

输出显示的时候同时添加了行与列的标识

scipy

安装方法是先下载whl格式文件，然后通过pip install “包名” 安装。whl包下载地址是：

matplotlib 数据可视化分析

我们安装这个模块直接使用pip install即可。不需要提前下载whl后通过 pip install安装。

下面请看代码：

下面说说修改图的样式

关于图形类型，有下面几种：

关于颜色，有下面几种：

关于形状，有下面几种：

我们还可以对图稍作修改，添加一些样式，下面修改圆点图为红色的点，代码如下：

我们还可以画虚线图，代码如下所示：

还可以给图添加上标题，x，y轴的标签,代码如下所示

直方图

利用直方图能够很好的显示每一段的数据。下面使用随机数做一个直方图。

Y轴为出现的次数，X轴为这个数的值（或者是范围）

还可以指定直方图类型通过histtype参数：

图形区别语言无法描述很详细，大家可以自信尝试。

举个例子：

子图功能

什么是子图功能呢？子图就是在一个大的画板里面能够显示多张小图，每个一小图为大画板的子图。

我们知道生成一个图是使用plot功能，子图就是subplog。代码操作如下：

我们现在可以通过一堆数据来绘图，根据图能够很容易的发现异常。下面我们就通过一个csv文件来实践下，这个csv文件是某个网站的文章阅读数与评论数。

先说说这个csv的文件结构，第一列是序号，第二列是每篇文章的URL，第三列每篇文章的阅读数，第四列是每篇评论数。

我们的需求就是把评论数作为Y轴，阅读数作为X轴，所以我们需要获取第三列和第四列的数据。我们知道获取数据的方法是通过pandas的values方法来获取某一行的值，在对这一行的值做切片处理，获取下标为3（阅读数）和4（评论数）的值，但是，这里只是一行的值，我们需要是这个csv文件下的所有评论数和阅读数，那怎么办？聪明的你会说，我自定义2个列表，我遍历下这个csv文件，把阅读数和评论数分别添加到对应的列表里，这不就行了嘛。呵呵，其实有一个更快捷的方法，那么就是使用T转置方法，这样再通过values方法，就能直接获取这一评论数和阅读数了，此时在交给你matplotlib里的pylab方法来作图，那么就OK了。了解思路后，那么就写吧。

下面看看代码：

python数据分析模块：numpy、pandas全解

一维数组情况：

二维数组情况：

3参数情况：

2参数情况：

1参数情况：

一维情况：

二维情况：

一维情况：

二维情况：

一维情况：

二维情况：第三个参数指定维度

只查看行数、或者列数

逗号隔开两个索引

某些行

某些列

可以看出append()函数在二维数组中添加元素，结果转为了一维数组。

那怎么保持二维数组呢？可以设置axis参数按行或者按列添加

可以看出先把二维数组降成了一维数组，再在索引为1的位置添加元素。

那么怎么保持在二维添加元素呢？ 同样设置axis参数

也分按行和按列删除

标记缺失值： isnan()函数

补充缺失值：

同样axis参数可以指定拼接按行还是按列

2. hstack()函数：以水平堆叠的方式拼接数组

3. vstack()函数：以垂直堆叠的方式拼接数组

第二个参数还可以是数组，指定拆分的位置

hsplit()函数：横向拆成几个数组

vsplit()函数：纵向拆成几个数组

数组与数组之间的运算

数组与数值的运算

可以指定整个数组求和，还是按行或者按列

axis=0：每一列的元素求和

axis=1：每一行的元素求和

axis=0：每一列求均值

axis=1：每一行求均值

axis=0：每一列求最大值

axis=1：每一行求最大值

pandas有两个重要的数据结构对象：Series和DataFrame。

Series是创建一个一维数组对象，会自动生成行标签。

会自动生成行列标签

也可以用字典形式生成数据

在用字典生成数据的基础上，同时指定行标签

例如对下表的数据进行读取

4月是第四个表，我们应把sheet_name参数指定为3；因为索引是从0开始的。

可以看出read_excel()函数自动创建了一个DataFrame对象，同时自动把第一行数据当做列标签。

可以看出不给出header参数时，该参数默认为0。

header=1时结果如下：

header=None时结果如下：

index_col=0时，第0列为列标签

index_col=0时

usecols=[2]：指定第二列

指定多列

数据如下：

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-j1SHxY8y-1637655972909)(C:Users14051AppDataRoamingTypora ypora-user-imagesimage-20211114192949607.png)]

nrows=3时

head()函数中参数为空默认前5行

指定head(3)时如下

numpy模块也是shape

查看特定列的书库类型

特定列数据类型转换

先查看一下所有数据

与单行相比，结果显示的格式不一样了

iloc()挑选：

或者给出区间

挑选数据要么标签，要么索引挑选

或者

或者写成区间

标签挑选

或者索引挑选

先查看一下数据

或者用字典一对一修改

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-a6QKIoie-1637655972912)(C:Users14051AppDataRoamingTypora ypora-user-imagesimage-20211123110431201.png)]

isin()函数查看表中是否有该值

查看特定列是否有该值

可以看出上述代码并没有替换，那怎么替换呢？

末尾插入一列

指定插入到哪列

axis参数可以指定删除行还是删除列

指定标签删除

指定索引删除

方法三

指定行标签删除

指定索引删除

方法三：

先查看所有数据

info()函数查看数据类型，还可以查看是否有缺失值

isnull()函数查看是否有缺失值

在numpy模块中用isnan()函数

删除有缺失值的行

删除整行都为缺失值的行： 需要指定how参数

不同列的缺失值设置不同的填充值

默认保留第一个重复值所在的行，删除其他重复值所在的行

保留第一个重复值所在的行

保留最后一个重复值所在的行

是重复的就删除

降序如下

参数指定first时，表示在数据有重复值时，越先出现的数据排名越靠前

获取产品为单肩包的行数据

获取数量60的行数据

获取产品为单肩包 且 数量60 的行数据

获取产品为单肩包 或 数量60 的行数据

stack()函数转换成树形结构

how参数指定外连接

on参数指定按哪一列合并

concat()函数采用 全连接 的方式，没有的数设置为缺失值

重置行标签

效果与concat()一样

末尾添加行元素

指定列求和

指定列求均值

指定列求最值

获取单列的

corr()函数获取相关系数

获取指定列与其他列的相关系数

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-46g9qgQw-1637655972913)(C:Users14051AppDataRoamingTypora ypora-user-imagesimage-20211123135643804.png)]

groupby()函数返回的是一个DataFrameBy对象，该对象包含分组后的数据，但是不能直观地显示出来。

分组后获取指定列的汇总情况

获取多列的汇总情况

获取多列的情况

ta = pd.read_excel(‘相关性分析.xlsx’)

print(data)

corr()函数获取相关系数

获取指定列与其他列的相关系数

[外链图片转存中…(img-46g9qgQw-1637655972913)]

groupby()函数返回的是一个DataFrameBy对象，该对象包含分组后的数据，但是不能直观地显示出来。

分组后获取指定列的汇总情况

获取多列的汇总情况

获取多列的情况