Python数据预测,python数据预测算法
Python数据分析(八):农粮组织数据集探索性分析(EDA)
这里我们用 FAO(Food and Agriculture Organization) 组织提供的数据集，练习一下如何利用python进行探索性数据分析。
我们先导入需要用到的包
接下来，加载数据集
看一下数据量，
看一下数据的信息，
我们先来看一下variable,variable_full这两列的信息，
看一下统计了多少国家，
看一下有多少个时间周期，
看一下时间周期有哪些，
我们看一下某一列某个指标的缺失值的个数，比如variable是total_area时缺失值的个数,
我们通过几个维度来进行数据的分析：
我们按照上面的处理继续，现在我们想统计一下对于一个时间周期来说，不同国家在这个周期内的变化情况，
我们也可以按照国家分类，查看某个国家在不同时期的变化，
我们还可以根据属性，查看不同国家在不同周期内的变化情况，
我们还可以给定国家和指标，查看这个国家在这个指标上的变化情况，
我们还有region(区域)没有查看，我们来看一下：
通过上图可以看出，区域太多，不便于观察，我们可以将一些区域进行合并。减少区域数量有助于模型评估，可以创建一个字典来查找新的，更简单的区域(亚洲，北美洲，南美洲，大洋洲)
我们来看一下数据变化，
紧接着上面的数据处理，我们重新导入一下包，这次有一些新包，
我们看一下水资源的情况，
通过上图可以看出只有一小部分国家报告了可利用的水资源总量，这些国家中只有极少数国家拥有最近一段时间的数据，我们将删除变量，因为这么少的数据点会导致很多问题。
接下来我们看一下全国降雨指数，
全国降雨在2002年以后不再报到，所以我们也删除这个数据，
我们单独拿出一个洲来进行分析，举例南美洲，我们来看一下数据的完整性，
我们也可以指定不同的指标，
接下来，我们使用 pandas_profiling 来对单变量以及多变量之间的关系进行统计一下，
这里我们要计算的是，比如
我们按照 rural_pop 从小到大进行排序，发现的确有几个国家的农村人口是负数，
人口数目是不可能小于0，所以这说明数据有问题，存在脏数据，如果做分析预测时，要注意将这些脏数据处理一下。
接下来我们看一下偏度，我们规定，
正态分布的偏度应为零，负偏度表示左偏，正偏表示右偏。
偏度计算完后，我们计算一下峰度， 峰度也是一个正态分布，峰度不能为负，只能是正数 ，越大说明越陡峭，
接下来我们看一下，如果数据分布非常不均匀该怎么办呢，
上图是2013-2017年国家总人数的分布，通过上图我们发现，人口量少于200000(不考虑单位)的国家非常多，人口大于1200000的国家非常少，如果我们需要建模的话，这种数据我们是不能要的。这个时候我们应该怎么办呢？
通常，遇到这种情况，使用 log变换 将其变为正常。 对数变换 是数据变换的一种常用方式，数据变换的目的在于使数据的呈现方式接近我们所希望的前提假设，从而更好的进行统计推断。
接下来，我们用log转换一下，并看一下它的偏度和峰值，
可以看出偏度下降了很多，减少了倾斜。
可以发现峰度也下降了，接下来我们看一下经过log转换后的数据分布，
虽然数据还有一些偏度，但是明显好了很多，呈现的分布也比较标准。
首先我们先来看一下美国的人口总数随时间的变化，
接下来，我们查看北美洲每个国家人口总数随着时间的变化，
这个时候我们发现，一些国家由于人口数量本身就少，所以整个图像显示的不明显，我们可以改变一下参照指标，那我们通过什么标准化？我们可以选择一个国家的最小、平均、中位数、最大值...或任何其他位置。那我们选择最小值，这样我们就能看到每个国家的起始人口上的增长。
我们也可以用热度图来展示，用颜色的深浅来比较大小关系，
接下来我们分析一下水资源的分布情况，
我们可以进行一下log转换，
我们用热度图画一下，
连续值可以画成散点图，方便观看，
我们来看一下随着季节变化，人均GDP的变化情况，
相关程度：
相关度量两个变量之间的线性关系的强度，我们可以用相关性来识别变量。
现在我们单独拿出来一个指标分析是什么因素与人均GDP的变化有关系，正相关就是积极影响，负相关就是消极影响。
当我们在画图的时候也可以考虑一下利用bined设置一下区间，比如说连续值我们可以分成几个区间进行分析，这里我们以人均GDP的数量来进行分析，我们可以将人均GDP的数据映射到不同的区间，比如人均GDP比较低，比较落后的国家，以及人均GDP比较高，比较发达的国家，这个也是我们经常需要的操作，
做一下log变换，这里是25个bin
我们指定一下分割的标准，
我们还可以看一下人均GDP较低，落后国家的内部数据，下面我们看一下内部数据分布情况，用boxplot进行画图，
对于这部分的分布，我们还可以统计看一下其他指标，如下图所示，我们还可以看一下洪水的统计信息，
淘宝广告用户点击预测（python)
为提高用户淘宝广告点击率，通过分析淘宝用户广告点击记录及对应的用户信息和广告信息表，用python 进行数据合并后进行数据清洗、提取数据特征，做特征工程分析，分析影响用户点击广告的因素，建立简单逻辑回归模型，预测用户是否点击广告；
数据集简介（详情见数据集链接）：
数据集一共4个表，因为是广告点击预测，就用了前面三个表，表描述如下：
主表：raw_sample
以clk 作为后逻辑回归模型数据集标签，后面会改名称为flag;
数据清洗：
以user id+ time_stamp查看，会有很多重复的记录。删除重复时间+用户ID，设置唯一标识；
查看目前数据集大小：
查看空值：
查看点击占比：
ad_feature
数据清洗：
查看重复值：
和主表做关联生成date1:
查看合并后的空值：
查看点击占比：
user_profile
查看重复值：
和date1做关联生成date2：
最终数据表信息：
查看点击比例：
删除不需要做分析的ID标识符字段：
最终数据表点击比例：
类别字段：男女占比/学生占比
时间字段：
数据集只有时间戳字段，我们从中提取星期数以及对应时间段来看时间趋势；
查看点击趋势：
对星期数再区分以便后面做特征提取;
同样对小时进行分组方便后面的特征处理
连续型字段处理：
price：
查看广告价格描述性统计信息：
给广告价格分区：
时间字段可以删除：
查看目前缺失数据，需要填充缺失数据：
? ? 查看缺失占比，pvalue_level缺失的比较多，用一个特殊的数字填充，这里用的9999.0
空值填充：如果是数值类型，用平均值取代；如果是分类数据，用最常见的类别取代；
查看剩余连续数据的分布和描述性统计信息:
删除分完区的原始列：
把sex标准化变成0/1：
目前数据预览：
Age_leavel/wechat_group 分类太多，后面做特征编码的时候生成的特征太多，对它进行分区：
数据集重命名备份:
对前面提取的特征用使用get_dummies进行one-hot编码（类似的做法，就贴三个）
分类列stu我们编码后保留一个特征：
相关系数法：计算各个特征的相关系数
查看各个特征与点击情况（flag）的相关系数，ascending=False表示按降序排列：
截取了相关系数前后几个，都不高，用户本身广告点击率就很低；
广告价格、资源位、性别、商品类别、周五比较能影响用户点击；
根据各个特征与flag的相关系数大小，选择了这几个特征作为模型的输入:
建立训练数据集和测试数据集：
建立逻辑回归并计算逻辑正确率：
基于python的prosper借贷平台之数据分析
项目介绍：
p2p 借贷业务具有门槛低，渠道成本低的特性，风险防控对于出借企业来说非常重要。本项目需要
从大量借贷者的数据集中分析出容易违约和不容易违约的人群画像特征，以给业务做贷前决策使
用。同时使用机器学习算法，实现自动识别风险人群（精准率为 89.86%），加快人工审查效率。
项目具体内容：
1、使用 python pandas 工具进行数据清洗、缺失值、异常值处理以及特征指标筛选。
2、使用 python matplotlib 可视化工具进行探索式数据分析，展示用户关键特征如月收入、信用卡
透支情况对于违约率的影响情况。
3、使用机器学习随机森林进行建模分析，使用学习曲线、网格搜索、交叉验证，最终得到了一个评
分为 84.9%、精准率为 89.86%、召回率为 80.70%、auc 面积为 0.9337 数据预测模型。
? ? 本次数据训练使用的模型是随机森林分类算法，通过对预处理过的数据集进行训练，使用学习曲线、网格搜索、交叉验证。最终得到了一个评分为84.9%、精准率为89.86%、召回率为80.70%、 auc面积为0.9337 数据预测模型。?
数据预处理的基本流程与思路：
1、首先要明确有多少特征，哪些是连续的，哪些是类别的。
2、检查有没有缺失值，对确实的特征选择恰当方式进行弥补，使数据完整。
3、对连续的数值型特征进行标准化，使得均值为0，方差为1。
4、对类别型的特征进行one-hot编码。
5、将需要转换成类别型数据的连续型数据进行二值化。
6、为防止过拟合或者其他原因，选择是否要将数据进行正则化。
7、在对数据进行初探之后发现效果不佳，可以尝试使用多项式方法，寻找非线性的关系。
8、根据实际问题分析是否需要对特征进行相应的函数转换。
导入数据集，并查看数据基本情况。可以看到prosper原始数据量比较庞大，一个有113937个样本，80个特征列，1个标签列。
1.1、特征较多，先共删减一部分无用的特征。
1.2?查看数据缺失情况，可以看到有40个特征是存在数据缺失的，缺失率从0.000219-0.882909不等。下面处理缺失数据。
1.2.1?删除缺失值比较多的特征
下面两个特征缺失率太高，且与我们要分析的相关性不大，直接删除掉。
1.2.2 获取数据类型是分类变量的所有特征，并使用unknown进行填充
1.2.3 特殊变量使用计算公式进行填充
1.2.4 去掉意义重复列
1.2.5 删除缺失率比较少的特征的缺失数据行
处理完缺失数据后，样本量为106290，特征量为55
1.3 数据过滤
1.3.1 从2009年7月开始，Prosper调整了对客户的评估方式，此次我们只对2009-07-01后的贷款进行分析。
过滤完数据后，样本量变为82931，特征量为54
2.1单变量分析
0为未违约人数，1位违约人数，可以看到2009.07以后，违约率为22.90%
2.1.1不同地区贷款数量分布
从图中可以看到加利福尼亚州贷款数量远比其他州的数量高。由于prosper总部就位于加利福尼亚州，这与实际情况一致。其他排名靠前的分别是得克萨斯、纽约、佛罗里达、伊利诺伊，贷款数据均超过了5000条。根据2015年美国各州的GDP排名，这5个州刚好排名前五，而且顺序也是一致的。说明Prosper平台的用户主要分布在美国经济发达的地区。
2.1.2?贷款人收入情况分布
年薪在25000美金以上在美国属于技术性白领或者有一定学历的职员，50000美金已经是近金领阶层，比如：大学教授，医生等。从图中可以看出Prosper平台用户的收入水平都相对较高，有利于用户还款，利于平台和投资者的风险控制。
2.1.3贷款人职业分布
从图中可以看出，除了不愿意透露具体职业的人，大部分用户是教授、程序员、企业高管等具有一定社会地位的人，这部分人受过高等教育，信用有一定保障。另外，这与之前看到的收入情况相符。
2.1.4贷款人债务收入比分布
大部分用户的债务收入比在0.2左右，超过0.5的占很少部分。说明Prosper平台用户的还款能力还是比较乐观的
2.1.5?贷款者信用卡使用情况
BankcardUtilization代表的是信用卡使用金额和信用卡额度的比值，可以体现用户的资金需求。Prosper用户多是0.5~1之间，说明用户每个月还有信用卡要还，降低了其还款能力。
2.2?相关的关键因素对贷款违约率的影响
2.2.1借贷人收入IncomeRange对违约率的影响
从图中可以看出：
1.一般来说收入越高违约率越低
2.贷款的人员主要集中在中等收入群体
2.2.2?债务收入比DebtToIncomeRatio对违约率的影响
从上图可以看出：
1.债务收入比小于0.6时，违约数明显小于未违约数，
2.当债务收入比大于0.6时，两者的差距不是很明显甚至违约数大于未违约数，说明了债务收入比越大的人越容易违约
2.2.3 借款人BankcardUtilization对违约率的影响
1.总的来说，随着信用卡的透支比例越来越高，违约率也越来越高
2.SuperUse的违约率到了37.5%，这部分人群需要严格了监控，No Use人群也有31%的违约率，当初将信用卡透支比例为0和NA的数据都归类为No Use，显然没有这么简单，应该是大部分人群的NA值是为了隐藏自己的高透支比例而填写的
2.2.4 消费信用分CreditScoreRange对违约率的影响
从上图可以看出：
1.随着信用分数CreditScore的上升，它的违约率在下降
2.大部分贷款者的信用分为650-800，违约率在0.06-0.02
2.2.5 过去7年借款人违约次数DelinquenciesLast7Years对违约率的影响
过去七年违约次数(DelinquenciesLast7Years)能够衡量一个人在过去七年中征信情况，违约一次或以上的人在借款时违约概率更大。
?从上图可以看出：
1.总体来说过去7年违约次数越多，违约率越高
2.过去7年未违约的人数相对来说比其他违约的人数高很多，具体看下面的分析
3.1 数据转化
3.1.1类变量进行哑变量化
样本量变为82931，特征量为127
3.1.2?标签变量进行二分类
已完成贷款的样本量变为26365，特征量为127
未违约率为：0.7709084012895885；违约率为0.22909159871041151
3.2 至此，数据预处理的工作就告一段落，保存预处理好的数据。
?导入经过预处理的prosper借贷数据集
4.1?手工挑选特征查看一下建模效果
准确率为0.7695
4.2?使用模型自己选取特征
准确率为0.7780
4.3?使用学习曲线选取最优n_estimators
在0-200/20内学习，得到最优n_estimators=161,score = 0.8508
在151-171/20内学习，得到最优n_estimators=163,score = 0.8511
4.4?使用网格搜索调其他参数
在0-60/5内学习，得到最优max_depth=41
在0-60/5内学习，得到最优max_features=16
这里由于比较耗时，没有进一步细化选择更高的参数
4.4 最终模型效果
最终准确率 0.8490528905289052
混淆矩阵 :
[[5552? 554]
[1175 4914]]
精准率 : [0.82533076 0.89868325]
召回率 : [0.90926957 0.80702907]
roc和auc面积为0.9337
4.5 查看各特征的重要性
4.6?数据预测
预测的违约率0.0427
用Python预测「周期性时间序列」的正确姿势
公司平台上有不同的api，供内部或外部调用，这些api承担着不同的功能，如查询账号、发版、抢红包等等。日志会记录下每分钟某api被访问了多少次，即一个api每天会有1440条记录（1440分钟），将每天的数据连起来观察，有点类似于股票走势的意思。我想通过前N天的历史数据预测出第N+1天的流量访问情况，预测值即作为合理参考，供新一天与真实值做实时对比。当真实流量跟预测值有较大出入，则认为有异常访问，触发报警。
我放了一份样例数据在data文件夹下，
看一下数据大小和结构
画图看一下序列的走势:（一些画图等探索类的方法放在了test_stationarity.py 文件中，包含时间序列图，移动平均图，有兴趣的可以自己尝试下）。
看这糟心的图，那些骤降为0的点这就是我遇到的第一个坑，我当初一拿到这份数据就开始做了。后来折腾了好久才发现，那些骤降为0的点是由于数据缺失，ETL的同学自动补零造成的，沟通晚了(TДT)。
把坑填上，用前后值的均值把缺失值补上，再看一眼：
发现这份数据有这样几个特点，在模型设计和数据预处理的时候要考虑到：
前六天的数据做训练，第七天做测试集。
消除数据的毛刺，可以用移动平均法，我这里没有采用，因为我试过发现对于我的数据来说，移动平均处理完后并不能使数据平滑，我这里采用的方法很简单，但效果还不错：把每个点与上一点的变化值作为一个新的序列，对这里边的异常值，也就是变化比较离谱的值剃掉，用前后数据的均值填充，注意可能会连续出现变化较大的点：
平滑后的训练数据：
采用statsmodels工具包：
对分解出来的趋势部分单独用arima模型做训练：
预测出趋势数据后，加上周期数据即作为最终的预测结果，但更重要的是，我们要得到的不是具体的值，而是一个合理区间，当真实数据超过了这个区间，则触发报警，误差高低区间的设定来自刚刚分解出来的残差residual数据：
预测并完成最后的加法处理，得到第七天的预测值即高低置信区间：
对第七天作出预测，评估的指标为均方根误差rmse，画图对比和真实值的差距：
可以看到，均方根误差462.8，相对于原始数据几千的量级，还是可以的。测试数据中的两个突变的点，也超过了置信区间，能准确报出来。
前文提到不同的api形态差异巨大，本文只展示了一个，我在该项目中还接触了其他形态的序列，有的有明显的上升或下降趋势；有的开始比较平缓，后面开始增长... ... ,但是都属于典型的周期性时间序列，它的核心思想很简单：做好分解，做好预测结果的还原，和置信区间的设置，具体操作可根据具体业务逻辑做调整，祝大家建模愉快:-D。
python数据统计分析
1. 常用函数库
? scipy包中的stats模块和statsmodels包是python常用的数据分析工具，scipy.stats以前有一个models子模块，后来被移除了。这个模块被重写并成为了现在独立的statsmodels包。
?scipy的stats包含一些比较基本的工具，比如：t检验，正态性检验，卡方检验之类，statsmodels提供了更为系统的统计模型，包括线性模型，时序分析，还包含数据集，做图工具等等。
2. 小样本数据的正态性检验
(1) 用途
?夏皮罗维尔克检验法 (Shapiro-Wilk) 用于检验参数提供的一组小样本数据线是否符合正态分布，统计量越大则表示数据越符合正态分布，但是在非正态分布的小样本数据中也经常会出现较大的W值。需要查表来估计其概率。由于原假设是其符合正态分布，所以当P值小于指定显著水平时表示其不符合正态分布。
?正态性检验是数据分析的第一步，数据是否符合正态性决定了后续使用不同的分析和预测方法，当数据不符合正态性分布时，我们可以通过不同的转换方法把非正太态数据转换成正态分布后再使用相应的统计方法进行下一步操作。
(2) 示例
(3) 结果分析
?返回结果 p-value=0.029035290703177452，比指定的显著水平（一般为5%）小，则拒绝假设：x不服从正态分布。
3. 检验样本是否服务某一分布
(1) 用途
?科尔莫戈罗夫检验(Kolmogorov-Smirnov test)，检验样本数据是否服从某一分布，仅适用于连续分布的检验。下例中用它检验正态分布。
(2) 示例
(3) 结果分析
?生成300个服从N(0,1)标准正态分布的随机数，在使用k-s检验该数据是否服从正态分布，提出假设：x从正态分布。最终返回的结果，p-value=0.9260909172362317，比指定的显著水平（一般为5%）大，则我们不能拒绝假设：x服从正态分布。这并不是说x服从正态分布一定是正确的，而是说没有充分的证据证明x不服从正态分布。因此我们的假设被接受，认为x服从正态分布。如果p-value小于我们指定的显著性水平，则我们可以肯定地拒绝提出的假设，认为x肯定不服从正态分布，这个拒绝是绝对正确的。
4.方差齐性检验
(1) 用途
?方差反映了一组数据与其平均值的偏离程度，方差齐性检验用以检验两组或多组数据与其平均值偏离程度是否存在差异，也是很多检验和算法的先决条件。
(2) 示例
(3) 结果分析
?返回结果 p-value=0.19337536323599344, 比指定的显著水平（假设为5%）大，认为两组数据具有方差齐性。
5. 图形描述相关性
(1) 用途
?最常用的两变量相关性分析，是用作图描述相关性，图的横轴是一个变量，纵轴是另一变量，画散点图，从图中可以直观地看到相关性的方向和强弱，线性正相关一般形成由左下到右上的图形；负面相关则是从左上到右下的图形，还有一些非线性相关也能从图中观察到。
(2) 示例
(3) 结果分析
?从图中可以看到明显的正相关趋势。
6. 正态资料的相关分析
(1) 用途
?皮尔森相关系数（Pearson correlation coefficient）是反应两变量之间线性相关程度的统计量，用它来分析正态分布的两个连续型变量之间的相关性。常用于分析自变量之间，以及自变量和因变量之间的相关性。
(2) 示例
(3) 结果分析
?返回结果的第一个值为相关系数表示线性相关程度，其取值范围在[-1,1]，绝对值越接近1，说明两个变量的相关性越强，绝对值越接近0说明两个变量的相关性越差。当两个变量完全不相关时相关系数为0。第二个值为p-value，统计学上，一般当p-value0.05时，可以认为两变量存在相关性。
7. 非正态资料的相关分析
(1) 用途
?斯皮尔曼等级相关系数(Spearman’s correlation coefficient for ranked data )，它主要用于评价顺序变量间的线性相关关系，在计算过程中，只考虑变量值的顺序（rank, 值或称等级），而不考虑变量值的大小。常用于计算类型变量的相关性。
(2) 示例
(3) 结果分析
?返回结果的第一个值为相关系数表示线性相关程度，本例中correlation趋近于1表示正相关。第二个值为p-value，p-value越小，表示相关程度越显著。
8. 单样本T检验
(1) 用途
?单样本T检验，用于检验数据是否来自一致均值的总体，T检验主要是以均值为核心的检验。注意以下几种T检验都是双侧T检验。
(2) 示例
(3) 结果分析
?本例中生成了2列100行的数组，ttest_1samp的第二个参数是分别对两列估计的均值，p-value返回结果，第一列1.47820719e-06比指定的显著水平（一般为5%）小，认为差异显著，拒绝假设；第二列2.83088106e-01大于指定显著水平，不能拒绝假设：服从正态分布。
9. 两独立样本T检验
(1) 用途
?由于比较两组数据是否来自于同一正态分布的总体。注意：如果要比较的两组数据不满足方差齐性， 需要在ttest_ind()函数中添加参数equal_var = False。
(2) 示例
(3) 结果分析
?返回结果的第一个值为统计量，第二个值为p-value，pvalue=0.19313343989106416，比指定的显著水平（一般为5%）大，不能拒绝假设，两组数据来自于同一总结，两组数据之间无差异。
10. 配对样本T检验
(1) 用途
?配对样本T检验可视为单样本T检验的扩展，检验的对象由一群来自正态分布独立样本更改为二群配对样本观测值之差。它常用于比较同一受试对象处理的前后差异，或者按照某一条件进行两两配对分别给与不同处理的受试对象之间是否存在差异。
(2) 示例
(3) 结果分析
?返回结果的第一个值为统计量，第二个值为p-value，pvalue=0.80964043445811551，比指定的显著水平（一般为5%）大，不能拒绝假设。
11. 单因素方差分析
(1) 用途
?方差分析(Analysis of Variance，简称ANOVA)，又称F检验，用于两个及两个以上样本均数差别的显著性检验。方差分析主要是考虑各组之间的平均数差别。
?单因素方差分析（One-wayAnova），是检验由单一因素影响的多组样本某因变量的均值是否有显著差异。
?当因变量Y是数值型，自变量X是分类值，通常的做法是按X的类别把实例成分几组，分析Y值在X的不同分组中是否存在差异。
(2) 示例
(3) 结果分析
?返回结果的第一个值为统计量，它由组间差异除以组间差异得到，上例中组间差异很大，第二个返回值p-value=6.2231520821576832e-19小于边界值（一般为0.05）,拒绝原假设, 即认为以上三组数据存在统计学差异，并不能判断是哪两组之间存在差异 。只有两组数据时，效果同 stats.levene 一样。
12. 多因素方差分析
(1) 用途
?当有两个或者两个以上自变量对因变量产生影响时，可以用多因素方差分析的方法来进行分析。它不仅要考虑每个因素的主效应，还要考虑因素之间的交互效应。
(2) 示例
(3) 结果分析
?上述程序定义了公式，公式中，"~"用于隔离因变量和自变量，”+“用于分隔各个自变量， ":"表示两个自变量交互影响。从返回结果的P值可以看出，X1和X2的值组间差异不大，而组合后的T:G的组间有明显差异。
13. 卡方检验
(1) 用途
?上面介绍的T检验是参数检验，卡方检验是一种非参数检验方法。相对来说，非参数检验对数据分布的要求比较宽松，并且也不要求太大数据量。卡方检验是一种对计数资料的假设检验方法，主要是比较理论频数和实际频数的吻合程度。常用于特征选择，比如，检验男人和女人在是否患有高血压上有无区别，如果有区别，则说明性别与是否患有高血压有关，在后续分析时就需要把性别这个分类变量放入模型训练。
?基本数据有R行C列, 故通称RC列联表(contingency table), 简称RC表，它是观测数据按两个或更多属性（定性变量）分类时所列出的频数表。
(2) 示例
(3) 结果分析
?卡方检验函数的参数是列联表中的频数，返回结果第一个值为统计量值，第二个结果为p-value值，p-value=0.54543425102570975，比指定的显著水平（一般5%）大，不能拒绝原假设，即相关性不显著。第三个结果是自由度，第四个结果的数组是列联表的期望值分布。
14. 单变量统计分析
(1) 用途
?单变量统计描述是数据分析中最简单的形式，其中被分析的数据只包含一个变量，不处理原因或关系。单变量分析的主要目的是通过对数据的统计描述了解当前数据的基本情况，并找出数据的分布模型。
?单变量数据统计描述从集中趋势上看，指标有：均值，中位数，分位数，众数；从离散程度上看，指标有：极差、四分位数、方差、标准差、协方差、变异系数，从分布上看，有偏度，峰度等。需要考虑的还有极大值，极小值（数值型变量）和频数，构成比（分类或等级变量）。
?此外，还可以用统计图直观展示数据分布特征，如：柱状图、正方图、箱式图、频率多边形和饼状图。
15. 多元线性回归
(1) 用途
?多元线性回归模型（multivariable linear regression model ），因变量Y（计量资料）往往受到多个变量X的影响，多元线性回归模型用于计算各个自变量对因变量的影响程度，可以认为是对多维空间中的点做线性拟合。
(2) 示例
(3) 结果分析
?直接通过返回结果中各变量的P值与0.05比较，来判定对应的解释变量的显著性，P0.05则认为自变量具有统计学意义，从上例中可以看到收入INCOME最有显著性。
16. 逻辑回归
(1) 用途
?当因变量Y为2分类变量（或多分类变量时）可以用相应的logistic回归分析各个自变量对因变量的影响程度。
(2) 示例
(3) 结果分析
?直接通过返回结果中各变量的P值与0.05比较，来判定对应的解释变量的显著性，P0.05则认为自变量具有统计学意义。
Python数据分析（4）决策树模型
时间：2021/06/30
系统环境：Windows 10
所用工具：Jupyter Notebook\Python 3.0
涉及的库：pandas\train_test_split\DecisionTreeClassifier\accuracy_score\roc_curve\matplotlib.pyplot\roc_auc_score\export_graphviz\graphviz\os\GridSearchCV
蛋肥想法： 通过测试集数据，检验预测准确度，测得准确度为95.47%。
蛋肥想法： 通过绘制ROC曲线，得出AUC值为0.966，表明预测效果不错。
蛋肥想法： 特征重要性最高的是“satisfaction_level”，而“salary”在该模型中的特征重要性为0，并不符合实际（钱可太重要了~），应该是因为数据处理时单纯将工资分为“高”“中”“低”3个档次，使得该特征变量在决策树模型中发挥的作用较小。
蛋肥想法： GridSearch网格搜索可以进行单参数和多参数调优，蛋肥这里以max_depth参数来练习调优，得出'max_depth': 7时，AUC更好为0.985。