python数据分析案例报告(用python做数据分析案例)
Python数据分析(八):农粮组织数据集探索性分析(EDA)
这里我们用 FAO(Food and Agriculture Organization) 组织提供的数据集，练习一下如何利用python进行探索性数据分析。
我们先导入需要用到的包
接下来，加载数据集
看一下数据量，
看一下数据的信息，
我们先来看一下variable,variable_full这两列的信息，
看一下统计了多少国家，
看一下有多少个时间周期，
看一下时间周期有哪些，
我们看一下某一列某个指标的缺失值的个数，比如variable是total_area时缺失值的个数,
我们通过几个维度来进行数据的分析：
我们按照上面的处理继续，现在我们想统计一下对于一个时间周期来说，不同国家在这个周期内的变化情况，
我们也可以按照国家分类，查看某个国家在不同时期的变化，
我们还可以根据属性，查看不同国家在不同周期内的变化情况，
我们还可以给定国家和指标，查看这个国家在这个指标上的变化情况，
我们还有region(区域)没有查看，我们来看一下：
通过上图可以看出，区域太多，不便于观察，我们可以将一些区域进行合并。减少区域数量有助于模型评估，可以创建一个字典来查找新的，更简单的区域(亚洲，北美洲，南美洲，大洋洲)
我们来看一下数据变化，
紧接着上面的数据处理，我们重新导入一下包，这次有一些新包，
我们看一下水资源的情况，
通过上图可以看出只有一小部分国家报告了可利用的水资源总量，这些国家中只有极少数国家拥有最近一段时间的数据，我们将删除变量，因为这么少的数据点会导致很多问题。
接下来我们看一下全国降雨指数，
全国降雨在2002年以后不再报到，所以我们也删除这个数据，
我们单独拿出一个洲来进行分析，举例南美洲，我们来看一下数据的完整性，
我们也可以指定不同的指标，
接下来，我们使用 pandas_profiling 来对单变量以及多变量之间的关系进行统计一下，
这里我们要计算的是，比如
我们按照 rural_pop 从小到大进行排序，发现的确有几个国家的农村人口是负数，
人口数目是不可能小于0，所以这说明数据有问题，存在脏数据，如果做分析预测时，要注意将这些脏数据处理一下。
接下来我们看一下偏度，我们规定，
正态分布的偏度应为零，负偏度表示左偏，正偏表示右偏。
偏度计算完后，我们计算一下峰度， 峰度也是一个正态分布，峰度不能为负，只能是正数 ，越大说明越陡峭，
接下来我们看一下，如果数据分布非常不均匀该怎么办呢，
上图是2013-2017年国家总人数的分布，通过上图我们发现，人口量少于200000(不考虑单位)的国家非常多，人口大于1200000的国家非常少，如果我们需要建模的话，这种数据我们是不能要的。这个时候我们应该怎么办呢？
通常，遇到这种情况，使用 log变换 将其变为正常。 对数变换 是数据变换的一种常用方式，数据变换的目的在于使数据的呈现方式接近我们所希望的前提假设，从而更好的进行统计推断。
接下来，我们用log转换一下，并看一下它的偏度和峰值，
可以看出偏度下降了很多，减少了倾斜。
可以发现峰度也下降了，接下来我们看一下经过log转换后的数据分布，
虽然数据还有一些偏度，但是明显好了很多，呈现的分布也比较标准。
首先我们先来看一下美国的人口总数随时间的变化，
接下来，我们查看北美洲每个国家人口总数随着时间的变化，
这个时候我们发现，一些国家由于人口数量本身就少，所以整个图像显示的不明显，我们可以改变一下参照指标，那我们通过什么标准化？我们可以选择一个国家的最小、平均、中位数、最大值...或任何其他位置。那我们选择最小值，这样我们就能看到每个国家的起始人口上的增长。
我们也可以用热度图来展示，用颜色的深浅来比较大小关系，
接下来我们分析一下水资源的分布情况，
我们可以进行一下log转换，
我们用热度图画一下，
连续值可以画成散点图，方便观看，
我们来看一下随着季节变化，人均GDP的变化情况，
相关程度：
相关度量两个变量之间的线性关系的强度，我们可以用相关性来识别变量。
现在我们单独拿出来一个指标分析是什么因素与人均GDP的变化有关系，正相关就是积极影响，负相关就是消极影响。
当我们在画图的时候也可以考虑一下利用bined设置一下区间，比如说连续值我们可以分成几个区间进行分析，这里我们以人均GDP的数量来进行分析，我们可以将人均GDP的数据映射到不同的区间，比如人均GDP比较低，比较落后的国家，以及人均GDP比较高，比较发达的国家，这个也是我们经常需要的操作，
做一下log变换，这里是25个bin
我们指定一下分割的标准，
我们还可以看一下人均GDP较低，落后国家的内部数据，下面我们看一下内部数据分布情况，用boxplot进行画图，
对于这部分的分布，我们还可以统计看一下其他指标，如下图所示，我们还可以看一下洪水的统计信息，
利用python实现数据分析
链接：
提取码：7234
炼数成金:Python数据分析。Python是一种面向对象、直译式计算机程序设计语言。也是一种功能强大而完善的通用型语言，已经具有十多年的发展历史，成熟且稳定。Python 具有脚本语言中最丰富和强大的类库，足以支持绝大多数日常应用。 Python语法简捷而清晰，具有丰富和强大的类库。它常被昵称为胶水语言，它能够很轻松的把用其他语言制作的各种模块（尤其是C/C++）轻松地联结在一起。
课程将从Python的基本使用方法开始，一步步讲解，从ETL到各种数据分析方法的使用，并结合实例，让学员能从中借鉴学习。
课程目录：
Python基础
Python的概览——Python的基本介绍、安装与基本语法、变量类型与运算符
了解Python流程控制——条件、循环语句与其他语句
常用函数——函数的定义与使用方法、主要内置函数的介绍
.....
《利用Python进行数据分析》——案例1从Bitly获取数据
这个案例主要目的是转换json类型的数据，利用python和pandas方法进行计数。
step1:获取数据
将json格式数据转化成python对象
step2纯python时区计数
1.获取时区+计数
2.对以上字典形式进行计数
3.更更简单的方法，直接用python标准库的collections.Counters类
从仅获取时区后开始
step3 使用pandas计数
step4 可视化 seaborn
5.补充一些语句
python数据统计分析
1. 常用函数库
? scipy包中的stats模块和statsmodels包是python常用的数据分析工具，scipy.stats以前有一个models子模块，后来被移除了。这个模块被重写并成为了现在独立的statsmodels包。
?scipy的stats包含一些比较基本的工具，比如：t检验，正态性检验，卡方检验之类，statsmodels提供了更为系统的统计模型，包括线性模型，时序分析，还包含数据集，做图工具等等。
2. 小样本数据的正态性检验
(1) 用途
?夏皮罗维尔克检验法 (Shapiro-Wilk) 用于检验参数提供的一组小样本数据线是否符合正态分布，统计量越大则表示数据越符合正态分布，但是在非正态分布的小样本数据中也经常会出现较大的W值。需要查表来估计其概率。由于原假设是其符合正态分布，所以当P值小于指定显著水平时表示其不符合正态分布。
?正态性检验是数据分析的第一步，数据是否符合正态性决定了后续使用不同的分析和预测方法，当数据不符合正态性分布时，我们可以通过不同的转换方法把非正太态数据转换成正态分布后再使用相应的统计方法进行下一步操作。
(2) 示例
(3) 结果分析
?返回结果 p-value=0.029035290703177452，比指定的显著水平（一般为5%）小，则拒绝假设：x不服从正态分布。
3. 检验样本是否服务某一分布
(1) 用途
?科尔莫戈罗夫检验(Kolmogorov-Smirnov test)，检验样本数据是否服从某一分布，仅适用于连续分布的检验。下例中用它检验正态分布。
(2) 示例
(3) 结果分析
?生成300个服从N(0,1)标准正态分布的随机数，在使用k-s检验该数据是否服从正态分布，提出假设：x从正态分布。最终返回的结果，p-value=0.9260909172362317，比指定的显著水平（一般为5%）大，则我们不能拒绝假设：x服从正态分布。这并不是说x服从正态分布一定是正确的，而是说没有充分的证据证明x不服从正态分布。因此我们的假设被接受，认为x服从正态分布。如果p-value小于我们指定的显著性水平，则我们可以肯定地拒绝提出的假设，认为x肯定不服从正态分布，这个拒绝是绝对正确的。
4.方差齐性检验
(1) 用途
?方差反映了一组数据与其平均值的偏离程度，方差齐性检验用以检验两组或多组数据与其平均值偏离程度是否存在差异，也是很多检验和算法的先决条件。
(2) 示例
(3) 结果分析
?返回结果 p-value=0.19337536323599344, 比指定的显著水平（假设为5%）大，认为两组数据具有方差齐性。
5. 图形描述相关性
(1) 用途
?最常用的两变量相关性分析，是用作图描述相关性，图的横轴是一个变量，纵轴是另一变量，画散点图，从图中可以直观地看到相关性的方向和强弱，线性正相关一般形成由左下到右上的图形；负面相关则是从左上到右下的图形，还有一些非线性相关也能从图中观察到。
(2) 示例
(3) 结果分析
?从图中可以看到明显的正相关趋势。
6. 正态资料的相关分析
(1) 用途
?皮尔森相关系数（Pearson correlation coefficient）是反应两变量之间线性相关程度的统计量，用它来分析正态分布的两个连续型变量之间的相关性。常用于分析自变量之间，以及自变量和因变量之间的相关性。
(2) 示例
(3) 结果分析
?返回结果的第一个值为相关系数表示线性相关程度，其取值范围在[-1,1]，绝对值越接近1，说明两个变量的相关性越强，绝对值越接近0说明两个变量的相关性越差。当两个变量完全不相关时相关系数为0。第二个值为p-value，统计学上，一般当p-value0.05时，可以认为两变量存在相关性。
7. 非正态资料的相关分析
(1) 用途
?斯皮尔曼等级相关系数(Spearman’s correlation coefficient for ranked data )，它主要用于评价顺序变量间的线性相关关系，在计算过程中，只考虑变量值的顺序（rank, 值或称等级），而不考虑变量值的大小。常用于计算类型变量的相关性。
(2) 示例
(3) 结果分析
?返回结果的第一个值为相关系数表示线性相关程度，本例中correlation趋近于1表示正相关。第二个值为p-value，p-value越小，表示相关程度越显著。
8. 单样本T检验
(1) 用途
?单样本T检验，用于检验数据是否来自一致均值的总体，T检验主要是以均值为核心的检验。注意以下几种T检验都是双侧T检验。
(2) 示例
(3) 结果分析
?本例中生成了2列100行的数组，ttest_1samp的第二个参数是分别对两列估计的均值，p-value返回结果，第一列1.47820719e-06比指定的显著水平（一般为5%）小，认为差异显著，拒绝假设；第二列2.83088106e-01大于指定显著水平，不能拒绝假设：服从正态分布。
9. 两独立样本T检验
(1) 用途
?由于比较两组数据是否来自于同一正态分布的总体。注意：如果要比较的两组数据不满足方差齐性， 需要在ttest_ind()函数中添加参数equal_var = False。
(2) 示例
(3) 结果分析
?返回结果的第一个值为统计量，第二个值为p-value，pvalue=0.19313343989106416，比指定的显著水平（一般为5%）大，不能拒绝假设，两组数据来自于同一总结，两组数据之间无差异。
10. 配对样本T检验
(1) 用途
?配对样本T检验可视为单样本T检验的扩展，检验的对象由一群来自正态分布独立样本更改为二群配对样本观测值之差。它常用于比较同一受试对象处理的前后差异，或者按照某一条件进行两两配对分别给与不同处理的受试对象之间是否存在差异。
(2) 示例
(3) 结果分析
?返回结果的第一个值为统计量，第二个值为p-value，pvalue=0.80964043445811551，比指定的显著水平（一般为5%）大，不能拒绝假设。
11. 单因素方差分析
(1) 用途
?方差分析(Analysis of Variance，简称ANOVA)，又称F检验，用于两个及两个以上样本均数差别的显著性检验。方差分析主要是考虑各组之间的平均数差别。
?单因素方差分析（One-wayAnova），是检验由单一因素影响的多组样本某因变量的均值是否有显著差异。
?当因变量Y是数值型，自变量X是分类值，通常的做法是按X的类别把实例成分几组，分析Y值在X的不同分组中是否存在差异。
(2) 示例
(3) 结果分析
?返回结果的第一个值为统计量，它由组间差异除以组间差异得到，上例中组间差异很大，第二个返回值p-value=6.2231520821576832e-19小于边界值（一般为0.05）,拒绝原假设, 即认为以上三组数据存在统计学差异，并不能判断是哪两组之间存在差异 。只有两组数据时，效果同 stats.levene 一样。
12. 多因素方差分析
(1) 用途
?当有两个或者两个以上自变量对因变量产生影响时，可以用多因素方差分析的方法来进行分析。它不仅要考虑每个因素的主效应，还要考虑因素之间的交互效应。
(2) 示例
(3) 结果分析
?上述程序定义了公式，公式中，"~"用于隔离因变量和自变量，”+“用于分隔各个自变量， ":"表示两个自变量交互影响。从返回结果的P值可以看出，X1和X2的值组间差异不大，而组合后的T:G的组间有明显差异。
13. 卡方检验
(1) 用途
?上面介绍的T检验是参数检验，卡方检验是一种非参数检验方法。相对来说，非参数检验对数据分布的要求比较宽松，并且也不要求太大数据量。卡方检验是一种对计数资料的假设检验方法，主要是比较理论频数和实际频数的吻合程度。常用于特征选择，比如，检验男人和女人在是否患有高血压上有无区别，如果有区别，则说明性别与是否患有高血压有关，在后续分析时就需要把性别这个分类变量放入模型训练。
?基本数据有R行C列, 故通称RC列联表(contingency table), 简称RC表，它是观测数据按两个或更多属性（定性变量）分类时所列出的频数表。
(2) 示例
(3) 结果分析
?卡方检验函数的参数是列联表中的频数，返回结果第一个值为统计量值，第二个结果为p-value值，p-value=0.54543425102570975，比指定的显著水平（一般5%）大，不能拒绝原假设，即相关性不显著。第三个结果是自由度，第四个结果的数组是列联表的期望值分布。
14. 单变量统计分析
(1) 用途
?单变量统计描述是数据分析中最简单的形式，其中被分析的数据只包含一个变量，不处理原因或关系。单变量分析的主要目的是通过对数据的统计描述了解当前数据的基本情况，并找出数据的分布模型。
?单变量数据统计描述从集中趋势上看，指标有：均值，中位数，分位数，众数；从离散程度上看，指标有：极差、四分位数、方差、标准差、协方差、变异系数，从分布上看，有偏度，峰度等。需要考虑的还有极大值，极小值（数值型变量）和频数，构成比（分类或等级变量）。
?此外，还可以用统计图直观展示数据分布特征，如：柱状图、正方图、箱式图、频率多边形和饼状图。
15. 多元线性回归
(1) 用途
?多元线性回归模型（multivariable linear regression model ），因变量Y（计量资料）往往受到多个变量X的影响，多元线性回归模型用于计算各个自变量对因变量的影响程度，可以认为是对多维空间中的点做线性拟合。
(2) 示例
(3) 结果分析
?直接通过返回结果中各变量的P值与0.05比较，来判定对应的解释变量的显著性，P0.05则认为自变量具有统计学意义，从上例中可以看到收入INCOME最有显著性。
16. 逻辑回归
(1) 用途
?当因变量Y为2分类变量（或多分类变量时）可以用相应的logistic回归分析各个自变量对因变量的影响程度。
(2) 示例
(3) 结果分析
?直接通过返回结果中各变量的P值与0.05比较，来判定对应的解释变量的显著性，P0.05则认为自变量具有统计学意义。
Python数据分析案例-药品数据分析案例
最近学习了python数据分析的一些基础知识，有numpy,pandas,matplotlib等，找了一个药品数据分析的小项目练一下手。
数据分析的步骤一般可以分为6个：
1，明确分析的目的
2，数据准备
3，数据清洗
4，数据分析
5，数据可视化
6，分析报告
数据分析的目的：
通过对朝阳区医院的药品销售数据的分析，了解朝阳医院的患者的月均消费次数，月均消费金额、客单价以及消费趋势、需求量前几位的药品等。
数据准备
数据是存在Excel中的，可以使用pandas的Excel文件读取函数将数据读取到内存中，这里需要注意的是文件名和Excel中的sheet页的名字。读取完数据后可以对数据进行预览和查看一些基本信息。
通过数据的基本信息可以看出来，总行数6578，但是社保卡号只有6576，其他行只有6577行，说明存在缺失值，这些将在数据清洗中进行处理。
数据清洗
数据清洗过程一般包括：选择子集、列名重命名、缺失数据处理、数据类型转换、数据排序及异常值处理等。
（1）选择子集
在我们获取到的数据中，可能数据量非常庞大，并不是每一列都有价值都需要分析，这时候就需要从整个数据中选取合适的子集进行分析，这样就可以提高效率。但是这个案例数据列较少，可以忽略这一步。
（2）列名重命名
在数据分析过程中，有些列名和数据容易混淆或产生歧义，不利于数据分析，这时候需要把列名换成容易理解的名称，可以采用rename函数实现：
（3）缺失数据处理
通过查看基本信息可以推测“社保卡号”这列存在缺失值，如果不处理这些缺失值会干扰后面的数据分析结果。缺失数据常用的处理方式有：删除缺失值，一般用于少量缺失值，对整体数据影响不大的情况；平均值填充，对于数值型常用；算法填充等。在本次案例中缺失值商量很少，直接使用dropna函数删除缺失数据。
（4）数据类型转换
在导入数据时为了防止导入不进来，会强制所有数据都是object类型，但实际数据分析过程中“销售数量”，“应收金额”，“实收金额”，这些列需要浮点型（float）数据，“销售时间”需要改成时间格式，因此需要对数据类型进行转换，可以使用astype()函数。
（5）异常值处理
查看数据的描述统计信息：我们可以看到最小值出现了负数，原因是销售数量的值为负数，需要将销售数量小于0的数据剔除掉。
数据分析及可视化
这里涉及到的数据可视化的部分并不多所以将数据分析和可视化结合起来，数据分析之前我们应该确定分析的指标。
（1）指标1：月均消费次数 ? 计算：月均消费次数 = 总消费次数 / 月份数
（2）指标2：月均消费金额 ? 计算：月均消费金额 = 总消费金额 / 月份数
（3）指标3：客单价? 计算：客单价 = 总消费金额 / 总消费次数
（4）指标4：消费趋势
每天的消费金额分布情况：一横轴为时间，纵轴为实收金额画散点图。
结论：从散点图可以看出，每天消费金额在500以下的占绝大多数，个别天存在消费金额很大的情况。
月消费金额变化趋势，将销售时间按月聚合分组，然后求出分组后的累计金额，画出折线图。
结论：1月，4月，5月，6月的消费金额变化不大，基本持平，2月和3月金额较低，可能是受春节假期影响，部分外来居民回家了，7月份最低是因为数据不全造成的。
药品销售情况分析，对“商品名称”和“销售数量”这两列数据进行聚合为Series形式，方便后面统计。
结论：对于销售量排在前几位的药品，医院应该时刻关注，保证药品不会短缺而影响患者。