Python数据分析基础教程答案(python数据分析基础教程答案解析)
Python数据分析案例-药店销售数据分析
最近学习了Python数据分析的一些基础知识,就找了一个药品数据分析的小项目来练一下手。
数据分析的目的:
本篇文章中,假设以朝阳医院2018年销售数据为例,目的是了解朝阳医院在2018年里的销售情况,通过对朝阳区医院的药品销售数据的分析,了解朝阳医院的患者的月均消费次数,月均消费金额、客单价以及消费趋势、需求量前几位的药品等。
数据分析基本过程包括:获取数据、数据清洗、构建模型、数据可视化以及消费趋势分析。
数据准备
数据是存在Excel中的,可以使用pandas的Excel文件读取函数将数据读取到内存中,这里需要注意的是文件名和Excel中的sheet页的名字。读取完数据后可以对数据进行预览和查看一些基本信息。
获取数据:朝阳医院2018年销售数据.xlsx(非真实数据) 提取码: 6xm2
导入原始数据
数据准备
数据是存在Excel中的,可以使用pandas的Excel文件读取函数将数据读取到内存中,这里需要注意的是文件名和Excel中的sheet页的名字。读取完数据后可以对数据进行预览和查看一些基本信息。
获取数据:朝阳医院2018年销售数据.xlsx(非真实数据) 提取码: 6xm2
导入原始数据
数据清洗
数据清洗过程包括:选择子集、列名重命名、缺失数据处理、数据类型转换、数据排序及异常值处理
(1)选择子集
在我们获取到的数据中,可能数据量非常庞大,并不是每一列都有价值都需要分析,这时候就需要从整个数据中选取合适的子集进行分析,这样能从数据中获取最大价值。在本次案例中不需要选取子集,暂时可以忽略这一步。
(2)列重命名
在数据分析过程中,有些列名和数据容易混淆或产生歧义,不利于数据分析,这时候需要把列名换成容易理解的名称,可以采用rename函数实现:
(3)缺失值处理
获取的数据中很有可能存在缺失值,通过查看基本信息可以推测“购药时间”和“社保卡号”这两列存在缺失值,如果不处理这些缺失值会干扰后面的数据分析结果。
缺失数据常用的处理方式为删除含有缺失数据的记录或者利用算法去补全缺失数据。
在本次案例中为求方便,直接使用dropna函数删除缺失数据,具体如下:
(4)数据类型转换
在导入数据时为了防止导入不进来,会强制所有数据都是object类型,但实际数据分析过程中“销售数量”,“应收金额”,“实收金额”,这些列需要浮点型(float)数据,“销售时间”需要改成时间格式,因此需要对数据类型进行转换。
可以使用astype()函数转为浮点型数据:
在“销售时间”这一列数据中存在星期这样的数据,但在数据分析过程中不需要用到,因此要把销售时间列中日期和星期使用split函数进行分割,分割后的时间,返回的是Series数据类型:
此时时间是没有按顺序排列的,所以还是需要排序一下,排序之后索引会被打乱,所以也需要重置一下索引。
其中by:表示按哪一列进行排序,ascending=True表示升序排列,ascending=False表示降序排列
先查看数据的描述统计信息
通过描述统计信息可以看到,“销售数量”、“应收金额”、“实收金额”这三列数据的最小值出现了负数,这明显不符合常理,数据中存在异常值的干扰,因此要对数据进一步处理,以排除异常值的影响:
数据清洗完成后,需要利用数据构建模型(就是计算相应的业务指标),并用可视化的方式呈现结果。
月均消费次数 = 总消费次数 / 月份数(同一天内,同一个人所有消费算作一次消费)
月均消费金额 = 总消费金额 / 月份数
客单价 = 总消费金额 / 总消费次数
从结果可以看出,每天消费总额差异较大,除了个别天出现比较大笔的消费,大部分人消费情况维持在1000-2000元以内。
接下来,我销售时间先聚合再按月分组进行分析:
结果显示,7月消费金额最少,这是因为7月份的数据不完整,所以不具参考价值。
1月、4月、5月和6月的月消费金额差异不大.
2月和3月的消费金额迅速降低,这可能是2月和3月处于春节期间,大部分人都回家过年的原因。
d. 分析药品销售情况
对“商品名称”和“销售数量”这两列数据进行聚合为Series形式,方便后面统计,并按降序排序:
截取销售数量最多的前十种药品,并用条形图展示结果:
结论:对于销售量排在前几位的药品,医院应该时刻关注,保证药品不会短缺而影响患者。得到销售数量最多的前十种药品的信息,这些信息也会有助于加强医院对药房的管理。
每天的消费金额分布情况:一横轴为时间,纵轴为实收金额画散点图。
结论: 从散点图可以看出,每天消费金额在500以下的占绝大多数,个别天存在消费金额很大的情况。
/article
python数据分析需要什么基础
python数据分析需要什么基础?
1. SQL(数据库),我们都知道数据分析师每天都会处理海量的数据,这些数据来源于数据库,那么怎么从数据库取数据?如何建立两表、三表之间的关系?怎么取到自己想要的特定的数据?等等这些数据选择问题就是你首要考虑的问题,而这些问题都是通过SQL解决的,所以SQL是数据分析的最基础的技能;
2. 统计学基础,数据分析的前提要对数据有感知,数据如何收集?数据整体分布是怎样的?如果有时间维度的话随着时间的变化是怎样的?数据的平均值是什么?数据的最大值最小值指什么?数据相关与回归、时间序列分析和预测等等;
3.python数据分析肯定需要Python语言的基础,这一点是必备项,在数据挖掘方向是必备项,语言相比较工具更加灵活也更加实用。
相关推荐:《Python教程》以上就是小编分享的关于python数据分析需要什么基础的详细内容希望对大家有所帮助,更多有关python教程请关注环球青藤其它相关文章!
入门Python数据分析,请问看什么书籍?
如果你已经决定学习Python数据分析,但是之前没有编程经验,那么,这6本书将会是你的正确选择。
《Python科学计算》
从发行版的安装开始,这本书将科学计算及可视化的常见函数库,如numpy、scipy、sympy、matplotlib、traits、tvtk、mayavi、opencv等等,都进行了较为详细地介绍。由于涉及面太广,可能对于单个函数库来说还不够深入,但是这本书能够让人快速上手,全面了解科学计算所用到的常用函数库。进而在此基础上选择自己需要的函数库进行深入学习,相对来说要容易得多。
《NumPyBeginner's Guide 2nd》/《Python数据分析基础教程:NumPy学习指南(第2版)》
面向新手的一本Numpy入门指南。整本书可谓是短小精干,条理清晰,将Numpy的基础内容讲得清清楚楚明明白白。此书的作者还写过一本《NumPyCookbook》/《NumPy攻略:Python科学计算与数据分析》,但这本书相比于前者,就显得结构有些杂乱,内容上也有些不上不下,如果要看的话,建议看完第一本再来看这本。在这里还想顺便吐槽一下这两本书的中文书名翻译。为了能够多卖几本,出版社也是蛮拼的,想方设法都要跟数据分析几个字挂上钩,就好像现在某些书总要扯上云和大数据一样。此外,还有一本《LearningSciPy for Numerical and Scientific Computing》的书,可以作为SciPy的入门教程来学习(似乎还没出中文版)。
《Pythonfor Data Analysis》/《利用Python进行数据分析》
这本书也是从numpy讲起,侧重于数据分析的各个流程,包括数据的存取、规整、可视化等等。此外,本书还涉及了pandas这个库,有兴趣的可以看看。
《MachineLearning in Action》/《机器学习实战》
Python机器学习的白盒入门教程,着重于讲解机器学习的各类常用算法,以及如何用Python来实现它们。这是一本教你如何造轮子的书,但是造出来的轮子似乎也不怎么好用就是了。不过,对于立志要造汽车的人们来说,了解一下轮子的结构和原理,还是十分必要的。此外,打算阅读此书之前,如果各位的高数线代概率论都忘得差不多了的话,还是先补一补比较好。
《BuildingMachine Learning Systems with Python》/《机器学习系统设计》
Python机器学习的黑盒入门教程。如果说上一本书是教你如何组装轮子的话,这本书就是直接告诉你怎么把轮子转起来以及如何才能转得更好。至于轮子为什么能转起来,请参阅上一本书。另外,可以配合《Learning scikit-learn:Machine Learning in Python》这本书来阅读(暂无中文版)。这本书是针对Python的机器学习库scikit-learn进行专门讲解的一本书,100页左右,可以作为官方文档的拓展读物。
《Pythonfor Finance》
教你用Python处理金融数据的一本书,应该是中国人写的,Packt出版,不过似乎现在还没有中文版。比起前面几本书,这本书专业性要强一些,侧重于金融数据分析。这本书我还没怎么看,也写不出什么更详细的介绍。之所以把它列出来,是因为在查资料的时候发现,O'Reilly年底似乎也准备出一本《Python for Finance》。看来Python真的是越来越火了。
Python数据分析笔记#7.3.1 字符串对象方法
「目录」
数据清洗和准备
Data Cleaning and Prepration
-------- 字符串对象方法
字符串对象方法
Python能够成为流行的数据处理语言的部分原因是其易于处理字符串和文本。大部分文本运算都直接做成了字符串对象的内置方法。
split方法可以 通过指定分隔符对字符串进行切片 。
例如,以逗号分割的字符串可以用split拆分成数段:
strip可以 去除字符串头尾指定的字符 ,默认是空白符或换行符。
strip常常与split一起使用:
利用 加法可以将字符串连接起来 :
但这种方式并不实用,毕竟字符串多了就很麻烦。一种更快 更符合Python风格的方式是是使用join方法 ,我们向join方法中传入一个列表或元组:
检测子串的最佳方法是利用Python的in关键字,还可以使用index和find。
index和find会 查找指定值的首次出现的位置 。
find和index的区别是:若找不到字符串,index将会引发一个 异常 ,find则会返回 -1 :
count可以 返回指定字串的出现次数
replace用于将 指定模式替换为另一个模式 (replace will substitute occurrences of one pattern for another)
再记录几个Python内置的字符串方法吧。
startswith和endswith: 若字符串以某个前缀(后缀)开头,则返回True :
lower和uppe: 分别将字母字符转换为小写或大写 。
ljust和rjust: 用空格(或其他字符)填充字符串的空白侧以返回符合最低宽度的字符串 。
这章终于还剩两节就结束了。
-END-
python数据分析模块:numpy、pandas全解
一维数组情况:
二维数组情况:
3参数情况:
2参数情况:
1参数情况:
一维情况:
二维情况:
一维情况:
二维情况:
一维情况:
二维情况:第三个参数指定维度
只查看行数、或者列数
逗号隔开两个索引
某些行
某些列
可以看出append()函数在二维数组中添加元素,结果转为了一维数组。
那怎么保持二维数组呢?可以设置axis参数按行或者按列添加
可以看出先把二维数组降成了一维数组,再在索引为1的位置添加元素。
那么怎么保持在二维添加元素呢? 同样设置axis参数
也分按行和按列删除
标记缺失值: isnan()函数
补充缺失值:
同样axis参数可以指定拼接按行还是按列
2. hstack()函数:以水平堆叠的方式拼接数组
3. vstack()函数:以垂直堆叠的方式拼接数组
第二个参数还可以是数组,指定拆分的位置
hsplit()函数:横向拆成几个数组
vsplit()函数:纵向拆成几个数组
数组与数组之间的运算
数组与数值的运算
可以指定整个数组求和,还是按行或者按列
axis=0:每一列的元素求和
axis=1:每一行的元素求和
axis=0:每一列求均值
axis=1:每一行求均值
axis=0:每一列求最大值
axis=1:每一行求最大值
pandas有两个重要的数据结构对象:Series和DataFrame。
Series是创建一个一维数组对象,会自动生成行标签。
会自动生成行列标签
也可以用字典形式生成数据
在用字典生成数据的基础上,同时指定行标签
例如对下表的数据进行读取
4月是第四个表,我们应把sheet_name参数指定为3;因为索引是从0开始的。
可以看出read_excel()函数自动创建了一个DataFrame对象,同时自动把第一行数据当做列标签。
可以看出不给出header参数时,该参数默认为0。
header=1时结果如下:
header=None时结果如下:
index_col=0时,第0列为列标签
index_col=0时
usecols=[2]:指定第二列
指定多列
数据如下:
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-j1SHxY8y-1637655972909)(C:Users14051AppDataRoamingTypora ypora-user-imagesimage-20211114192949607.png)]
nrows=3时
head()函数中参数为空默认前5行
指定head(3)时如下
numpy模块也是shape
查看特定列的书库类型
特定列数据类型转换
先查看一下所有数据
与单行相比,结果显示的格式不一样了
iloc()挑选:
或者给出区间
挑选数据要么标签,要么索引挑选
或者
或者写成区间
标签挑选
或者索引挑选
先查看一下数据
或者用字典一对一修改
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-a6QKIoie-1637655972912)(C:Users14051AppDataRoamingTypora ypora-user-imagesimage-20211123110431201.png)]
isin()函数查看表中是否有该值
查看特定列是否有该值
可以看出上述代码并没有替换,那怎么替换呢?
末尾插入一列
指定插入到哪列
axis参数可以指定删除行还是删除列
指定标签删除
指定索引删除
方法三
指定行标签删除
指定索引删除
方法三:
先查看所有数据
info()函数查看数据类型,还可以查看是否有缺失值
isnull()函数查看是否有缺失值
在numpy模块中用isnan()函数
删除有缺失值的行
删除整行都为缺失值的行: 需要指定how参数
不同列的缺失值设置不同的填充值
默认保留第一个重复值所在的行,删除其他重复值所在的行
保留第一个重复值所在的行
保留最后一个重复值所在的行
是重复的就删除
降序如下
参数指定first时,表示在数据有重复值时,越先出现的数据排名越靠前
获取产品为单肩包的行数据
获取数量60的行数据
获取产品为单肩包 且 数量60 的行数据
获取产品为单肩包 或 数量60 的行数据
stack()函数转换成树形结构
how参数指定外连接
on参数指定按哪一列合并
concat()函数采用 全连接 的方式,没有的数设置为缺失值
重置行标签
效果与concat()一样
末尾添加行元素
指定列求和
指定列求均值
指定列求最值
获取单列的
corr()函数获取相关系数
获取指定列与其他列的相关系数
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-46g9qgQw-1637655972913)(C:Users14051AppDataRoamingTypora ypora-user-imagesimage-20211123135643804.png)]
groupby()函数返回的是一个DataFrameBy对象,该对象包含分组后的数据,但是不能直观地显示出来。
分组后获取指定列的汇总情况
获取多列的汇总情况
获取多列的情况
ta = pd.read_excel(‘相关性分析.xlsx’)
print(data)
corr()函数获取相关系数
获取指定列与其他列的相关系数
[外链图片转存中…(img-46g9qgQw-1637655972913)]
groupby()函数返回的是一个DataFrameBy对象,该对象包含分组后的数据,但是不能直观地显示出来。
分组后获取指定列的汇总情况
获取多列的汇总情况
获取多列的情况
python怎么分析数据
python怎么分析数据?
在不同的场景下通常可以采用不同的数据分析方式,比如对于大部分职场人来说,Excel可以满足大部分数据分析场景,当数据量比较大的时候可以通过学习数据库知识来完成数据分析任务,对于更复杂的数据分析场景可以通过BI工具来完成数据分析。通过工具进行数据分析一方面比较便捷,另一方面也比较容易掌握。
但是针对于更加开放的数据分析场景时,就需要通过编程的方式来进行数据分析了,比如通过机器学习的方式进行数据分析,而Python语言在机器学习领域有广泛的应用。采用机器学习的方式进行数据分析需要经过五个步骤,分别是数据准备、算法设计、算法训练、算法验证和算法应用。
采用机器学习进行数据分析时,首先要了解一下常见的算法,比如knn、决策树、支持向量机、朴素贝叶斯等等,这些算法都是机器学习领域非常常见的算法,也具有比较广泛的应用场景。当然,学习这些算法也需要具备一定的线性代数和概率论基础。学习不同的算法最好结合相应的应用场景进行分析,有的场景也需要结合多个算法进行分析。另外,通过场景来学习算法的使用会尽快建立画面感。
采用Python进行数据分析还需要掌握一系列库的使用,包括Numpy(矩阵运算库)、Scipy(统计运算库)、Matplotpb(绘图库)、pandas(数据集操作)、Sympy(数值运算库)等库,这些库在Python进行数据分析时有广泛的应用。
相关推荐:《Python教程》以上就是小编分享的关于python怎么分析数据的详细内容希望对大家有所帮助,更多有关python教程请关注环球青藤其它相关文章!