基于Python的数据获取与分析(基于python的数据处理案例)

python数据分析与应用-Python数据分析与应用 PDF 内部全资料版

给大家带来的一篇关于Python数据相关的电子书资源，介绍了关于Python方面的内容，本书是由人民邮电出版社出版，格式为PDF，资源大小281 MB，黄红梅 张良均编写，目前豆瓣、亚马逊、当当、京东等电子书综合评分为：7.8。

内容介绍

目录

第1章　Python数据分析概述　1

任务1.1　认识数据分析　1

1.1.1　掌握数据分析的概念　2

1.1.2　掌握数据分析的流程　2

1.1.3　了解数据分析应用场景　4

任务1.2　熟悉Python数据分析的工具　5

1.2.1　了解数据分析常用工具　6

1.2.2　了解Python数据分析的优势　7

1.2.3　了解Python数据分析常用类库　7

任务1.3　安装Python的Anaconda发行版　9

1.3.1　了解Python的Anaconda发行版　9

1.3.2　在Windows系统中安装Anaconda　9

1.3.3　在Linux系统中安装Anaconda　12

任务1.4　掌握Jupyter Notebook常用功能　14

1.4.1　掌握Jupyter Notebook的基本功能　14

1.4.2　掌握Jupyter Notebook的高 级功能　16

小结　19

课后习题　19

第2章　NumPy数值计算基础　21

任务2.1　掌握NumPy数组对象ndarray　21

2.1.1　创建数组对象　21

2.1.2　生成随机数　27

2.1.3　通过索引访问数组　29

2.1.4　变换数组的形态　31

任务2.2　掌握NumPy矩阵与通用函数　34

2.2.1　创建NumPy矩阵　34

2.2.2　掌握ufunc函数　37

任务2.3　利用NumPy进行统计分析　41

2.3.1　读/写文件　41

2.3.2　使用函数进行简单的统计分析　44

2.3.3　任务实现　48

小结　50

实训　50

实训1　创建数组并进行运算　50

实训2　创建一个国际象棋的棋盘　50

课后习题　51

第3章　Matplotlib数据可视化基础　52

任务3.1　掌握绘图基础语法与常用参数　52

3.1.1　掌握pyplot基础语法　53

3.1.2　设置pyplot的动态rc参数　56

任务3.2　分析特征间的关系　59

3.2.1　绘制散点图　59

3.2.2　绘制折线图　62

3.2.3　任务实现　65

任务3.3　分析特征内部数据分布与分散状况　68

3.3.1　绘制直方图　68

3.3.2　绘制饼图　70

3.3.3　绘制箱线图　71

3.3.4　任务实现　73

小结　77

实训　78

实训1　分析1996 2015年人口数据特征间的关系　78

实训2　分析1996 2015年人口数据各个特征的分布与分散状况　78

课后习题　79

第4章　pandas统计分析基础　80

任务4.1　读/写不同数据源的数据　80

4.1.1　读/写数据库数据　80

4.1.2　读/写文本文件　83

4.1.3　读/写Excel文件　87

4.1.4　任务实现　88

任务4.2　掌握DataFrame的常用操作　89

4.2.1　查看DataFrame的常用属性　89

4.2.2　查改增删DataFrame数据　91

4.2.3　描述分析DataFrame数据　101

4.2.4　任务实现　104

任务4.3　转换与处理时间序列数据　107

4.3.1　转换字符串时间为标准时间　107

4.3.2　提取时间序列数据信息　109

4.3.3　加减时间数据　110

4.3.4　任务实现　111

任务4.4　使用分组聚合进行组内计算　113

4.4.1　使用groupby方法拆分数据　114

4.4.2　使用agg方法聚合数据　116

4.4.3　使用apply方法聚合数据　119

4.4.4　使用transform方法聚合数据　121

4.4.5　任务实现　121

任务4.5　创建透视表与交叉表　123

4.5.1　使用pivot_table函数创建透视表　123

4.5.2　使用crosstab函数创建交叉表　127

4.5.3　任务实现　128

小结　130

实训　130

实训1　读取并查看P2P网络贷款数据主表的基本信息　130

实训2　提取用户信息更新表和登录信息表的时间信息　130

实训3　使用分组聚合方法进一步分析用户信息更新表和登录信息表　131

实训4　对用户信息更新表和登录信息表进行长宽表转换　131

课后习题　131

第5章　使用pandas进行数据预处理　133

任务5.1　合并数据　133

5.1.1　堆叠合并数据　133

5.1.2　主键合并数据　136

5.1.3　重叠合并数据　139

5.1.4　任务实现　140

任务5.2　清洗数据　141

5.2.1　检测与处理重复值　141

5.2.2　检测与处理缺失值　146

5.2.3　检测与处理异常值　149

5.2.4　任务实现　152

任务5.3　标准化数据　154

5.3.1　离差标准化数据　154

5.3.2　标准差标准化数据　155

5.3.3　小数定标标准化数据　156

5.3.4　任务实现　157

任务5.4　转换数据　158

5.4.1　哑变量处理类别型数据　158

5.4.2　离散化连续型数据　160

5.4.3　任务实现　162

小结　163

实训　164

实训1　插补用户用电量数据缺失值　164

实训2　合并线损、用电量趋势与线路告警数据　164

实训3　标准化建模专家样本数据　164

课后习题　165

第6章　使用scikit-learn构建模型　167

任务6.1　使用sklearn转换器处理数据　167

6.1.1　加载datasets模块中的数据集　167

6.1.2　将数据集划分为训练集和测试集　170

6.1.3　使用sklearn转换器进行数据预处理与降维　172

6.1.4　任务实现　174

任务6.2　构建并评价聚类模型　176

6.2.1　使用sklearn估计器构建聚类模型　176

6.2.2　评价聚类模型　179

6.2.3　任务实现　182

任务6.3　构建并评价分类模型　183

6.3.1　使用sklearn估计器构建分类模型　183

6.3.2　评价分类模型　186

6.3.3　任务实现　188

任务6.4　构建并评价回归模型　190

6.4.1　使用sklearn估计器构建线性回归模型　190

6.4.2　评价回归模型　193

6.4.3　任务实现　194

小结　196

实训　196

实训1　使用sklearn处理wine和wine_quality数据集　196

实训2　构建基于wine数据集的K-Means聚类模型　196

实训3　构建基于wine数据集的SVM分类模型　197

实训4　构建基于wine_quality数据集的回归模型　197

课后习题　198

第7章　航空公司客户价值分析　199

任务7.1　了解航空公司现状与客户价值分析　199

7.1.1　了解航空公司现状　200

7.1.2　认识客户价值分析　201

7.1.3　熟悉航空客户价值分析的步骤与流程　201

任务7.2　预处理航空客户数据　202

7.2.1　处理数据缺失值与异常值　202

7.2.2　构建航空客户价值分析关键特征　202

7.2.3　标准化LRFMC模型的5个特征　206

7.2.4　任务实现　207

任务7.3　使用K-Means算法进行客户分群　209

7.3.1　了解K-Means聚类算法　209

7.3.2　分析聚类结果　210

7.3.3　模型应用　213

7.3.4　任务实现　214

小结　215

实训　215

实训1　处理信用卡数据异常值　215

实训2　构造信用卡客户风险评价关键特征　217

实训3　构建K-Means聚类模型　218

课后习题　218

第8章　财政收入预测分析　220

任务8.1　了解财政收入预测的背景与方法　220

8.1.1　分析财政收入预测背景　220

8.1.2　了解财政收入预测的方法　222

8.1.3　熟悉财政收入预测的步骤与流程　223

任务8.2　分析财政收入数据特征的相关性　223

8.2.1　了解相关性分析　223

8.2.2　分析计算结果　224

8.2.3　任务实现　225

任务8.3　使用Lasso回归选取财政收入预测的关键特征　225

8.3.1　了解Lasso回归方法　226

8.3.2　分析Lasso回归结果　227

8.3.3　任务实现　227

任务8.4　使用灰色预测和SVR构建财政收入预测模型　228

8.4.1　了解灰色预测算法　228

8.4.2　了解SVR算法　229

8.4.3　分析预测结果　232

8.4.4　任务实现　234

小结　236

实训　236

实训1　求取企业所得税各特征间的相关系数　236

实训2　选取企业所得税预测关键特征　237

实训3　构建企业所得税预测模型　237

课后习题　237

第9章　家用热水器用户行为分析与事件识别　239

任务9.1　了解家用热水器用户行为分析的背景与步骤　239

9.1.1　分析家用热水器行业现状　240

9.1.2　了解热水器采集数据基本情况　240

9.1.3　熟悉家用热水器用户行为分析的步骤与流程　241

任务9.2　预处理热水器用户用水数据　242

9.2.1　删除冗余特征　242

9.2.2　划分用水事件　243

9.2.3　确定单次用水事件时长阈值　244

9.2.4　任务实现　246

任务9.3　构建用水行为特征并筛选用水事件　247

9.3.1　构建用水时长与频率特征　248

9.3.2　构建用水量与波动特征　249

9.3.3　筛选候选洗浴事件　250

9.3.4　任务实现　251

任务9.4　构建行为事件分析的BP神经网络模型　255

9.4.1　了解BP神经网络算法原理　255

9.4.2　构建模型　259

9.4.3　评估模型　260

9.4.4　任务实现　260

小结　263

实训　263

实训1　清洗运营商客户数据　263

实训2　筛选客户运营商数据　264

实训3　构建神经网络预测模型　265

课后习题　265

附录A　267

附录B　270

参考文献　295

学习笔记

Jupyter Notebook（此前被称为 IPython notebook）是一个交互式笔记本，支持运行 40 多种编程语言。 Jupyter Notebook 的本质是一个 Web 应用程序，便于创建和共享文学化程序文档，支持实时代码，数学方程，可视化和 markdown。 用途包括：数据清理和转换，数值模拟，统计建模，机器学习等等 。 定义 （推荐学习：Python视频教程） 用户可以通过电子邮件，Dropbox，GitHub 和 Jupyter Notebook Viewer，将 Jupyter Notebook 分享给其他人。 在Jupyter Notebook 中，代码可以实时的生成图像，视频，LaTeX和JavaScript。 使用 数据挖掘领域中最热门的比赛 Kaggle 里的资料都是Jupyter 格式 。 架构 Jupyter组件 Jupyter包含以下组件： Jupyter Notebook 和 ……

本文实例讲述了Python实现的微信好友数据分析功能。分享给大家供大家参考，具体如下： 这里主要利用python对个人微信好友进行分析并把结果输出到一个html文档当中，主要用到的python包为 itchat ， pandas ， pyecharts 等 1、安装itchat 微信的python sdk，用来获取个人好友关系。获取的代码 如下： import itchatimport pandas as pdfrom pyecharts import Geo, Baritchat.login()friends = itchat.get_friends(update=True)[0:]def User2dict(User): User_dict = {} User_dict["NickName"] = User["NickName"] if User["NickName"] else "NaN" User_dict["City"] = User["City"] if User["City"] else "NaN" User_dict["Sex"] = User["Sex"] if User["Sex"] else 0 User_dict["Signature"] = User["Signature"] if User["Signature"] else "NaN" ……

基于微信开放的个人号接口python库itchat，实现对微信好友的获取，并对省份、性别、微信签名做数据分析。 效果： 直接上代码，建三个空文本文件stopwords.txt，newdit.txt、unionWords.txt，下载字体simhei.ttf或删除字体要求的代码，就可以直接运行。 #wxfriends.py 2018-07-09import itchatimport sysimport pandas as pdimport matplotlib.pyplot as pltplt.rcParams['font.sans-serif']=['SimHei']#绘图时可以显示中文plt.rcParams['axes.unicode_minus']=False#绘图时可以显示中文import jiebaimport jieba.posseg as psegfrom scipy.misc import imreadfrom wordcloud import WordCloudfrom os import path#解决编码问题non_bmp_map = dict.fromkeys(range(0x10000, sys.maxunicode + 1), 0xfffd) #获取好友信息def getFriends():……

Python数据分析之双色球基于线性回归算法预测下期中奖结果示例

本文实例讲述了Python数据分析之双色球基于线性回归算法预测下期中奖结果。分享给大家供大家参考，具体如下： 前面讲述了关于双色球的各种算法，这里将进行下期双色球号码的预测，想想有些小激动啊。 代码中使用了线性回归算法，这个场景使用这个算法，预测效果一般，各位可以考虑使用其他算法尝试结果。 发现之前有很多代码都是重复的工作，为了让代码看的更优雅，定义了函数，去调用，顿时高大上了 #!/usr/bin/python# -*- coding:UTF-8 -*-#导入需要的包import pandas as pdimport numpy as npimport matplotlib.pyplot as pltimport operatorfrom sklearn import datasets,linear_modelfrom sklearn.linear_model import LogisticRegression#读取文件d……

以上就是本次介绍的Python数据电子书的全部相关内容，希望我们整理的资源能够帮助到大家，感谢大家对鬼鬼的支持。

注·获取方式：私信（666）

如何学习python数据分析

第一阶段：Python编程语言核心基础

快速掌握一门数据科学的有力工具。

第二阶段：Python数据分析基本工具

通过介绍NumPy、Pandas、MatPlotLib、Seaborn等工具，快速具备数据分析的专业范儿。

第三阶段：Python语言描述的数学基础

概率统计、线性代数、时间序列分析、随机过程是构建数据科学的基石，这里独树一帜，通过python语言描述这些数学，快速让数学知识为我所用，融会贯通。

第四阶段：机器学习典型算法专题

这一部分利用前面介绍的基础知识，对机器学习的常用核心算法进行抽丝剥茧、条分缕析、各个击破。

第五阶段：实战环节深度应用

在这一部分利用已有的知识进行实战化的数据分析，例如：对基金投资策略、城市房屋租赁等热门数据展开围猎。

利用Python进行数据分析笔记：3.1数据结构

元组是一种固定长度、不可变的Python对象序列。创建元组最简单的办法是用逗号分隔序列值：

tuple 函数将任意序列或迭代器转换为元组：

中括号 [] 可以获取元组的元素， Python中序列索引从0开始 ：

元组一旦创建，各个位置上的对象是无法被修改的，如果元组的一个对象是可变的，例如列表，你可以在它内部进行修改：

可以使用 + 号连接元组来生成更长的元组：

元组乘以整数，则会和列表一样，生成含有多份拷贝的元组：

将元组型的表达式赋值给变量，Python会对等号右边的值进行拆包：

拆包的一个常用场景就是遍历元组或列表组成的序列：

*rest 用于在函数调用时获取任意长度的位置参数列表：

count 用于计量某个数值在元组中出现的次数：

列表的长度可变，内容可以修改。可以使用 [] 或者 list 类型函数来定义列表：

append 方法将元素添加到列表尾部：

insert 方法可以将元素插入到指定列表位置：

（ 插入位置范围在0到列表长度之间 ）

pop 是 insert 的反操作，将特定位置的元素移除并返回：

remove 方法会定位第一个符合要求的值并移除它：

in 关键字可以检查一个值是否在列表中；

not in 表示不在：

+ 号可以连接两个列表：

extend 方法可以向该列表添加多个元素：

使用 extend 将元素添加到已经存在的列表是更好的方式，比 + 快。

sort 方法可以对列表进行排序：

key 可以传递一个用于生成排序值的函数，例如通过字符串的长度进行排序：

bisect.bisect 找到元素应当被插入的位置，返回位置信息

bisect.insort 将元素插入到已排序列表的相应位置保持序列排序

bisect 模块的函数并不会检查列表是否已经排序，因此对未排序列表使用bisect不会报错，但是可能导致不正确结果

切片符号可以对大多数序列类型选取子集，基本形式是 [start:stop]

起始位置start索引包含，结束位置stop索引不包含

切片还可以将序列赋值给变量：

start和stop可以省略，默认传入起始位置或结束位置，负索引可以从序列尾部进行索引：

步进值 step 可以在第二个冒号后面使用， 意思是每隔多少个数取一个值：

对列表或元组进行翻转时，一种很聪明的用法时向步进值传值-1：

dict(字典)可能是Python内建数据结构中最重要的，它更为常用的名字是 哈希表 或者 关联数组 。

字典是键值对集合，其中键和值都是Python对象。

{} 是创建字典的一种方式，字典中用逗号将键值对分隔：

你可以访问、插入或设置字典中的元素,:

in 检查字典是否含有一个键：

del 或 pop 方法删除值， pop 方法会在删除的同时返回被删的值，并删除键：

update 方法将两个字典合并：

update方法改变了字典元素位置，对于字典中已经存在的键，如果传给update方法的数据也含有相同的键，则它的值将会被覆盖。

字典的值可以是任何Python对象，但键必须是不可变的对象，比如标量类型（整数、浮点数、字符串）或元组（且元组内对象也必须是不可变对象）。

通过 hash 函数可以检查一个对象是否可以哈希化（即是否可以用作字典的键）：

集合是一种无序且元素唯一的容器。

set 函数或者是用字面值集与大括号，创建集合：

union 方法或 | 二元操作符获得两个集合的联合即两个集合中不同元素的并集：

intersection 方法或 操作符获得交集即两个集合中同时包含的元素：

常用的集合方法列表：

和字典类似，集合的元素必须是不可变的。如果想要包含列表型的元素，必须先转换为元组：

如何利用python进行数据分析

利用python进行数据分析 ?

链接: ?

?pwd=3nfn 提取码: 3nfn

本书也可以作为利用Python实现数据密集型应用的科学计算实践指南。本书适合刚刚接触Python的分析人员以及刚刚接触科学计算的Python程序员。