python爬取疫情数据代码(怎样用python爬取疫情数据)
python疫情数据分析怎么和excel连接
爬取国内疫情数据。data_download(),引用包requests、json。1)访问网站获取数据;2)保存数据成json文件
将数据转存到excel。cpdata_toexcel(),引用包openpyxl、json。
1)从json文件中抽取所需数据,字段需求:省份、地市、总确诊人数、总疑似病例、总死亡人数。
?
2)创建Excel表,数据保存。
读取文件数据画疫情地图。show_data(),引用包pandas、pyecharts。
「Python」使用Pyecharts生成疫情分布地图
最近受江苏疫情影响,好多小伙伴都居家办公咯!为了密切关注疫情动态,最近写了爬取疫情分布的脚本,参考上篇链接。
既然我们已经获得了相应的江苏各个地级市的疫情数据,那么我们如何来使用Python实现将数据可视化在地图上呢?
Apache Echarts 是一个由百度开源的数据可视化,凭借着良好的交互性,精巧的图表设计,得到了众多开发者的认可。而 Python 是一门富有表达力的语言,很适合用于数据处理。当数据分析遇上数据可视化时,pyecharts 诞生了。
简单来说,pyecharts具有以下特性:
3. Pyecharts 安装
使用pip进行安装如下:
因为我们需要使用pycharts绘制地图,此时我们还需要安装相应的地图文件包:
其中:
echarts-countries-pypkg 包为全球国家地图
echarts-china-provinces-pypkg包为中国省级地图
echarts-china-cities-pypkg 包为中国市级地图
安装完上述绘制地图相关的python包后,我们接下来开始画疫情分布地图。
首先,我们先来查看一段Pyecharts相关实现:
上述代码解释如下:
运行后会在当前目录生成 map_jiangsu_0803.html,用浏览器打开后结果如下:
当鼠标移动到对应区域后,会显示出对应地级市今日新增人数。
上述脚本虽然可以实现我们的功能,但是颜色灰灰的,太过于单调,接下来我们来想办法进行美化,实现代码如下:
代码解释如下:
运行后会在当前目录生成 map_jiangsu_0803_new.html,用浏览器打开后结果如下:
同理我们可以得到现有确诊人数分布如下:
进而我们可以得到累计确诊人数分布如下:
这段python代码是什么意思?
爬取网页链接
空气质量指数查询(AQI)-PM2.5查询
就是把这个网址里面的有用的信息存储在本地,可以看到某个城市的控制质量,比如:PM2.5如图
这种技术叫爬虫。非常有用的。至于里面用的就是:
发起请求
接收响应后处理数据
保存数据
如何用Python爬取数据?
方法/步骤
在做爬取数据之前,你需要下载安装两个东西,一个是urllib,另外一个是python-docx。
然后在python的编辑器中输入import选项,提供这两个库的服务
urllib主要负责抓取网页的数据,单纯的抓取网页数据其实很简单,输入如图所示的命令,后面带链接即可。
抓取下来了,还不算,必须要进行读取,否则无效。
5
接下来就是抓码了,不转码是完成不了保存的,将读取的函数read转码。再随便标记一个比如XA。
6
最后再输入三句,第一句的意思是新建一个空白的word文档。
第二句的意思是在文档中添加正文段落,将变量XA抓取下来的东西导进去。
第三句的意思是保存文档docx,名字在括号里面。
7
这个爬下来的是源代码,如果还需要筛选的话需要自己去添加各种正则表达式。