python爬取疫情数据并存入csv(scrapy爬取疫情数据)

怎样用python爬取疫情数据

import requests

from bs4 import BeautifulSoup

import re

import json

# 1.发送请求，获取疫情首页（数据来源于丁香园）

response = requests.get('')

home_page = response.content.decode()

# 2.从疫情首页提取最近一日数据

soup = BeautifulSoup(home_page, 'lxml')

script = soup.find(id='getAreaStat')

text = script.string

# 3.提取数据获取json格式数据

json_str = re.findall(r'\[.+\]', text)[0]

# 4.把json格式转换为python类型

last_day_corona_virus = json.loads(json_str)

# 5.以json格式保存最近一日数据

with open('data/last_day_coronavirus.json', 'w') as fp:

json.dump(last_day_corona_virus, fp, ensure_ascii=False)

利用Python如何将数据写到CSV文件中

如果你的数据是列表格式，可以使用一个迭代器，将数据写入文件，同时添加必要的分隔符以构成csv文件

如果数据是字典格式，需要考虑使用换行符或者其他特殊符号来分割每个字典元素（包括键和值）。键和值可以考虑使用和之前不重复的分隔符进行分割。

这样就构成了一个csv文件（csv使用分隔符分割值的文件）

操作方法如下：

1，使用读写追加的方式打开csv文件。

2，找到csv文件的结尾。

3，在结尾使用和之前csv使用的分割相同的格式进行数据添加。

4，关闭文件

python怎么将数据存到csv文件

有两种途径：

1、csv文件本质上也是文件文件，可以按照文件文件来进行读写操作

2、python自带csv模块，可以import csv 来通过csv.write模块来写文件