python如何抓取数据整合材料(python数据抓去)
如何提取Python数据
首先是准备工作，导入需要使用的库，读取并创建数据表取名为loandata。
?
1
2
3
import numpy as np
import pandas as pd
loandata=pd.DataFrame(pd.read_excel('loan_data.xlsx'))
设置索引字段
在开始提取数据前，先将member_id列设置为索引字段。然后开始提取数据。
?
1
Loandata = loandata.set_index('member_id')
按行提取信息
第一步是按行提取数据，例如提取某个用户的信息。下面使用ix函数对member_id为1303503的用户信息进行了提取。
?
1
loandata.ix[1303503]
按列提取信息
第二步是按列提取数据，例如提取用户工作年限列的所有信息，下面是具体的代码和提取结果，显示了所有用户的工作年龄信息。
?
1
loandata.ix[:,'emp_length']
按行与列提取信息
第三步是按行和列提取信息，把前面两部的查询条件放在一起，查询特定用户的特定信息，下面是查询member_id为1303503的用户的emp_length信息。
?
1
loandata.ix[1303503,'emp_length']
在前面的基础上继续增加条件，增加一行同时查询两个特定用户的贷款金额信息。具体代码和查询结果如下。结果中分别列出了两个用户的代码金额。
?
1
loandata.ix[[1303503,1298717],'loan_amnt']
在前面的代码后增加sum函数，对结果进行求和，同样是查询两个特定用户的贷款进行，下面的结果中直接给出了贷款金额的汇总值。
?
1
loandata.ix[[1303503,1298717],'loan_amnt'].sum()
除了增加行的查询条件以外，还可以增加列的查询条件，下面的代码中查询了一个特定用户的贷款金额和年收入情况，结果中分别显示了这两个字段的结果。
?
1
loandata.ix[1303503,['loan_amnt','annual_inc']]
多个列的查询也可以进行求和计算，在前面的代码后增加sum函数，对这个用户的贷款金额和年收入两个字段求和，并显示出结果。
?
1
loandata.ix[1303503,['loan_amnt','annual_inc']].sum()
如何用Python爬取数据？
方法/步骤
在做爬取数据之前，你需要下载安装两个东西，一个是urllib,另外一个是python-docx。
请点击输入图片描述
然后在python的编辑器中输入import选项，提供这两个库的服务
请点击输入图片描述
urllib主要负责抓取网页的数据，单纯的抓取网页数据其实很简单，输入如图所示的命令，后面带链接即可。
请点击输入图片描述
抓取下来了，还不算，必须要进行读取，否则无效。
请点击输入图片描述
5
接下来就是抓码了，不转码是完成不了保存的，将读取的函数read转码。再随便标记一个比如XA。
请点击输入图片描述
6
最后再输入三句，第一句的意思是新建一个空白的word文档。
第二句的意思是在文档中添加正文段落，将变量XA抓取下来的东西导进去。
第三句的意思是保存文档docx，名字在括号里面。
请点击输入图片描述
7
这个爬下来的是源代码，如果还需要筛选的话需要自己去添加各种正则表达式。
如何用python抓取js生成的数据
一、查看相应的js代码，用python获取原始数据之后，模仿js编写相应的python代码。
二、通过接口api获得数据，直接使用python获取接口数据并处理。
三。终极方法。使用 Selenium和PhantomJS执行网页js代码，然后再获取数据，这种方法100%可以获取数据，确定就是速度太慢。
如何用Python爬虫抓取网页内容?
爬虫流程
其实把网络爬虫抽象开来看，它无外乎包含如下几个步骤
模拟请求网页。模拟浏览器，打开目标网站。
获取数据。打开网站之后，就可以自动化的获取我们所需要的网站数据。
保存数据。拿到数据之后，需要持久化到本地文件或者数据库等存储设备中。
那么我们该如何使用 Python 来编写自己的爬虫程序呢，在这里我要重点介绍一个 Python 库：Requests。
Requests 使用
Requests 库是 Python 中发起 HTTP 请求的库，使用非常方便简单。
模拟发送 HTTP 请求
发送 GET 请求
当我们用浏览器打开豆瓣首页时，其实发送的最原始的请求就是 GET 请求
import requests
res = requests.get('')
print(res)
print(type(res))
Response [200]
class 'requests.models.Response'