python爬虫app数据抓取(python爬取软件数据)
Python爬虫实战：应用宝APP数据信息采集
数据来源: 应用宝
开发环境：win10、python3.7
开发工具：pycharm、Chrome
明确需要采集的数据：
提取到页面的分类标签
获取到a标签的href属性
用于之后拼接动态地址
找到动态加载的app数据加载地址
url的值是每个分类标签的值
;categoryId=-10pageSize=20pageContext=undefined
拼接新的url值发送请求
Python爬虫实战（3）selenium完成瀑布流数据爬取
爬取时间：2021/01/27
系统环境：Windows 10
所用工具：Jupyter Notebook\Python 3.0
涉及的库：selenium\time\pandas\matplotlib\jieba\stylecloud
蛋肥想法： 借助selenium，实现对“查看更多”的自动点击，目标是获取2020年的文章相关数据。
蛋肥想法： 36氪的数据很满足强迫症，没有空格换行，只需筛选出2020年的数据保存。
蛋肥想法： 此次重点是学习selenium，所以只简单做一下数据可视化。
python爬虫是干嘛的
爬虫技术是一种自动化程序。
爬虫就是一种可以从网页上抓取数据信息并保存的自动化程序，它的原理就是模拟浏览器发送网络请求，接受请求响应，然后按照一定的规则自动抓取互联网数据。
搜索引擎通过这些爬虫从一个网站爬到另一个网站，跟踪网页中的链接，访问更多的网页，这个过程称为爬行，这些新的网址会被存入数据库等待搜索。简而言之，爬虫就是通过不间断地访问互联网，然后从中获取你指定的信息并返回给你。而我们的互联网上，随时都有无数的爬虫在爬取数据，并返回给使用者。
爬虫技术的功能
1、获取网页
获取网页可以简单理解为向网页的服务器发送网络请求，然后服务器返回给我们网页的源代码，其中通信的底层原理较为复杂，而Python给我们封装好了urllib库和requests库等，这些库可以让我们非常简单的发送各种形式的请求。
2、提取信息
获取到的网页源码内包含了很多信息，想要进提取到我们需要的信息，则需要对源码还要做进一步筛选。可以选用python中的re库即通过正则匹配的形式去提取信息，也可以采用BeautifulSoup库（bs4）等解析源代码，除了有自动编码的优势之外，bs4库还可以结构化输出源代码信息，更易于理解与使用。
3、保存数据
提取到我们需要的有用信息后，需要在Python中把它们保存下来。可以使用通过内置函数open保存为文本数据，也可以用第三方库保存为其它形式的数据，例如可以通过pandas库保存为常见的xlsx数据，如果有图片等非结构化数据还可以通过pymongo库保存至非结构化数据库中。
python 怎么爬取app端数据
可以，但是不提倡这种行为 1，在手机上设置代理，代理到你的电脑上 2，再在电脑上用tcpdump或者其他图形化的抓包工具获得数据包，分析这些数据包找到你要的数据 3，根据前两步的结果，写代码模拟app的操作获得你需要的数据
python爬虫---爬取LOL云顶之弈数据
本来是想爬取之后作最佳羁绊组合推算，但是遇到知识点无法消化（知识图谱），所以暂时先不组合了，实力有限
库的安装
1.requests? #爬取棋子数据
2.json? #棋子数据为js动态，需使用json解析
3.BeautifulSoup
实战前先新建个lol文件夹作为工作目录，并创建子目录data，用于存放数据。
1.爬取数据，新建个py文件，用于爬取云顶数据，命名为data.py
1.1定义个req函数，方便读取。//需设定编码格式，否则会出现乱码
def Re_data(url):
re = requests.get(url)
re.encoding = 'gbk'
data = json.loads(re.text)
return data['data']
1.2定义个Get函数，用于读取数据并使用保存函数进行保存数据，保存格式为json。
def Get_data():
# 获取数据并保存至data目录
base_url = ''
chess = Re_data(base_url + 'chess.js')
race = Re_data(base_url + 'race.js')
job = Re_data(base_url + 'job.js')
equip = Re_data(base_url + 'equip.js')
Save_data(chess,race,job,equip)
1.3定义save函数实现读取的数据进行文件保存，保存目录为工作目录下的data文件夹。
def Save_data(t_chess,t_race,t_job,t_equip):
with open('./data/chess.json','w') as f:
json.dump(t_chess,f,indent='\t')
with open('./data/race.json','w') as f:
json.dump(t_race,f,indent='\t')
with open('./data/job.json','w') as f:
json.dump(t_job,f,indent='\t')
with open('./data/equip.json','w') as f:
json.dump(t_equip,f,indent='\t')
1.4定义主函数main跑起来
if __name__ == '__main__':
start = time.time()
Get_data()
print('运行时间：' + str(time.time() - start) + '秒')
至此，数据爬取完成。
2.种族和职业进行组合。
2.1未完成 //未完成，使用穷举方法进行组合会出现内存不够导致组合失败（for循环嵌套导致数组内存超限）
//待学习，使用知识图谱建立组合优选，可参考：
期间遇到的问题：
1.爬取棋子数据时为动态js加载，需通过json模块的loads方法获取
2.3层for循环嵌套数据量大，导致计算失败，需优化计算方法。