爬虫python能做什么(爬虫是违法的么)

python能干什么

Python因语法简洁、上手简单、功能强大特点，广泛应用于网站开发、数据分析、爬虫、自动化运维、人工智能、大数据、游戏开发等领取。

1、做日常任务，比如下载视频、MP3、自动化操作excel、自动发邮件。

2、做网站开发、web应用开发，很多著名的网站像知乎、YouTube就是Python写的。

许多大型网站就是用Python开发的，例YouTube、Instagram，还有国内的豆瓣。很多大公司，包括Google、Yahoo等，甚至NASA（美国航空航天局）都大量地使用Python。

3、做网络游戏的后台，很多在线游戏的后台都是Python开发的。

4、系统网络运维。

python可以干什么

1、Web开发：结合python、html、css、javascript、数据库等开发一个网站。

2、数据科学

数据科学，包括了机器学习，数据分析和数据可视化。

将Python用于机器学习：可以研究人工智能、机器人、语言识别、图像识别、自然语言处理和专家系统等

将Python用于数据分析/可视化：大数据分析等等

3、网络爬虫

网络爬虫又称网络蜘蛛，是指按照某种规则在网络上爬取所需内容的脚本程序。众所周知，每个网页通常包含其他网页的入口，网络爬虫则通过一个网址依次进入其他网址获取所需内容。

在爬虫领域，Python是必不可少的一部分。将网络一切数据作为资源，通过自动化程序进行有针对性的数据采集以及处理。

4、自动化运维

随着技术的进步、业务需求的快速增长，一个运维人员通常要管理上百、上千台服务器，运维工作也变的重复、繁杂。把运维工作自动化，能够把运维人员从服务器的管理中解放出来，让运维工作变得简单、快速、准确。

5、嵌入式应用开发

6、游戏开发

7、桌面应用开发

python爬虫是干嘛的

爬虫技术是一种自动化程序。

爬虫就是一种可以从网页上抓取数据信息并保存的自动化程序，它的原理就是模拟浏览器发送网络请求，接受请求响应，然后按照一定的规则自动抓取互联网数据。

搜索引擎通过这些爬虫从一个网站爬到另一个网站，跟踪网页中的链接，访问更多的网页，这个过程称为爬行，这些新的网址会被存入数据库等待搜索。简而言之，爬虫就是通过不间断地访问互联网，然后从中获取你指定的信息并返回给你。而我们的互联网上，随时都有无数的爬虫在爬取数据，并返回给使用者。

爬虫技术的功能

1、获取网页

获取网页可以简单理解为向网页的服务器发送网络请求，然后服务器返回给我们网页的源代码，其中通信的底层原理较为复杂，而Python给我们封装好了urllib库和requests库等，这些库可以让我们非常简单的发送各种形式的请求。

2、提取信息

获取到的网页源码内包含了很多信息，想要进提取到我们需要的信息，则需要对源码还要做进一步筛选。可以选用python中的re库即通过正则匹配的形式去提取信息，也可以采用BeautifulSoup库（bs4）等解析源代码，除了有自动编码的优势之外，bs4库还可以结构化输出源代码信息，更易于理解与使用。

3、保存数据

提取到我们需要的有用信息后，需要在Python中把它们保存下来。可以使用通过内置函数open保存为文本数据，也可以用第三方库保存为其它形式的数据，例如可以通过pandas库保存为常见的xlsx数据，如果有图片等非结构化数据还可以通过pymongo库保存至非结构化数据库中。