python爬虫心得体会3000字(python爬虫心得1000字)

Python瞎老弟的爬虫心得之requests篇②requests基本使用

上一期已经成功安装了requests模块，并简单的使用了requests，本期，我们将详细介绍requests模块

直接使用requests.get()方法即可

其中内容将通过requests.text查看

将get()方法，改为post()即可

其中需要提交的内容，通过data参数传入

url参数，也即跟在地址后的?后的一串内容

我们可以直察埋接通过url地址将其构造出来

也可以通过params参数，传入一个字典使用

可以看出，地址同样被自动构造为

这是一种更加容易的传入参数的方法，可以不需要使用

我们得到了一个对象r，这是一个requests.models.Response对象

使用档烂r.text可以得到响应内容

其中解码方式是requests自行猜测的，它会把猜测的结果保存在r.encoding中

使用r.encoding可以得到或者改变编码方式

如果使用r.text得到的内容不正确，可以手动修改r.encoding，然后再使用r.text输出内容

如果不知道正确的编码，可能有人会建议你使用chardet模块来进行编码的测试(该模块需要使用pip安装，目前版本也会随安装requests附带)

使用方法：

事实上，现在的requests已经使用了chardet模块，但你仍然可以将行没漏chardet用于其他时候使用

使用r.content可以得到二进制的响应内容

使用r.json()可以得到json的响应内容

给headers参数传入一个字典即可

如同之前你预想的那样，user-agent会被修改为lsp

通过r.status_code可以查看状态码

通过r.headers可以查看响应头

通过r.raise_for_status()可以在状态码为不正常的时候抛出异常

在请求中添加timeout参数，即可让你的程序在指定的时间内没有得到响应就抛出异常

通过r.url可以查看到请求地址

通过r.history可以查看到重定向

通过修改allow_redirects参数为False可以禁止重定向

例如禁止github进行重定向

如何学习Python总结之谈

学习python主要是自学或者报班学习的方式，但不建议自学。

如果想通过学习python改行，那就需闷睁兆要明确一下自己的方向。因为python编程有很多方向，有网络爬虫、数据分析、Web开发、测试开发、运维开发、机器学习、人工智能、量化交易等等，各个方向都有特定早激的技能要求。

想学的话，当然是可以学习的。python是一门语法优美的编程语言，不仅可以作为小工具使用提升我们日常工作效率，也可以单独作为一项高新就业技能！

python可以做的事情：

软件开发：用python做软件是很多人正在从事的工作，不管是蚂租B/S软件，还是C/S软件，都能做。并且需求量还是挺大的；

数据挖掘：python可以制作出色的爬虫工具来进行数据挖掘，而在很多的网络公司中数据挖掘的岗位也不少；

游戏开发：python扩展性很好，拥有游戏开发的库，而且游戏开发绝对是暴力职业；

大数据分析：如今是大数据的时代，用python做大数据也是可以的，大数据分析工程师也是炙手可热的职位；

全栈工程师：如今程序员都在向着全栈的方向发展，而学习python更具备这方面的优势；

系统运维：python在很多linux中都支持，而且语法特点很向shell脚本，学完python做个系统运维也是很不错的。

互联网行业目前还是最热门的行业之一，学习IT技能之后足够优秀是有机会进入腾讯、阿里、网易等互联网大厂高薪就业的，发展前景非常好，普通人也可以学习。

想要系统学习，你可以考察对比一下开设有相关专业的热门学校，好的学校拥有根据当下企业需求自主研发课程的能力，能够在校期间取得大专或本科学历，中博软件学院、南京课工场、南京北大青鸟等开设相关专业的学校都是不错的，建议实地考察对比一下。

祝你学有所成，望采纳。

请点击输入图片描述

简述第一文《为什么选择爬虫，选择python》

1 为什么选择爬虫？要想论述这个问题，需要从网络爬虫是什么？学习爬虫的原因是什么？怎样学习爬虫来理清自己学习的目的，这样才能更好地去研究爬虫技术并坚持下来。

1.1 什么是爬虫：爬虫通常指的是网络爬虫，就是一种按照一定的规则，自动地抓取万维网信息的程序或者脚本。一般是根据定义的行为自动进行抓取，更智能的爬虫会自动分析目标网站结构。它还有一些不常使用的名字。如：网络蜘蛛（Web spider）、蚂蚁（ant）、自动检索工具（automatic indexer）、网络疾走（WEB scutter）、网络机器人等。

1.2 学习爬虫的原因：

1.2.1学习爬虫是一件很有趣的事。我曾利用爬虫抓过许多感兴趣东西，兴趣是最好的老师，感兴趣的东西学的快、记的牢，学后有成就感。

@学习爬虫，可以私人订制一个凳掘搜索引擎，并且可以对搜索引擎的数据采集工作原理进行更深层次地理解。有的朋友希型皮望能够深层次地了解搜索引擎的爬虫工作原理，或者希望自己能够开发出一款私人搜索引擎，那么此时，学习爬虫是非常有必要的。简单来说，我们学会了爬虫编写之后，就可以利用爬虫自动地采集互联网中的信息，采集回来后进行相应的存储或处理，在需要检索某些信息的时候，只需在采集回来的信息中进行检索，即实现了私人的搜索引擎。当然，信息怎么爬取、怎么存储、怎么进行分词、怎么进行相关性计算等，都是需要我们进行设计的，爬虫技术主要解决信息爬取的问题。

@学习爬虫可以获取更多的数据源。这些数据源可以按我们的目的进行采集，去掉很多无关数据。在进行大数据分析或者进行数据挖掘的时候，数据源可以从某些提供数据统计的网站获得，也可以从某些文献或内部资料中获得，但是这些获得数据的方式，有时很难满足我们对数据的需求，而手动从互联网中去寻找这些数据，则耗费的精力过大。此时就可以利用爬虫技术，自动地从互联网中获取我们感兴趣的数据内容，并将这些数据内容爬取回来，作为我们的数据源，从而进行更深层次的数据分析，并获得更多有价值卜粗差的信息。

@对于很多SEO从业者来说，学习爬虫，可以更深层次地理解搜索引擎爬虫的工作原理，从而可以更好地进行搜索引擎优化。既然是搜索引擎优化，那么就必须要对搜索引擎的工作原理非常清楚，同时也需要掌握搜索引擎爬虫的工作原理，这样在进行搜索引擎优化时，才能知己知彼，百战不殆。

@学习爬虫更有钱景。爬虫工程师是当前紧缺人才，并且薪资待遇普遍较高，所以，深层次地掌握这门技术，对于就业来说，是非常有利的。有些朋友学习爬虫可能为了就业或者跳槽。从这个角度来说，爬虫工程师方向也是不错的选择之一，因为目前爬虫工程师的需求越来越大，而能够胜任这方面岗位的人员较少，所以属于一个比较紧缺的职业方向，并且随着大数据时代的来临，爬虫技术的应用将越来越广泛，在未来会拥有很好的发展空间。

除了以上为大家总结的4种常见的学习爬虫的原因外，可能你还有一些其他学习爬虫的原因，总之，不管是什么原因，理清自己学习的目的，就可以更好地去研究一门知识技术，并坚持下来。

1.3 怎样学习爬虫：

1.3.1 选择一门编程语言。入门爬虫的前提肯定是需要学习一门编程语言，推荐使用Python 。2018年5月Python已排名第一，列为最受欢迎的语言。很多人将 Python 和爬虫绑在一起，相比 Java , Php , Node 等静态编程语言来说，Python 内部的爬虫库更加丰富，提供了更多访问网页的 API。写一个爬虫不需要几十行，只需要 十几行就能搞定。尤其是现在反爬虫日渐严峻的情况下，如何伪装自己的爬虫尤为重要，例如 UA , Cookie , Ip 等等，Python 库对其的封装非常和谐，为此可以减少大部分代码量。

1.3.2 学习爬虫需要掌握的知识点。http相关知识,浏览器拦截、抓包；python的scrapy 、requests、BeautifulSoap等第三方库的安装、使用，编码知识、bytes 和str类型转换，抓取javascript 动态生成的内容，模拟post、get，header等，cookie处理、登录，代理访问，多线程访问、asyncio 异步，正则表达式、xpath,分布式爬虫开发等。

1.3.3 学习爬虫的基本方法。 ?理清楚爬虫所需的知识体系，然后各个击破；推荐先买一本有一定知名度的书便于系统的学习爬虫的知识体系。刚开始学的时候，建议从基础库开始，有一定理解之后，才用框架爬取，因为框架也是用基础搭建的，只不过集成了很多成熟的模块，提高了抓取的效率，完善了功能。多实战练习和总结实战练习，多总结对方网站的搭建技术、网站的反爬机制，该类型网站的解析方法，破解对方网站的反爬技巧等。

2 为什么选择Python?

百度知道在这方面介绍的很多了，相比其它编程语言，我就简答一下理由：

2.1 python是脚本语言。因为脚本语言与编译语言的开发测试过程不同，可以极大的提高编程效率。作为程序员至少应该掌握一本通用脚本语言，而python是当前最流行的通用脚本语言。与python相似的有ruby、tcl、perl等少数几种，而python被称为脚本语言之王。

2.2 python拥有广泛的社区。可以说，只要你想到的问题，只要你需要使用的第三方库，基本上都是python的接口。

2.3 python开发效率高。同样的任务，大约是java的10倍，c++的10-20倍。

2.4 python在科研上有大量的应用。大数据计算、模拟计算、科学计算都有很多的包。python几乎在每个linux操作系统上都安装有，大部分unix系统也都缺省安装，使用方便。

2.5 python有丰富和强大的独立库。它几乎不依赖第三方软件就可以完成大部分的系统运维和常见的任务开发；python帮助里还有许多例子代码，几乎拿过来略改一下就可以正式使用。

怎么从零开始学习 Python 语言编程

题主你好，前段时间液和我也自学了一次Python。我比较笨，上手大概用了一天，基本的熟练大概用了一个星期。这里给你推荐一个比较好的简单教程：

简明Python教程：

会基本的操作之后，建议你给自己找个事情做，稍微复杂一点的。因为边用边学才最快，别怕。

比如写个爬虫程序。（因为爬虫是Python比较常见的应用）

CSDN专栏Python爬虫入门：

一个我自己用到的爬虫心得：

如果不想写爬虫，可以写个小软件，然后自己写个界面。这一点Python也是挺方便的。写界面的话，建议使用wxPython。因为这个有一个图形化的界面设计软件wxFormBuilder，可以直接给你写出框架的代码。

wxFormbuilder教程碧埋埋：

差不多就这些吧。哦对了，给你一个wxPython的文档连接，很多命令的详细用法可以查悔蚂询。

还有著名的StackOverFlow，如果你英文够好的话。可以在上面查询到各种各样的bug/解决不了的问题，我们沿着前人淌出来的路就行了;-)

祝你码得愉快:)

Python爬取知乎与我所理解的爬虫与反爬虫

关于知乎验证码登陆的问题，用到了Python上一个重要的图片处理库PIL,如果不行，就把图片存到本地，手动输入。

通过对知乎登陆是的抓包，可以发现登陆知乎，需要post三个参数，一个是账号，一个是密码，一个是xrsf。

这个xrsf隐藏在表单里面，每次登陆的时候，应该是服务器随机产生一个字符串。所有，要模拟登陆的时候，必须要拿到xrsf。

用chrome （或者火狐 httpfox 抓包分析）的结果：

所以，必须要拿到xsrf的数值，注意这是一个动态变化的参数，每次都不一样。

拿到xsrf，下面就可以模拟登陆了。

使用requests库的session对象，建立一个会话的好处是，可以把同一个用户的不同请求联系起来，直到会话结束都会自动处理cookies。

注意：cookies 是当前目录的一个文件，这个文件保存了知乎的cookie，如果是第一个登陆，那么当然是没有这个文件的，不能通过cookie文件来登陆。必须要输入密码。

这是登陆的函数，通过login函数来登陆，post 自己的账号，密码和xrsf 到知乎登陆认证的页面上去，然后得到cookie，将cookie保存到当前目录下的文件里面。下次登陆的时候，直接读取这个cookie文件。

这是cookie文件的内容

以下是源码：

运行结果：

反爬虫最基本的策略：

爬虫策略：

这两个都是在http协议的报文段的检查，同样爬虫端可以很方便的设置这些字段的值，来欺骗服务器。

反爬虫进阶策略：

1.像知乎一样，在登录的表单里面放入一个隐藏字段，里面会有一个随机数，每次都不一样，这样除非你的爬虫脚本能够解析这个随机数，否则下次爬的时候就不行了。

2.记录访问的和明ip，统计访问次数，如果次数太高，可以认为这个ip有问题。

爬虫进阶策略：

1.像这篇文章提到的，爬虫也可以先解析一下隐藏字段的值，然后再进行模拟登录。

2.爬虫可以使用ip代理池的方式，来避免被发现。同时，也可以爬一会休息一会的方式来降低频率。另外，服务器根据ip访问次数来进行反爬，再ipv6没有全面普及的时代，这个策略会很容易造成误伤。（这个是我个人丛卖的理解）。

通过Cookie限制进行反爬虫渗棚逗：

和Headers校验的反爬虫机制类似，当用户向目标网站发送请求时，会再请求数据中携带Cookie，网站通过校验请求信息是否存在Cookie，以及校验Cookie的值来判定发起访问请求的到底是真实的用户还是爬虫，第一次打开网页会生成一个随机cookie，如果再次打开网页这个Cookie不存在，那么再次设置，第三次打开仍然不存在，这就非常有可能是爬虫在工作了。

反爬虫进进阶策略：

1.数据投毒，服务器在自己的页面上放置很多隐藏的url，这些url存在于html文件文件里面，但是通过css或者js使他们不会被显示在用户看到的页面上面。（确保用户点击不到）。那么，爬虫在爬取网页的时候，很用可能取访问这个url，服务器可以100%的认为这是爬虫干的，然后可以返回给他一些错误的数据，或者是拒绝响应。

爬虫进进阶策略：

1.各个网站虽然需要反爬虫，但是不能够把百度，谷歌这样的搜索引擎的爬虫给干了（干了的话，你的网站在百度都说搜不到！）。这样爬虫应该就可以冒充是百度的爬虫去爬。（但是ip也许可能被识破，因为你的ip并不是百度的ip）

反爬虫进进进阶策略：

给个验证码，让你输入以后才能登录，登录之后，才能访问。

爬虫进进进阶策略：

图像识别，机器学习，识别验证码。不过这个应该比较难，或者说成本比较高。

参考资料：

廖雪峰的python教程

静觅的python教程

requests库官方文档

segmentfault上面有一个人的关于知乎爬虫的博客，找不到链接了

Python网络爬虫系列1-

英语可以称为坦局spider或者web crawler，是一种用来自动浏览万维网的网络机器人。

简单说:

通过编写程陵租序，模拟浏览器上网，然后去互联网上抓取数据资源的过程让汪让。

互联网包含着各种海量的信息。出于数据分析或产品需求，我们需要从某些网站，提取出我们感兴趣、有价值的内容，我们需要一种能自动获取网页内容并可以按照指定规则提取相应内容的程序，这就是爬虫。

爬虫访问网站的过程会消耗目标系统资源。不少网络系统并不默许爬虫工作。因此在访问大量页面时，爬虫需要考虑到规划、负载，还需要讲“礼貌”。 不愿意被爬虫访问、被爬虫主人知晓的公开站点可以使用robots.txt文件之类的方法避免访问。