爬虫接单平台安全吗(爬虫接单一个月能赚多少)

记者调查：网络平台暗藏隐私数据交易 信息安全领域亟待“扫黑”

“尽量打语音，不要发文字！”

“可以放心，咱们是长期合作，数据都是真实的。”

“**宝付款，到时发你邮箱。”

被公开售卖的隐私数据

灰色交易藏匿于贴吧、淘宝等网络平台

联系中介卖房，隔天就有贷款公司问你需不需要借贷；每年车险快到期，就莫名其妙接到各种保险公司的推销电话……是哪个环节出现了问题？

在百度贴吧上，一些个人隐私数据、行业数据被公开叫买叫卖。

“全国企业内部员工通讯录，真实可测”“大众点评商铺数据，量大3000万”“收影视手机数据，支持测试的来”“收微博原始数据”……

灰色数据交易藏匿于百度贴吧、淘宝、闲鱼等平台。

卖家说，车险数据来自不同的平台，当天下单要第二天才能发，需要进行数据筛选，“如果单一个保险公司，搞不了那么多，一个公司没那么强大。”

交谈过程中，卖家提醒“尽量打语音，不要发文字”。

爬虫是一种快速自动抓取网络公开信息的辅助工具，例如我们使用的搜索引擎都用到了爬虫技术。

北京某 科技 公司技术总监刘刚指出，爬虫能获取的信息其实是有限的，且多数是公开的。但通过撞库、诱导、群发、钓鱼手段获取大数据信息行为，已非单纯的通过爬虫技术获取信息，应归纳到黑客、木马程序窃取的范畴。

行业互换成监管难点

越来越多的数据泄漏发生在企业内部

事实上，随着公民对个人信息保护意识的不断增强，以及监管体系的不断完善，一些灰色交易正在浮出水面。

据媒体报道，浙江省通信管理局在7月5日对投诉人的答复函中核实，2019年11月11日，阿里云计算有限公司未经用户同意擅自将用户留存的注册信息泄露给第三方合作公司，该行为违反了《中华人民共和国网络安全法》第四十二条规定。

当前对于大型企业，特别是互联网大厂，数据安全被视为“生命线”，一旦出现数据安全事故，其后果将是难以承受的。《网络安全法》第21条明确规定了“国家实行网络安全等级保护（“等保”）制度，要求网络运营者应当按照网络安全等级保护制度要求，履行安全保护义务。”业内人士表示，一般大中型企业都会通过“等保”全面提升数据安全防护能力。

但是，“防止数据泄漏和数据合规运营是当前大多数企业面临的难点。”360集团大数据协同安全技术国家工程实验室咨询总监童磊坦言，中大型企业在完成数字化转型过程中基本具备网络安全基础防护能力，成熟度较高企业普遍实施传统数据安全方案，但对于隐私数据企业则普遍没有专门实施单独的安全管控，部分出海企业会针对出海业务实施GDPR隐私合规方案。

“越来越多的数据泄漏发生在企业内部。”童磊说，一方面，随着数据价值的提升，数据全生命周期流转往往涉及多个部门和多个系统，而相应的访问控制与权限管理很难兼顾安全与业务两方面诉求，诉求差异以及统一安全运营控制的缺失往往导致数据泄漏事件的发生。

另一方面，在数据成为新型生产要素的背景下，数据载体分布广，海量数据汇聚、流通、分析和共享，导致很多企业都不了解自己的数据，不能够清楚地知道敏感数据的具体分布，数据资产不清晰也为数据安全管控和保护策略的实施带来了困难。

“数据安全是相对的，很难做到绝对安全。”在刘刚看来，在一些面向C端服务的行业，如房产中介、保险金融等，基层网点多，人员流动大，而且能够直接触及到客户信息。这些特点使得数据“行业互换”等违法行为更加分散、隐蔽，一些企业在监管方面的“鞭长莫及”“默不作声”一定程度上助长了这种灰色交易。

刘刚认为，平台方应主动加强自身监管，落实内外风险管控、提升信息保护等级。另一方面，建议加大对个人泄露隐私的处罚力度。

目前，一些机构、企业也 探索 通过技术手段实现数据“可用不可见、可用不可取”。例如通过隐私计算技术，在不共享明文数据、保障数据安全和用户隐私的前提下，实现多方数据协同，联通数据孤岛，可以有效打击数据黑产。

数据安全顶层设计逐步到位

扎紧“数据灰产”牢笼仍需各方合力

在保护数据安全方面，即将实施的《数据安全法》规定了关键信息基础设施的运营者、从事数据交易中介服务的机构、国家机关等数据处理者均负有数据安全保护的义务。第四十四条至第五十二条还详细规定了违反相应义务时各主体应当承担的责任。肖飒表示，这有利于在发生违规违法事件后厘清各主体的法律责任。

“作为重要生产要素，数据对经济发展的价值需要被进一步重视。”中国电子技术标准化研究院网络安全研究中心数据安全部主任胡影认为，《数据安全法》的一大特点在于兼顾统筹数据安全与发展：一方面厘清隐私保护、数据安全链条中各主体的法律责任；另一方面也鼓励数据的合法开发利用，保障数据依法自由有序流动。

随着《网络安全法》《数据安全法》《个人信息保护法》的逐步到位，数据安全和隐私保护的监管力度正在不断加大。业内人士认为，顶层设计正在逐步到位，但要扎紧“数据灰产”牢笼，仍需行政监管、市场约束、行业自律、 社会 监督等各方合力。

“从监管动向来看，电商、外卖、快递、打车、连锁酒店、求职招聘等行业，获取的信息不仅涉及到用户隐私安全，还有可能涉及国家安全。”刘刚认为，大公司所获取的数据，往往更具有价值，加强企业对个人信息规范管理的同时，应推动建立统一的管理系统，以保证数据使用安全、合法、可追溯。

据中国信通院云计算与大数据研究所副所长魏凯介绍，信通院已牵头制定《数据安全治理能力评估方法》，编制发布《数据安全治理实践指南》，推出国内首个数据安全治理能力评估（DSG评估）服务，为企业建设、度量、改进自身数据安全治理体系提供方法论和操作指南，引导企业从战略、技术和制度等角度全面提升安全能力和合规水平。截止目前，已有20多家头部企业积极开展贯标工作。

“对于信息安全行业而言，应该积极 探索 如何平衡地利用数据，既要保护个人隐私、保护单点数据，又要进一步放大数据价值，真正实现数据全流程安全，确保数据可用不可见、可用不可取，进而发挥更大的政企数据赋能作用。”安恒信息董事长范渊说。

（文中林峰、刘刚均为化名。实习生许愿对此文亦有贡献。）

数据爬虫的是与非：技术中立但恶意爬取频发，侵权边界在哪？

从新浪微博诉脉脉不正当获取用户数据案，到领英与hiQ Labs的数据之争……相关司法案例的不断出现，让数据爬取问题成为关切。

10月23日，长三角数据合规论坛(第三期)暨数据爬虫的法律规制研讨会在上海举行。围绕爬虫技术对数字产业影响、爬取他人数据的法律边界及规制等话题，多位法律专家、司法工作者和企业代表展开了研讨。

大数据时代，随着数据价值凸显，数据爬虫的应用日益广泛。多位专家在会上提到，爬虫技术本身是中立的，但爬虫技术的应用往往带有目的，需要考量抓取行为及数据使用是否具有正当性。

“凶猛”的网络爬虫，增加网站运营负担

从技术角度看，爬虫是通过程序模拟人们上网浏览网页或使用App行为，从而高效抓取网络信息的过程。对于这项技术，并非所有人都欢迎。

欧莱雅中国数字化负责人刘煜晨在研讨会上表示，大多数网站拒绝爬虫访问，既有商业利益考量，也出于自身网站运营安全考虑。爬虫自动持续且高频地访问，会导致网站服务器负载飙升，使得一些中小平台面临网站打不开、网页加载缓慢，甚至直接瘫痪的风险。因此，“网站经营者面对‘凶猛’的网络爬虫时往往苦不堪言。”

虽然网站可以采取相应策略或技术手段，防止被爬取数据，但爬虫者也有更多技术手段来反制，即所谓的反反爬策略。据刘煜晨介绍，反爬和爬取技术一直在迭代更新——爬取不是问题，关键在于愿不愿意爬和多难爬。通常，越是大厂的App或者网站越难爬，其反爬机制较多。

小红书法务负责人曾翔观察发现，恶意爬虫案例经常发生在内容平台和电商平台。在内容上更多被爬取视频、图片、文字、用户行为数据等，在电商领域更多被爬取商家信息和商品信息。

“一般而言，内容平台会约定相关内容的知识产权应当归发布者或发布者与平台共同所有。未经同意爬取的，涉嫌侵犯知识产权。”曾翔表示，平台通过投入激发创作者的创造力，如果有人利用爬虫技术很轻易地获取内容，并进行抄袭、改编，这损害平台利益。

提及网络爬虫，Robots协议是绕不开的话题——它的全称是“网络爬虫排除标准”，网站通过Robots协议明确警示搜索引擎哪些页面可以爬取，哪些页面不能爬取。该协议也被行业称为搜索领域的“君子协定”。

上海浦东法院知识产权庭法官徐弘韬这样形容：爬虫就是一个访客，Robots协议是房门上悬挂的请勿入门的告示牌。谦谦君子走近门前看到这个告示牌，会停下脚步，但不法之徒仍可能破门而入。

梳理相关判例，徐弘韬指出，Robots协议是互联网行业普遍遵循的规则，如果搜索引擎违反Robots协议抓取网站内容，可能会被认定为违背商业道德，构成不正当竞争。但Robots协议解决前置性问题，即抓取行为是否得当，而不解决抓取之后数据使用是否得当的问题。

他进一步分析，法院在个案件判决中倾向于认为爬虫技术是具有中立属性，并尊重网站对于Robots协议设置方式。如果爬取者违背Robots协议进行强行抓取，在正当性评判上可能给予一定的负面评价。此外Robots协议和行为正当性有关联，但不是唯一对立性——即使符合Robots协议抓取，也可能因为后期使用行为被判定为不正当性。

值得一提的是，网络爬虫者对爬取行为进行抗辩时，经常将Robots协议限制爬取与数据流转联系起来。

徐弘韬认为，在“互联互通”的语境下，“有序”和“流转”同等重要。这需要把握“互联互通”与数据共享之间的度的问题，同时考虑各互联网产业经营者采取的Robots协议策略是否可能导致数据孤岛局面的出现。

判别爬虫行为正当性，需考虑多重因素

研讨会上，华东政法大学教授张勇对数据爬虫的危害行为进行了分类。

他称从数据类型上来看，数据爬取可能侵犯到的权益包括计算机系统安全、个人信息、版权、国家秘密、商业秘密、市场竞争秩序等；从爬取方式来看，数据爬取可能危害到计算机信息系统安全、非法获取公民个人信息、非法获取商业秘密、破坏版权技术保护措施等；从爬取结果来看，则存在不正当竞争类、侵犯著作权类、侵犯人格权类等问题。

当数据成为一种生产要素，数据抓取技术应用场景日益广泛，随着而来的争议纠纷也不断增多。如何判别爬虫行为的正当性，从已有的判例中或能找到一些答案。

今年9月14日，杭州互联网法院公布一起爬取微信公众号平台数据的不正当竞争案件，判决被告停止数据抓取行为，并赔偿微信损失60万元。

法院审理认为，被告违背诚实信用原则，擅自使用原告征得用户同意、依法汇集且具有商业价值的数据，并足以实质性替代其他经营者提供的部分产品或服务，损害公平竞争的市场秩序，构成不正当竞争。

在本案中，法院还从“三元目标叠加”的角度分析了爬取行为是否具有正当性。

徐弘韬以此为例提到，对于非搜索引擎爬虫的正当性判别，主要看被告是否尊重被抓取网站预设的Robots协议、是否破坏被抓取网站的技术措施、是否足以保障用户数据的安全性，以及衡量创造性与公共利益。

他指出，如果以危害用户数据安全性为代价抓取数据，且爬虫技术应用无法创造新的优质资源，仅仅是加重他人服务器负担，那么很可能在行为正当性上被给予负面评价。

爬虫技术应用合法性引争议 保障数据安全亟待规制非法爬取数据行为

来源:法治日报——法制网

核心阅读

在大数据时代的背景下，愈来愈多的市场主体投入巨资收集、整理和挖掘信息。如果任由网络爬虫任意使用他人通过巨大投入获取的数据资源，将不利于鼓励商业投入、产业创新和诚实经营，甚至可能直接违背了数据来源用户的意愿和知情权，最终势必损害 健康 的竞争机制。

随着 社会 经济的快速发展，数据的价值日益凸显，已然成为企业 科技 创新的必备要素。但企业通过技术手段获取数据时，数据抓取技术的应用行为是否合理合法，是一个值得深思的问题。

近年来，网络爬虫“爬取数据”成为热词，相关司法案例不断出现。据不完全统计，近些年涉及网络爬虫的司法案件达十余起，其中既包括民事案件，还包括刑事案件。这类案例甚至还有愈演愈烈之势。

在近日于上海举行的长三角数据合规论坛(第三期)暨数据爬虫的法律规制研讨会上，上海市人民检察院研究室副主任陈超然透露，检察机关正在积极推动企业合规改革试点工作，数据合规正是其中重点。“目前爬虫爬取数据案件非常普遍，当网络平台或者个人通过技术手段抓取别的平台数据时，这种行为是否合法，平台数据主体是谁，归谁使用，值得深入研讨。”

杭州长三角大数据研究院副院长郭兵认为，数据爬虫作为中立性的技术，已在互联网产业领域得到广泛应用。需要注意的是，如果爬虫技术不当应用，会对其他竞争者的合法权益造成损害，甚至涉嫌违法或者犯罪，也将对产业的 健康 发展产生非常大的负面影响。

从技术角度看，爬虫是通过程序去模拟人类上网或者浏览网页、App行为，让其高效地在网上抓取爬虫制造者所需要的信息。

欧莱雅中国数字化负责人刘煜晨说，大多数网站拒绝爬虫访问，其中的原因既包括商业利益考量，也包括自身网站运营安全的考量。除了爬虫可能爬到网站不愿被爬取的数据以外，网站经营者往往还会担心爬虫干扰网站正常运营。

而非正规爬虫自动持续且高频地对被爬取方进行访问，服务器负载飙升，也会给服务器带来“难以承受”之重：应对经验不足的网站，尤其是中小网站可能会面临网站打不开、网页加载极其缓慢、有时甚至直接瘫痪的情况。

新浪集团诉讼总监张喆说，无论是爬虫还是实现其他目的的技术，就其本身而言，都是中立的，但爬虫技术的应用不是中立的，技术应用都带有应用者的目的。这时候不应该评价技术原理，而是需要评价技术用来干什么，这一行为手段是否具有正当性。

提及网络爬虫，robots协议是绕不开的话题。robots协议（也称爬虫协议）的全称是“网络爬虫排除标准”，网站通过robots协议明确警示搜索引擎哪些页面可以爬取，哪些页面不能爬取。该协议也被行业称为搜索领域的“君子协定”。

刘煜晨说，当网络爬虫访问一个网站，robots协议像立在自己房间门口的一个牌子，告诉外来者谁可以过来，谁不可以过来。但是，这只是一个君子协议，只能起到告示作用，起不到技术防范作用。

实践中，恶意爬虫爬取时不遵守网站的robots协议，并可能爬取到不该爬的数据，这种情形并非孤例。小红书法务负责人曾翔说，恶意爬虫案例经常发生在内容平台和电商平台。在内容上被爬取的更多是视频、图片、文字、网红互动数据、用户行为等，在电商领域则多为商家信息和商品信息。

“内容平台一般约定了相关内容知识产权归发布者或者发布者和平台共同所有，这些爬虫没有签订协议就获得用户授权，涉嫌对知识产权人权利的侵犯。”曾翔说。

或应明确网站权利

这就涉及到数据的权属及是否能开放的问题。

上海市浦东区人民法院知识产权庭法官徐弘韬认为，数据是内容产业的核心竞争资源，内容平台经过汇总分析处理后的数据往往具有极高的经济价值。

“如果要求内容平台经营者将其核心竞争资源向竞争对手无限开放，不仅有违‘互联互通’精神的实质，也不利于优质内容的不断更迭和互联网产业的持续发展。”徐弘韬说。

恶意爬虫爬取数据案件频发的背后，是数据的价值增加，以数据为核心的市场竞争愈发激烈。

华东政法大学教授高富平说，进入大数据时代，数据价值再次凸显，现在的爬虫技术已经从原来的网页爬虫进入到底层数据的爬取。数据爬虫问题会变得越来越严重。

在大数据时代的背景下，愈来愈多的市场主体投入巨资收集、整理和挖掘信息，业内人士对此表示担忧：如果任由网络爬虫任意使用或利用他人通过巨大投入所获取的数据资源，将不利于鼓励商业投入、产业创新和诚实经营，甚至可能直接违背了数据来源用户的意愿和知情权，最终势必损害 健康 的竞争机制。

高富平认为，如果网站合法积累数据资源，那么这些数据资源就应该属于网站的资产。“允许数据生产者、控制者基于商业目的开放数据是有好处的，通过许可使用、交换交易等方式，可以让更多人享用数据服务。期待在未来确认数据所有合法生产者对数据的控制权、使用权。”

有序流转同等重要

目前，网站虽然可以去指定相应策略或技术手段，防止爬虫抓取数据，但爬虫也有更多技术手段来反制这种反爬策略。

刘煜晨说，反爬和爬取的技术一直在迭代，在技术领域，没有爬不了的网站和App，只有愿不愿意爬和多难爬的问题。

据了解，现实中恶意网络爬虫制造者抗辩时，往往将robots协议限制爬取与数据流转联系起来。徐弘韬认为，在“互联互通”的语境下，“有序”和“流转”同等重要、缺一不可，需排除假借“互联互通”妨碍公平竞争、危害用户数据安全的行为。

“对于非搜索引擎爬虫的正当性判别，要考虑是否足以保障用户数据的安全性。包括身份数据、行为数据等在内的用户数据，从属性来讲不仅仅是经营者的竞争资源，同样具有用户的个人隐私属性，而此类数据的集合更涉及 社会 公共利益。”徐弘韬说。

据了解，近年来有关数据安全的法律规范正在不断完善中。数据安全法作为数据安全的基本法，承载着解决我国数据安全核心制度框架的重要任务。此外，还有2019年通过的密码法，工信部拟出台《工业和信息领域数据安全管理办法（试行）》等，一些地方如深圳、上海等也在 探索 制定数据管理相关规范。

如何应对网络爬虫带来的安全风险

我们的网站上或多或少存在一些页面涉及到网站的敏感信息不希望在搜索引擎上公开；还有一些页面是根本没必要被搜索引擎收录的：比如网站的管理后台入口。对于SEOER而言有一些页面如果被收录后反而会影响关键词着陆页的排名，或者降低了着陆页的转化率，比如电子商务网站的商品评论页。那么我们通过什么样的方法可以限制搜索引擎收录此类页面呢？

1994年6月30日，在经过搜索引擎人员以及被搜索引擎抓取的网站站长共同讨论后，正式发布了一份行业规范，即robots.txt协议。这个协议既非法律，也非命令，而是一个自律性的契约，需要各种搜索引擎自觉去遵守这个协议。这个协议告诉搜索引擎哪些页面可以抓取，哪些页面不能抓取。

当一个网络爬虫访问一个站点时它会首先检查该站点根目录下是否存在robots.txt；如果没有对网站的robots协议进行设置，则爬虫会尽可能的收录所有能够访问到的页面，而如果存在该robots协议文件，爬虫则会遵守该协议，忽略那些不希望被抓取的页面链接，下面我们以为例：

User-agent: Googlebot

Disallow: /baidu

Disallow: /s?

Disallow: /shifen/

Disallow: /homepage/

Disallow: /cpro

百度是不希望谷歌搜索引擎的Googlebot爬虫收录/baidu 、/shifen 、/homepage/ 、/cpro 目录下以及所有/s开头的搜索结果页面的。

User-agent:表示爬虫的名字

Allow:表示允许爬虫访问的页面

Disallow:是指禁止爬虫访问的页面

Visit-time:只有在visit-time指定的时间段里,robot才可以访问指定的URL

Request-rate: 用来限制URL的读取频率

除了上述robots.txt文件之外，我们还可以针对每一个页面，在网页的原信息中设置该页面是否允许被收录：

noindex: 不索引此网页

nofollow:不通过此网页的链接索引搜索其它的网页

none: 将忽略此网页，等价于“noindex，nofollow”

index: 索引此网页

follow:通过此网页的链接索引搜索其它的网页

all: 搜索引擎将索引此网页与继续通过此网页的链接索引，等价于index，follow。

举例 〈meta name= “ Baiduspider ” content= “ none" /〉 是不允许百度蜘蛛索引该页面，并且不允许爬行该页面中的所有链接。

还有一种方法，就是在超级链接的rel属性中填写“nofollow”,形如 〈a rel=”nofollow” href=”*”〉 超级链接 〈/a〉 ，表示搜索引擎不要跟踪链接。

但是所有上述方法都是基于Robot的自律性协议，并非强制执行的法律法规。如果遇到不遵守该协议的网络爬虫疯狂的抓取网站页面并对网站性能产生了严重影响，更为有效的方使用入侵检测系统（IDS）入侵防护系统（ IPS ）网络设备。

网络爬虫软件安全吗

网络的爬虫软件一般都不是特别的安全，除非是经过认证后的程序。

至尊宝属于爬虫软件吗安全吗

至尊宝不属于爬虫软件，很安全。至尊保全面禁止易被盗号者利用的网页改密、申诉、改密保手机。APP作为唯一安全便捷的敏感操作入口，安全由自己掌控。