python爬虫接单Q群(python爬虫小项目挣钱兼职)

python爬虫去哪接单

python爬虫接单的方式有两种

一、接定制需求的单子

爬虫定制的需求其实很多，比如 “爬取某某电商网站的评论”，这类需求一般是按照爬取数据量的大小来收费，价格不会太高，正常500的样子。

常见的接单渠道有以下几种：

a） QQ群接单

QQ群接单因为没有中介抽成价格相对高一些，但是也容易出现客户跑路不给尾款的情况。以我多年的接单经验，建议大家写完程序之后留一个小BUG，防止客户不给尾款。

b）?猪八戒、程序员客栈等第三方平台

第三方担保平台，你需要入驻成为他们的技术员，优点是有平台担保，缺点是内卷严重，根本接不到单子。

c） 淘宝店铺

淘宝搜索“python爬虫代做”，联系店铺客服，申请成为他们的技术员。店铺老板会把你拉到技术员群里面，通过群里抢单的方式来接单。优点是单子多，价格也还ok，缺点是一旦出了纠纷，淘宝店铺只会维护客户的利益，有时候甚至出现了单子做完了，不给技术员钱的情况。

二、出售源码

不知道大家有没有发现，近两年IT行业内卷非常的严重，python代做这块也超级内卷，培训机构每年都向社会输出了大量的python工程师，python爬虫这块因为接单门槛很低受到了极大的冲击。

与其低价格去接爬虫的定制需求，还不如直接出售源码，实现薄利多销。比如“基于requests的电商爬虫程序”

这里给大家介绍一个比较靠谱的平台，大家可以百度搜索 “知行编程网”，入驻成为创作者之后，就可以在上面寄售源码

也可以直接访问知行编程网的官方网站

python爬虫怎样赚外快

1）在校大学生。最好是数学或计算机相关专业，编程能力还可以的话，稍微看一下爬虫知识，主要涉及一门语言的爬虫库、html解析、内容存储等，复杂的还需要了解URL排重、模拟登录、验证码识别、多线程、代理、移动端抓取等。由于在校学生的工程经验比较少，建议只接一些少量数据抓取的项目，而不要去接一些监控类的项目、或大规模抓取的项目。慢慢来，步子不要迈太大。

（2）在职人员。如果你本身就是爬虫工程师，接私活很简单。如果你不是，也不要紧。只要是做IT的，稍微学习一下爬虫应该不难。在职人员的优势是熟悉项目开发流程，工程经验丰富，能对一个任务的难度、时间、花费进行合理评估。可以尝试去接一些大规模抓取任务、监控任务、移动端模拟登录并抓取任务等，收益想对可观一些。

渠道：淘宝、熟人介绍、猪八戒、csdn、发源地、QQ群等！

扩展资料：

网络爬虫（又被称为网页蜘蛛，网络机器人，在FOAF社区中间，更经常的称为网页追逐者），是一种按照一定的规则，自动地抓取万维网信息的程序或者脚本。另外一些不常使用的名字还有蚂蚁、自动索引、模拟程序或者蠕虫。

随着网络的迅速发展，万维网成为大量信息的载体，如何有效地提取并利用这些信息成为一个巨大的挑战。搜索引擎(Search Engine)，例如传统的通用搜索引擎AltaVista，Yahoo!和Google等，作为一个辅助人们检索信息的工具成为用户访问万维网的入口和指南。但是，这些通用性搜索引擎也存在着一定的局限性，如：

(1)不同领域、不同背景的用户往往具有不同的检索目的和需求，通用搜索引擎所返回的结果包含大量用户不关心的网页。

(2)通用搜索引擎的目标是尽可能大的网络覆盖率，有限的搜索引擎服务器资源与无限的网络数据资源之间的矛盾将进一步加深。

(3)万维网数据形式的丰富和网络技术的不断发展，图片、数据库、音频、视频多媒体等不同数据大量出现，通用搜索引擎往往对这些信息含量密集且具有一定结构的数据无能为力，不能很好地发现和获取。

(4)通用搜索引擎大多提供基于关键字的检索，难以支持根据语义信息提出的查询。

为了解决上述问题，定向抓取相关网页资源的聚焦爬虫应运而生。聚焦爬虫是一个自动下载网页的程序，它根据既定的抓取目标，有选择的访问万维网上的网页与相关的链接，获取所需要的信息。与通用爬虫(general purpose web crawler)不同，聚焦爬虫并不追求大的覆盖，而将目标定为抓取与某一特定主题内容相关的网页，为面向主题的用户查询准备数据资源。

1 聚焦爬虫工作原理以及关键技术概述

网络爬虫是一个自动提取网页的程序，它为搜索引擎从万维网上下载网页，是搜索引擎的重要组成。传统爬虫从一个或若干初始网页的URL开始，获得初始网页上的URL，在抓取网页的过程中，不断从当前页面上抽取新的URL放入队列,直到满足系统的一定停止条件。聚焦爬虫的工作流程较为复杂，需要根据一定的网页分析算法过滤与主题无关的链接，保留有用的链接并将其放入等待抓取的URL队列。然后，它将根据一定的搜索策略从队列中选择下一步要抓取的网页URL，并重复上述过程，直到达到系统的某一条件时停止。另外，所有被爬虫抓取的网页将会被系统存贮，进行一定的分析、过滤，并建立索引，以便之后的查询和检索；对于聚焦爬虫来说，这一过程所得到的分析结果还可能对以后的抓取过程给出反馈和指导。

相对于通用网络爬虫，聚焦爬虫还需要解决三个主要问题：

(1) 对抓取目标的描述或定义；

(2) 对网页或数据的分析与过滤；

(3) 对URL的搜索策略。

手机可以接python的单吗

可以。在手机上安装PythonIDE软件，就可以接python的单了。python就是可以到一些网站上面找到对应的单子，主要是爬虫、数据分析、web开发，还有一些扣扣接单群什么的都可以。Python是一种解释型、面向对象、动态数据类型的高级程序设计语言。

如何用 Python 爬取社交网络

#!/usr/bin/env python

# -*- coding: utf-8 -*-

# @Author: Administrator

# @Date: 2015-10-31 15:45:27

# @Last Modified by: Administrator

# @Last Modified time: 2015-11-23 16:57:31

import requests

import sys

import json

import re

reload(sys)

sys.setdefaultencoding('utf-8')

#获取到匹配字符的字符串

def find(pattern,test):

finder = re.search(pattern, test)

start = finder.start()

end = finder.end()

return test[start:end-1]

cookies = {

'_ga':'GA1.2.10sdfsdfsdf', '_za':'8d570b05-b0b1-4c96-a441-faddff34',

'q_c1':'23ddd234234',

'_xsrf':'234id':'"ZTE3NWY2ZTsdfsdfsdfWM2YzYxZmE=|1446435757|15fef3b84e044c122ee0fe8959e606827d333134"',

'z_c0':'"QUFBQXhWNGZsdfsdRvWGxaeVRDMDRRVDJmSzJFN1JLVUJUT1VYaEtZYS13PT0=|14464e234767|57db366f67cc107a05f1dc8237af24b865573cbe5"',

'__utmt':'1', '__utma':'51854390.109883802f8.1417518721.1447917637.144c7922009.4',

'__utmb':'518542340.4.10.1447922009', '__utmc':'51123390', '__utmz':'5185435454sdf06.1.1.utmcsr=zhihu.com|utmcgcn=(referral)|utmcmd=referral|utmcct=/',

'__utmv':'51854340.1d200-1|2=registration_date=2028=1^3=entry_date=201330318=1'}

headers = {'user-agent':

'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/38.0.2125.111 Safari/537.36',

'referer':'',

'host':'','Origin':'',

'Content-Type':'application/x-www-form-urlencoded; charset=UTF-8',

'Connection':'keep-alive','X-Requested-With':'XMLHttpRequest','Content-Length':'81',

'Accept-Encoding':'gzip,deflate','Accept-Language':'zh-CN,zh;q=0.8','Connection':'keep-alive'

}

#多次访问之后，其实一加载时加载20个问题，具体参数传输就是offset，以20递增

dicc = {"offset":60}

n=20

b=0

# 与爬取图片相同的是，往下拉的时候也会发送http请求返回json数据，但是不同的是，像模拟登录首页不同的是除了

# 发送form表单的那些东西后，知乎是拒绝了我的请求了，刚开始以为是headers上的拦截，往headers添加浏览器

# 访问是的headers那些信息添加上，发现还是拒绝访问。

#想了一下，应该是cookie原因。这个加载的请求和模拟登录首页不同

#所以补上其他的cookies信息，再次请求，请求成功。

for x in xrange(20,460,20):

n = n+20

b = b+20

dicc['offset'] = x

formdata = {'method':'next','params':'{"offset":20}','_xsrf':'20770d88051f0f45e941570645f5e2e6'}

#传输需要json串，和python的字典是有区别的，需要转换

formdata['params'] = json.dumps(dicc)

# print json.dumps(dicc)

# print dicc

circle = requests.post("",

cookies=cookies,data=formdata,headers=headers)

#response内容 其实爬过一次之后就大同小异了。 都是

#问题返回的json串格式

# {"r":0,

# "msg": ["div class=\"zm-profile-section-item zg-clear\"\n

# span class=\"zm-profile-vote-count\"\ndiv class=\"zm-profile-vote-num\"205K\/div\n

# div class=\"zm-profile-vote-type\"\u6d4f\u89c8\/div\n

# \/span\ndiv class=\"zm-profile-section-main\"\n

# h2 class=\"zm-profile-question\"\n

# a class=\"question_link\" target=\"_blank\" href=\"\/question\/21719532\"

# \u4ec0\u4e48\u4fc3\u4f7f\u4f60\u8d70\u4e0a\u72ec\u7acb\u5f00\u53d1\u8005\u4e4b\u8def\uff1f\/a\n

# \/h2\ndiv class=\"meta zg-gray\"\na data-follow=\"q:link\" class=\"follow-link zg-unfollow meta-item\"

# href=\"javascript:;\" id=\"sfb-868760\"

# i class=\"z-icon-follow\"\/i\u53d6\u6d88\u5173\u6ce8\/a\nspan class=\"zg-bull\"?\/span\n63 \u4e2a\u56de\u7b54\nspan class=\"zg-bull\"?\/span\n3589 \u4eba\u5173\u6ce8\n\/div\n\/div\n\/div",

# "div class=\"zm-profile-section-item zg-clear\"\n

# span class=\"zm-profile-vote-count\"\n

# div class=\"zm-profile-vote-num\"157K\/div\n

# div class=\"zm-profile-vote-type\"\u6d4f\u89c8\/div\n

# \/span\ndiv class=\"zm-profile-section-main\"\n

# h2 class=\"zm-profile-question\"\n

# a class=\"question_link\" target=\"_blank\" href=\"\/question\/31764065\"

# \u672c\u79d1\u6e23\u6821\u7684\u5b66\u751f\u5982\u4f55\u8fdb\u5165\u7f8e\u5e1d\u725b\u6821\u8bfbPhD\uff1f\/a\n

# \/h2\ndiv class=\"meta zg-gray\"\n

# a data-follow=\"q:link\" class=\"follow-link zg-unfollow meta-item\" href=\"javascript:;\" id=\"sfb-4904877\"

# i class=\"z-icon-follow\"\/i\u53d6\u6d88\u5173\u6ce8\/a\nspan class=\"zg-bull\"?

# \/span\n112 \u4e2a\u56de\u7b54\nspan class=\"zg-bull\"?\/span\n1582 \u4eba\u5173\u6ce8\n

# \/div\n\/div\n\/div"]}

# print circle.content

#同样json串需要自己 转换成字典后使用

jsondict = json.loads(circle.text)

msgstr = jsondict['msg']

# print len(msgstr)

#根据自己所需要的提取信息规则写出正则表达式

pattern = 'question\/.*?/a'

try:

for y in xrange(0,20):

wholequestion = find(pattern, msgstr[y])

pattern2 = '.*?'

finalquestion = find(pattern2, wholequestion).replace('','')

print str(b+y)+" "+finalquestion

#当问题已经访问完后再传参数 抛出异常 此时退出循环

except Exception, e:

print "全部%s个问题" %(b+y)

break

python爬虫做qq机器人的问题

我觉得是可能是因为没带cookie造成的吧？顺便说一下，ptqrtoken是「cookie里面的qrsig的hash33」，代码在github的justko/qzonelib，虽然写的不好，给我加个星星吧:-)

def?check_qrcode(self):

????qrsig=None????

????for?i?in?self.qq_cookie:????

????????if?i.name=='qrsig':????

????????????qrsig=i.value????

????????????break????

????if?qrsig?is?None:????

????????print("QR_Code识别码没有找到,需要重新下载")????

????????raise?RuntimeError????

????req=urllib.request.Request(????

????url=""????

????????"?u1=https%3A%2F%2Fqzs.qq.com%2Fqzone%2Fv5%2Floginsucc.html%3Fpara%3Dizone"????

????????"ptqrtoken="+str(QQ.__hash33(qrsig))+????

????????"ptredirect=0h=1t=1g=1from_ui=1ptlang=2052"????

????????"action=0-0-1509338784922"????

????????"js_ver=10231js_type=1login_sig=pt_uistyle=40aid=549000912daid=5"????

????)????

????res=self.opener.open(req).read().decode()????

????result?=?re.match("ptuiCB\('([^']*)','[^']*','([^']*)','[^']*','([^']*)',?'(.*)'\)",?res)????

????code=result.group(1)????

????success_url=result.group(2)????

????info=result.group(3)????

????username=result.group(4)????

????return?code,success_url,info,usernamedef?check_qrcode(self):