Django框架能用爬虫吗(django框架主要用来做什么)
django 多线程 + uWSGI 多线程 遇到的坑
当django中使用了多线程时，由于uwsgi默认不开启多线程，所以我们需要为uwsgi手动开启多线程。
闲言少叙，直接上配置。
在uwsgi 的配准文件 uwsgi.ini 中 增加下面的 threads 字段
这样就可开启多线程。
django部署的一个爬虫服务。客户端发送一个请求后，django立即开启一个线程，去执行耗时的爬虫任务， django不等待爬虫结果，便先返回给客户端“请等待”的提示，在爬虫任务执行完毕后，再通过轮询或websocket返回给客户端爬虫任务的结果。
使用 django的 runserver 运行项目没问题，但当使用 nginx+ uwsgi 运行项目时，爬虫的HTTP请求不返回结果；当使用 uwsgi单独拉起项目时，爬虫的HTTP返回结果但速度奇慢。
最后发现是uwsgi 默认不支持多线程，需要开启多线程（方法如上），即可解决问题。
怎么在django后台调用scrapy爬虫
你可以试试Scrapy-djangoitem（Scrapy1.0.0之前为Djangoitem），它可以在item中调用Django的model。
不知道是否符合你的需求？
django和爬虫程序如何整合？
它采用类似策略模式的实现方法，该类有一个字符串的成员变量，用于存放该函数对象对应的函数名字，在ProcessFunction类中主要实现了process方法
此方法的功能是通过协议层从传输层中读取并解析出调用的参数，然后再由具体的函数对象提供的getResult函数计算出结果！
部门分享Django和爬虫
1、在开发之前需要配置开发环境，摆脱Ubuntu上面开发，在Mac电脑上面创建虚拟环境开发
2、django-admin startproject jiekou
3、创建应用python manage.py startapp myjiekou
4、打开项目，把应用注册在setting.py文件
5、在models.py文件里面定义模型类，定义需要的字段
6、生成迁移文件python manage.py makemigrations
7、生成迁移python manage.py migrate，迁移完成以后会自动生成一个auth表
8、运行python manage.py runserver，通过连接 看下后台管理界面
9、看后台管理界面之前需要注册管理员账号python manage.py createsuperuser
10、登进去以后为什么没有我们新建的表格那？
11、再次执行python manage.py runserver
12、让我们再看一下admin管理界面，并添加字段
13、我们再admin管理界面的数据怎么怎么在django web页面显示那我们来进行下步操作，我们目的需要通过：8000/index来进行访问显示我们输出的内容，首先我们先进行简单的显示
再次，我们需要把SQLite数据展示在我们页面上，首先导入我们的模型类
注意：我们再操作过程中会产生一些问题，例如下面，我们解决就好
14、管理界面汉语化
15、接下来进行django接口开发
接下来我运行一下OC程序来调用这个接口，看是否调用成功
先了解下爬虫的基础模块
1、re模块：主要是使用正则匹配对抓取的数据进行分析
2、XPath：查找 HTML 节点或元素进行数据过滤
3、BeautifulSoup4： 也是一个HTML/XML的解析器，解析和提取 HTML/XML 数据
4、JSON与JsonPATH：JSON数据解析
下面通过一个实例说明，主要使用了XPath查找 HTML 节点或元素解析
后续会分享Swift哦，只是简单的分享下学习成果，和项目组一起探讨和学习。
Python爬虫教程和Python学习路径有哪些
现在之所以有这么多的小伙伴热衷于爬虫技术，无外乎是因为爬虫可以帮我们做很多事情，比如搜索引擎、采集数据、广告过滤等，以Python为例，Python爬虫可以用于数据分析，在数据抓取方面发挥巨大的作用。
但是这并不意味着单纯掌握一门Python语言，就对爬虫技术触类旁通，要学习的知识和规范还有喜很多，包括但不仅限于HTML 知识、HTTP/HTTPS 协议的基本知识、正则表达式、数据库知识，常用抓包工具的使用、爬虫框架的使用等。而且涉及到大规模爬虫，还需要了解分布式的概念、消息队列、常用的数据结构和算法、缓存，甚至还包括机器学习的应用，大规模的系统背后都是靠很多技术来支撑的。
零基础如何学爬虫技术？对于迷茫的初学者来说，爬虫技术起步学习阶段，最重要的就是明确学习路径，找准学习方法，唯有如此，在良好的学习习惯督促下，后期的系统学习才会事半功倍，游刃有余。
用Python写爬虫，首先需要会Python，把基础语法搞懂，知道怎么使用函数、类和常用的数据结构如list、dict中的常用方法就算基本入门。作为入门爬虫来说，需要了解 HTTP协议的基本原理，虽然 HTTP 规范用一本书都写不完，但深入的内容可以放以后慢慢去看，理论与实践相结合后期学习才会越来越轻松。关于爬虫学习的具体步骤，我大概罗列了以下几大部分，大家可以参考：
网络爬虫基础知识:
爬虫的定义
爬虫的作用
Http协议
基本抓包工具(Fiddler)使用
Python模块实现爬虫：
urllib3、requests、lxml、bs4 模块大体作用讲解
使用requests模块 get 方式获取静态页面数据
使用requests模块 post 方式获取静态页面数据
使用requests模块获取 ajax 动态页面数据
使用requests模块模拟登录网站
使用Tesseract进行验证码识别
Scrapy框架与Scrapy-Redis：
Scrapy 爬虫框架大体说明
Scrapy spider 类
Scrapy item 及 pipeline
Scrapy CrawlSpider 类
通过Scrapy-Redis 实现分布式爬虫
借助自动化测试工具和浏览器爬取数据：
Selenium + PhantomJS 说明及简单实例
Selenium + PhantomJS 实现网站登录
Selenium + PhantomJS 实现动态页面数据爬取
爬虫项目实战：
分布式爬虫+ Elasticsearch 打造搜索引擎