python爬取网页图片自动新建文件夹保存(python如何爬取图片到指

我用python下载爬完的文档后，怎么自动创建一个文件夹，把下载的文件装入创建的文件夹中？

把文件名弄成变量不就好了,爬取的时候直接把公司的title也爬下来弄成文件名的变量不就好了

python爬虫如何创建image文件夹

有自动创建功能，也可以使用代码。1.观察网页，找到img标签；2.通过requests和BS库来提取网页中的img标签；3.抓取

_mg标签后，再把里面的src给提取出来，接下来就可以下载图片了；

?

?4.通过urllib的urllib.urlretrieve来下载图片并且放进文件夹里面（第一之前的准备工作就是获取当前路径然后新建一个文件夹）；

?5.如果有多张图片，不断的重复3-4。

4.python爬虫之新建 scrapy 爬虫项目(抓取和保存)

1.win10 下 win + r 打开cmd 切换新项目的目录

2.新建scrapy项目的命令:

可以利用pycharm 打开项目文件夹编辑项目

3.items.py

声明爬取的字段

4.新建scrapy 爬虫

用命令 scrapy genspider doubanmovie "movie.douban.com" 创建爬虫。

5.运行爬虫

5.1 创建运行脚本

(一)、在 scrapy.cfg 同级目录下创建 pycharm 调试脚本 run.py，避免每次运行爬虫输入密码,内容如下：

6.修改robottxt协议

修改 settings 中的 ROBOTSTXT_OBEY = True 参数为 False,因为默认为 True，就是要遵守 robots.txt 的规则， robots.txt 是遵循 Robot协议 的一个文件，它保存在网站的服务器中，它的作用是，告诉搜索引擎爬虫，本网站哪些目录下的网页不希望你进行爬取收录。在 Scrapy 启动后，会在第一时间访问网站的 robots.txt 文件，然后决定该网站的爬取范围。查看 robots.txt 可以直接网址后接 robots.txt 即可。

一般构建爬虫系统，建议自己编写Item Pipeline,就可以在open(path)选择自己的保存路径

参考: # scrapy爬虫事件以及数据保存为txt,json,mysql

7.1保存为json格式时出现乱码的解决方式:

scrapy抓取豆瓣书籍保存json文件乱码问题

中文默认是Unicode,如:

\u5317\u4eac\u5927\u5b66

在setting文件settings.py中设置：

就可以解决了

第二种解决办法

或在cmd中传入 -s FEED_EXPORT_ENCODING='utf-8'

参考:

python爬取网页内容数据需要建文件夹吗

需要。python爬取网页内容数据之就需要建一个文件夹来存放爬取的内容。Python由荷兰数学和计算机科学研究学会的吉多范罗苏姆于1990年代初设计，作为一门叫做ABC语言的替代品。

Python爬取图片保存到本地使用requests和os？

是的，requests获取网络上的数据！

os用于在电脑本地操作文件

python：爬图并下载到本地指定文件夹

（爬图片简易版）

环境：python3 IDLE

（ps：其他网站注意图片懒加载与分页等问题）