本篇博文主要介绍利用scrapy内置的下载模块来下载文件和图片。相对于自己撰写的代码，它具有如下特点：

1：避免重新下载最近已经下载过的数据 2：可以方便的指定文件存储的路径 3：可以将下载的图片转换成通用的格式。如：png,jpg 4：可以方便的生成缩略图 5：可以方便的检测图片的宽和高，确保他们满足最小限制 6：异步下载，效率非常高

1 Scrapy下载图片

使用images pipeline 下载文件步骤: 1） 定义好一个Item，然后在这个item中定义两个属性，分别为image_urls以及images。 image_urls是 用来存储需要下载的文件的url链接，需要给一个列表 当文件下载完成后，会把文件下载的相关信息存储到item的images属性中。如下载路径、下 载的url和图片校验码等 2）在配置文件settings.py中配置IMAGES_STORE， 这个配置用来设置文件下载路径 3）启动pipeline:在ITEM_ PIPELINES中设置scrapy.pipelines.images.ImagesPipeline:1

本节通过下载图片案例 —— 爬取汽车之家图片来演示。 爬取汽车之家网址： https://www.autohome.com.cn/65/#levelsource=000000000_0&pvareaid=101594

（1） 定义好一个Item，然后在这个item中定义两个属性，分别为image_urls以及images。

import scrapy ''' items 文件 ''' class PcItem(scrapy.Item): # define the fields for your item here like: # name = scrapy.Field() image_urls = scrapy.Field() # 一个是图片的url images = scrapy.Field() # 保存图片的路径 pass

（2）在配置文件settings.py中配置IMAGES_STORE， 这个配置用来设置文件下载路径（注意setting文件中注意把ROBOTSTXT_OBEY = False 设置一下，否则爬取不到图片）

import os IMAGES_STORE = os.path.join(os.path.dirname(os.path.dirname(__file__)),'images')

（3）seting文件启动pipeline:在ITEM_ PIPELINES中设置scrapy.pipelines.images.ImagesPipeline:1

# Configure item pipelines # See https://docs.scrapy.org/en/latest/topics/item-pipeline.html ITEM_PIPELINES = { # 'pic.pipelines.PicPipeline': 300, 'scrapy.pipelines.images.ImagesPipeline':1 }

（4）爬虫代码

import scrapy from pic.pc.items import PcItem class AudiSpider(scrapy.Spider): name = 'car' allowed_domains = ['car.autohome.com.cn'] start_urls = ['https://car.autohome.com.cn/photolist/series/44501/5729675.html#pvareaid=3454450'] # https://car.autohome.com.cn/photolist/series/18/p2/ # https://car.autohome.com.cn/photolist/series/18/p3/ def parse(self, response): # 找ul下面的li ul = response.xpath('//ul[@id="imgList"]/li') for li in ul: # item = {} item = PcItem() # item['src'] = 'https:'+ li.xpath("./a/img/@src").extract_first() # 第一种 自己写代码 item['image_urls'] = ['https:'+ li.xpath("./a/img/@src").extract_first()] # 第二种 内置pipeline 所以pipeline文件不用去管 # print(item) yield item pass

2 Scrapy下载文件

同理于Scrapy下载图片，这里仅列示步骤 使用Files Pipeline下载文件，按照以下步骤完成： 1）定义好⼀个Item，然后在这个item中定义两个属性，分别为file_urls以及files。 files_urls是用来存储需要下载的文件的url链接，需要给⼀个列表 当文件下载完成后，会把⽂件下载的相关信息存储到item的files属性中。如下载路径、下载的url和文件校验码等 2）在配置文件settings.py中配置FILES_STORE，这个配置用来设置文件下载路径 3）启动pipeline：在ITEM_PIPELINES中设置 scrapy.piplines.files.FilesPipeline:1