打开京东的数码相机页面，进行分析，右键某个商品进行检查，发现商品详情页的链接地址 可以使用XPath Helper进行验证是否获取到每个商品的详情页的链接(XPath Helper插件可以在google应用商店获取) 进入商品详情页，爬取我们需要的信息(下图是爬取商品的编号)
思路大概就是在京东商城的首页，在搜索栏输入数码相机，然后再获取每个数码相机的详情页，最后在详情页爬取我们需要的信息(编号,名称,店铺,产地,品牌,毛重,像素,某日的价格)
开始写代码 在cmd命令行输入 scrapy startproject jd 在进入创建的jd目录，输入 scrapy genspider jdspider jd.com
使用Pycharm打开我们刚才所创建的项目 在item.py中，写我们所需要爬取的信息
import scrapy class JdItem(scrapy.Item): # define the fields for your item here like: # name = scrapy.Field() #商品编号 tnumber = scrapy.Field() #商品名称 title = scrapy.Field() #价格 price = scrapy.Field() #商品产地 commodity_origin = scrapy.Field() #品牌 brand = scrapy.Field() #商品毛重 commodity_weight = scrapy.Field() #像素 pixel = scrapy.Field() #店铺名 shop = scrapy.Field()在settings.py中配置如下信息
USER_AGENT = 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/83.0.4103.116 Safari/537.36' # Obey robots.txt rules ROBOTSTXT_OBEY = False发现详情页没有我们需要的价格信息，价格信息在https://p.3.cn/prices/mgets?skuIds=J_8524940网址中， https://p.3.cn/prices/mgets?skuIds=J_+商品编号，就是每个商品的价格信息，如下图 在jdspider.py中编写如下代码
# -*- coding: utf-8 -*- import scrapy import re import json import requests from jd.items import JdItem class JdspiderSpider(scrapy.Spider): name = 'jdspider' allowed_domains = ['jd.com'] start_urls = ['https://search.jd.com/Search?keyword=%E6%95%B0%E7%A0%81%E7%9B%B8%E6%9C%BA'] # 获取100页的链接 def parse(self,response): for i in range(1, 7): next_url = "https://search.jd.com/Search?keyword=%E6%95%B0%E7%A0%81%E7%9B%B8%E6%9C%BA&page=" + str(i * 2 - 1) yield scrapy.Request(next_url, callback=self.parse_link) #获取每页详情页的链接 def parse_link(self, response): #获取每个数码相机的url url_lists = response.xpath("//li[@class='gl-item']//div[@class='p-img']") for temp in url_lists: temp_url = "https:"+temp.xpath("./a/@href").get() yield scrapy.Request(url=temp_url, callback=self.parse_digital) #数码相机的详情页 def parse_digital(self,response): item = JdItem() #获取商品编号 item['tnumber'] = response.xpath("//ul[@class='parameter2 p-parameter-list']/li[2]/@title").extract_first() #商品名称 item['title'] = response.xpath("//ul[@class='parameter2 p-parameter-list']/li[1]/@title").extract_first() #价格url price_url = "https://p.3.cn/prices/mgets?skuIds=J_"+str(item['tnumber']) res = requests.get( price_url) #print(price_url) ret = res.content.decode() #print(ret) result = json.loads(ret) #print(res) item['price'] = result[0]['p'] # 品牌 item['brand'] = response.xpath("//ul[@class='p-parameter-list']/li[1]/@title").extract_first() #print(brand) #商品产地 item['commodity_origin'] = re.findall('商品产地：([\s\S]*?)</li>\n',response.text) #商品毛重 item['commodity_weight'] = re.findall('商品毛重：([\s\S]*?)</li>\n',response.text) #像素 item['pixel'] = re.findall('像素：([\s\S]*?)</li>\n',response.text) #店铺名 item['shop'] = re.findall('店铺：([\s\S]*?)</li>\n',response.text) #列表转换成字符串 shop1 = ''.join(item['shop']) if len(shop1)==0: item['shop'] = shop1 if len(shop1)>0: #将a标签去除 shop2 = shop1.split(">") shop3 = shop2[1].split("<") item['shop'] = shop3[0] with open('shuma1.csv', 'a', encoding='utf-8') as f: #f.write('编号,名称,店铺,产地,品牌,毛重,像素,2020-7-3的价格\n') #保存数据 f.write('{},{},{},{},{},{},{},{}\n'.format(item['tnumber'], item['title'], item['shop'], item['brand'],item['commodity_origin'],item['commodity_weight'],item['pixel'],item['price']))爬取结果(因为有些商品信息没有店铺、产地、品牌等信息，所以有些爬取的数据是空值，需要自己手动筛选，某一天的价格信息可以累加在最后一列)
