selenium+Chrom爬取京东数据

from selenium import webdriver import time class JdSpider(object): def __init__(self): self.url='https://www.jd.com/' #创建浏览器对象 self.browser=webdriver.Chrome() #计数 self.i=0 #跳转到商品详情页——爬虫书 def get_html(self): #找节点，send_keys() click() #搜索框：//*[@id="key"] so='//*[@id="key"]' #按钮：//*[@id="search"]/div/div[2]/button button='//*[@id="search"]/div/div[2]/button' #获取地址 self.browser.get(self.url) #向搜索框发送内容 self.browser.find_element_by_xpath(so).send_keys('爬虫书') #点击按钮 self.browser.find_element_by_xpath(button).click() #必须给页面留出加载时间 time.sleep(3) #匹配每个商品信息的li节点对象列表 li.text def parse_html(self): #将页面拉到最下面，加载所有商品信息，在提取数据 self.browser.execute_script( 'window.scrollTo(0,document.body.scrollHeight)' ) time.sleep(3) li_list=self.browser.find_elements_by_xpath('//*[@id="J_goodsList"]/ul/li') item={} for li in li_list: item['price']=li.find_element_by_xpath('.//div[@class="p-price"]').text.strip() item['name']=li.find_element_by_xpath('.//div[@class="p-name"]/a/em').text.strip() item['comment']=li.find_element_by_xpath('.//div[@class="p-commit"]/strong').text.strip() item['market']=li.find_element_by_xpath('.//div[@class="p-shopnum"]').text.strip() print(item) self.i+=1 #入口函数 def run(self): self.get_html() while True: self.parse_html() #判断是否为最后一页 if self.browser.page_source.find('pn-next disabled')==-1: #-1说明没找到，不是最后一页，点击下一页按钮 self.browser.find_element_by_class_name('pn-next').click() #给新的一页元素预留加载时间 time.sleep(3) else: break print("爬取数量:",self.i) if __name__ == '__main__': spider=JdSpider() spider.run()