Python爬取豆瓣电影信息

说明

本文章并不是爬取电影来看，而是获取电影信息。

用到的库：

前言

当我打开百度搜索利用Python爬取豆瓣电影信息，随手打开一个爬取TOP250电影的教程。当我跟着以下步骤

import requests import json from bs4 import BeautifulSoup # 构造请求头部 headers = { 'USER-AGENT':'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/67.0.3396.99 Safari/537.36' } #网页地址 url = "https://movie.douban.com/top250?start=" # 发送请求，获得响应 response = requests.get(url=url,headers=headers) # 获取网页html html = response.text #解析 soup = BeautifulSoup(html,'lxml') #随便输出一个标签内容 tagData = soup.select('.hd') #输出 print(tagData)

结果： 真香！！！就找个页面搞一搞。

按年份来爬取电影信息

当我按上面的代码将url改成https://movie.douban.com/tag/#/，然后也是随便找个标签试试能不能拿到数据。

import requests import json from bs4 import BeautifulSoup # 构造请求头部 headers = { 'USER-AGENT':'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/67.0.3396.99 Safari/537.36' } #网页地址 url = "https://movie.douban.com/tag/#/" # 发送请求，获得响应 response = requests.get(url=url,headers=headers) # 获取网页html html = response.text #解析 soup = BeautifulSoup(html,'lxml') #随便输出一个标签内容 tagData = soup.select('.article') #输出 print(html)

结果： 回去看看页面的F12。发现没有问题啊，是有数据的，怎么拿不到呢。。。。

解决

回去代码观察爬取下来的html网页发现

数据显示的是这段js代码，看到这里意识到数据可能是加载html页面之后再嵌入进去的。既然看的到电影信息，说明肯定是接收到数据的。打开一下F12查看请求URL URL地址：https://movie.douban.com/j/new_search_subjects?sort=U&range=0,10&tags=&start=0&year_range=2020,2020 通过postman软件去访问请求地址 可以，直接返回json数据，谢谢你了。都不用BeautifulSoup解析页面

最终代码

import requests import json # 构造请求头部 headers = { 'USER-AGENT':'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/67.0.3396.99 Safari/537.36' } yearList = [2020 , 2010 , 2000 , 1990 , 1980 , 1970, 1960] for year in yearList: #网页地址 url = "https://movie.douban.com/j/new_search_subjects?sort=S&range=0,10&tags=&start=0&year_range="+str(year)+","+str(year+9) # 发送请求，获得响应 response = requests.get(url=url,headers=headers) # 获取网页html data = response.text #获取json jsonData = json.loads(data) # 从json中获取列表 data = jsonData['data'] print('年份：'+str(year)) #遍历 for key in data: print("片名："+key['title']+" 评分："+key['rate'],'')

结果 至于请求URL中的参数详解可以看一下这个链接 https://www.cnblogs.com/fangtaoa/p/8366528.html