由于疫情关系，宅在家里。记录一下作业，猫眼电影爬虫及分析，爬取猫眼电影数据，并对爬取的数据进行分析和展示。
基于requests库和lxml库进去猫眼电影TOP100榜电影爬取，爬取地址为：https://maoyan.com/board/4
爬取的信息有：电影名字，主演名字，上映时间以及地点，猫眼评分得分，电影类型，电影时长。
电影数据保存为.csv格式。表头：电影名字(title)，主演名字(author)，上映时间以及地点(pub_time)，猫眼评分得分(star)，电影类型(style)，电影时长(long_time)。
import requests from lxml import etree import csv headers = { # 设置header 'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/83.0.4103.97 Safari/537.36' } def get_url(url): # top100电影获取 res = requests.get(url, headers=headers) # 请求 # print(res.text) html = etree.HTML(res.text) # 获取网页源码 infos = html.xpath('//dl[@class="board-wrapper"]/dd') # 获取页面的10部电影，xpath for info in infos: title = info.xpath('div/div/div[1]/p[1]/a/text()')[0] # 电影名称 author = info.xpath('div/div/div[1]/p[2]/text()')[0].strip().strip('主演：') # 电影主演，strip()去掉空格 pub_time = info.xpath('div/div/div[1]/p[3]/text()')[0].strip('上映时间：') # 上映时间 star_1 = info.xpath('div/div/div[2]/p/i[1]/text()')[0] # 得分1(整数部分) star_2 = info.xpath('div/div/div[2]/p/i[2]/text()')[0] # 得分2（小数部分） star = star_1 + star_2 # 电影得分 movie_url = 'https://maoyan.com' + info.xpath('div/div/div[1]/p[1]/a/@href')[0] # 电影的详细页 # print(title,author,pub_time,star,movie_url) get_info(movie_url, title, author, pub_time, star) # 进入电影的详细页爬取 print(‘保存完毕！’) def get_info(url, title, author, pub_time, star): # 电影详细获取 res = requests.get(url, headers=headers) html = etree.HTML(res.text) style = html.xpath('/html/body/div[3]/div/div[2]/div[1]/ul/li[1]/text()')[0] # 电影类型 long_time = html.xpath('/html/body/div[3]/div/div[2]/div[1]/ul/li[2]/text()')[0].split('/')[1].strip().strip( '分钟') # 电影时长 print(title, author, pub_time, star, style, long_time) writer.writerow([title, author, pub_time, star, style, long_time]) # 写入数据 if __name__ == '__main__': fp = open('F://maoyan.csv', 'w', newline='', encoding='utf-8') # 存储文件 writer = csv.writer(fp) writer.writerow(['title', 'author', 'pub_time', 'star', 'style', 'long_time']) # 写入表头 urls = ['https://maoyan.com/board/4?offset={}'.format(str(i)) for i in range(0, 100, 10)] # url构造 for url in urls: get_url(url)数据分析和展示时基于pandas和matplotlib。
分析了100部电影基本分析、演员出演这100部电影次数、电影的年份分布情况、电影的月份分布情况、电影的国家分布情况、前20部电影评分得分情况、电影的类型分布情况、电影的时长分布情况等。
演员出演这100部电影次数 （1）读取电影数据。 （2）取出主演(author)一列数据，循环对其进行字符串拼接。 （3）以“,”为分隔符进行切割，统计演员的个数以及名字、演员名字出现的次数（实现方法很多，这里使用的是Counter模块）。 （4）选取出演次数最多的六位演员。构造水平轴数据author，垂直轴数据count。 （5）使用matplotlib的pyplot绘制条形图，设置title，xlabel，ylabel。 import pandas as pd from matplotlib import pyplot as plt from collections import Counter plt.rcParams['font.sans-serif'] = ['SimHei'] datas = pd.read_csv('maoyan.csv', encoding='utf-8') s = '' for i in range(99): s += datas.iloc[i, 1]+',' s += datas.iloc[99, 1] # 防止最后的空格 # print(s) authors = s.split(',') # print(authors) c = Counter(authors) # print(c) items = c.most_common(6) print(items) author = [] count = [] for item in items: author.append(item[0]) count.append(item[1]) # print(author) # print(count) plt.bar(author, count, color='orange') plt.title('出演次数最多的六位演员情况') plt.xlabel('演员') plt.ylabel('出演次数') plt.show()运行结果：
电影的年份分布情况 （1）读取电影数据。 （2）取出上映时间及地点(pub_time)一列数据。 （3）以“-”为分隔符进行切割，取出第一个元素，第二个元素是月份。存储为新的一列year。 （4）使用groupby对year这一列按照年份进行分组，并统计次数。 （5）数据的index转化为列表作为水平轴数据，数据转化为list作为垂直轴数据。 （6）使用matplotlib的pyplot绘制折线图，设置title，xlabel，ylabel。 import pandas as pd from matplotlib import pyplot as plt plt.rcParams['font.sans-serif'] = ['SimHei'] datas = pd.read_csv('maoyan.csv', encoding='utf-8') datas['year'] = datas['pub_time'].str.split('-').str[0] datas['month'] = datas['pub_time'].str.split('-').str[1] year = datas.groupby('year')['year'].count() month = datas.groupby('month')['month'].count() # print(list(year.index)) # print(list(year)) # print(month) plt.figure(figsize=(20, 8), dpi=80) plt.plot(list(year.index), list(year)) plt.title('电影年份的分布情况') plt.xlabel('年份') plt.ylabel('电影数量') plt.grid(alpha=0.4) plt.show()运行结果：
电影的国家分布情况 （1）读取电影数据。 （2）定义一个方法get_country()，对字符串进行切割，取出国家部分，中国香港返回中国，法国戛纳返回法国。 （3）取出上映时间及地点(pub_time)一列数据。 （4）分别进行get_country操作。存储为新的一列country。 （5）使用groupby对country这一列按照国家进行分组，并统计次数。 （6）数据的index转化为列表作为水平轴数据，数据转化为list作为垂直轴数据。 （7）使用matplotlib的pyplot绘制饼图，设置title，xlabel，ylabel。 import pandas as pd from matplotlib import pyplot as plt plt.rcParams['font.sans-serif'] = ['SimHei'] datas = pd.read_csv('maoyan.csv', encoding='utf-8') def get_country(s): country = s.split('(') if len(country) == 1: return '中国' else: temp = country[1].strip(')') if temp == '中国香港': return '中国' elif temp == '法国戛纳': return '法国' else: return temp datas['country'] = datas['pub_time'].map(get_country) # print(datas['country']) country = datas.groupby('country')['country'].count() # print(country) # print(list(country)) # print(list(country.index)) explods = [0, 0.2, 0, 0, 0, 0, 0, 0, 0] plt.pie(list(country), labels=list(country.index), autopct='%1.1f%%', explode=explods) plt.title('电影的国家分布情况') plt.show()运行结果：
电影的时长分布情况 （1）读取电影数据。 （2）取出电影时长(long_time)一列数据。 （3）按照10分钟为一个长度归类 （4）使用matplotlib的pyplot绘制柱状图，设置title，xlabel，ylabel。 import pandas as pd from matplotlib import pyplot as plt plt.rcParams['font.sans-serif'] = ['SimHei'] datas = pd.read_csv('maoyan.csv', encoding='utf-8') long_time = list(datas['long_time']) # print(long_time) d = 10 num_bins = int((max(long_time) - min(long_time)) / d) plt.hist(long_time, range(min(long_time), max(long_time) + d, d), density=True) plt.xticks(range(min(long_time), max(long_time) + d, d)) plt.grid(alpha=0.4) plt.title('电影的时长分布情况') plt.xlabel('电影时长') plt.ylabel('比例') plt.show()运行结果： 【更多分析】 https://github.com/Tcrushes/crawler-analysis 【参考文献】 [1] matplotlib用户指南2020.04.08 [2] panluoluo. 猫眼电影爬虫及分析GitHub 2019.03.04
