**最近上网课，老师有些练习题在长江雨课堂布置，为了好复习我用了2小时写了个简单的爬虫，将习题爬取放到了mysql中下面开始讲讲我的思路。 首先这个需要账号登录 ，那就必须需要在爬取的时候带上cookie， 获取的方法很简单，直接登录常见雨课用f12打开开发者工具，随便点击一个数据，查看resquest headers ，并且复制cookie，后面写程序有用。 下面我们开始点开练习题界面，进入之后，打开开发者工具，全局搜素几个题目的字，找到了一个数据包 遮住的是课程id，以及试题的id。 发现数据包是一个json数据 找到底下的problem_result值 然后查看slide的值 如图查看一直找到一个html标签的值，发现里面就有题目，由此判断这就是我们需要爬取的信息。写爬虫必须在请求头中加入cookie，我们刚才保存到cookie就可以使用（ps：时间长了cookie可能失效，可以按原来的方法获取新值） 这个爬虫的最麻烦的就是json数据吧里面的东西太多，需要一步一步解析然后取出自己想要的值。 headers = { 'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.138 Safari/537.36', 'cookie': '' } cookie自己写，这个是我们需要请求的url https://changjiang.yuketang.cn/v2/api/web/cards/detlist/{}?classroom_id={} 括号内写自己的课程id以及练习题的号码 下来就是解析数据
response=requests.get(url,headers=headers).json() for i in response['data']['problem_results']:#分每个题目解析 try: bro=i['slide']['ProblemBodys'][0]['Paragraphs'][0]['Lines'][0]['Html']#题目在html里面需要用到xpath来提取文本 #前面需要写from lxml import etree 引入这个方法 question=str(etree.HTML(bro).xpath('//*//span/text()')[0])#提取到题目 # print(question) # print(i['answer'])#这是为了一步一步解析数据 answer=str(i['answer'])#这是题目的答案提取 # print(i['slide']['Problem']['Bullets'][0]['Contents'][0]['Paragraphs'][0]['Lines'][0]['Html']) xuanxiang=''#题目选项四个选项需要拼接 for q in i['slide']['Problem']['Bullets']: tree = q['Contents'][0]['Paragraphs'][0]['Lines'][0]['Html']#答案寻找方法和找题目的方法一样，需要自己逐步的试验 y = etree.HTML(tree).xpath('//*//span/text()')[0] # print(q['Label'],question) xuanxiang=xuanxiang+q['Label']+':'+y#将答案凭借成字符串 # print(xuanxiang)现在我们已经提取出了题目和选项以及答案，接下来就是将她存到数据库中 先需要创建一个表存放数据
CREATE TABLE `mt` (\n `id` int NOT NULL AUTO_INCREMENT,\n `question` varchar(128) DEFAULT NULL,\n `answer` varchar(12) DEFAULT NULL,\n `xuanxiang` varchar(256) DEFAULT NULL,\n PRIMARY KEY (`id`),\n UNIQUE KEY `question` (`question`)\n) ENGINE=InnoDB AUTO_INCREMENT=42 DEFAULT CHARSET=utf8我创建的表名叫mt 接下来就是写sql语句
insert into mt (question,answer,xuanxiang) values(%s,%s,%s)将数据写入表中
cursor.execute(sql,(question,answer,xuanxiang)) db.commit()在写入过程中遇到一个问题就是keyerror ，我发现填空题的和选择题不一样，但是方法是一样的，这就懒得写了，为了避免keyerror，这里用到了try except 练习题id获取方法一样对https://changjiang.yuketang.cn/v2/web/studentLog/{}括号里面写课程id，这里就不做叙述了 ，我这用了Session这个方法，不用也可以，但是我懒得改了 下面是全部代码
import requests from lxml import etree import pymysql db=pymysql.connect(host='localhost',user='root',password='123456',db='mrsoft') cursor=db.cursor() sql="""insert into mt (question,answer,xuanxiang) values(%s,%s,%s)""" session=requests.Session() headers = { 'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.138 Safari/537.36', 'cookie': '这自己写' } response=requests.get('https://changjiang.yuketang.cn/v2/api/web/logs/learn/{这里写课程id}?actype=-1&page=0&offset=20&sort=-1',headers=headers).json() list=[] for a in response['data']["activities"]: list.append(a['courseware_id']) for u in list: url='https://changjiang.yuketang.cn/v2/api/web/cards/detlist/{}?classroom_id=2661154'.format(u) response=requests.get(url,headers=headers).json() for i in response['data']['problem_results']:#分每个题目解析 try: bro=i['slide']['ProblemBodys'][0]['Paragraphs'][0]['Lines'][0]['Html']#题目在html里面需要用到xpath来提取文本 #前面需要写from lxml import etree 引入这个方法 question=str(etree.HTML(bro).xpath('//*//span/text()')[0])#提取到题目 # print(question) # print(i['answer'])#这是为了一步一步解析数据 answer=str(i['answer'])#这是题目的答案提取 # print(i['slide']['Problem']['Bullets'][0]['Contents'][0]['Paragraphs'][0]['Lines'][0]['Html']) xuanxiang=''#题目选项四个选项需要拼接 for q in i['slide']['Problem']['Bullets']: tree = q['Contents'][0]['Paragraphs'][0]['Lines'][0]['Html']#答案寻找方法和找题目的方法一样，需要自己逐步的试验 y = etree.HTML(tree).xpath('//*//span/text()')[0] # print(q['Label'],question) xuanxiang=xuanxiang+q['Label']+':'+y#将答案凭借成字符串 # print(xuanxiang) except KeyError: continue # bro = i['slide']['shapes'][0]['Paragraphs'][0]['Lines'][0]['Html'] cursor.execute(sql,(question,answer,xuanxiang)) db.commit() db.close()最后自己查看自己的表发现数据都写进去了，这个简单的爬虫也就完成了
