实在是太辣鸡了，写个爬虫用了大半天，各种错误都有，这还是很小的项目，一个人搞得大项目那是真滴累，队里其他大佬都准备去线下了，弱鸡只能敲敲代码的分，得加油学习了。。。此次针对的是爬取的不同用户的用户ID、粉丝数量、点赞数、评论数和阅读数，并且和本地数据库交互，将爬到的数据存放在数据库中，emmmm有一个小问题就是没有涉及去重的算法，本来想在数据库中去重，但是爬一个查一遍数据库实在是浪费资源，索性没有去重了，不过大部分情况下还是不会有重复的。
本来想利用BeautifulSoup类的，但是后来发现一个真香的 etree，是在python第三方库的 lxml中，这是HTML的解析器，关于解析器的优劣列了张图：
之前用的标准库,目前爬虫都是轻量级，也没开什么线程，体验不到有何区别23333。
但是BeautifulSoup是在没有etree香，所以这里说明一下etree
lementTree轻量级的 Python 式的 API ，它由一个 C 实现来提供。相对于 DOM 来说，ET 快了很多而且有很多令人愉悦的 API 可以使用。
在这里是通过xpath来查找路径的
XPath 是一门在 XML 文档中查找信息的语言。XPath 可用来在 XML 文档中对元素和属性进行遍历。 XPath 是 W3C XSLT 标准的主要元素，并且 XQuery 和 XPointer 都构建于 XPath 表达之上。
从上面这句话我们可以看出来， xpath 是用来查找 XML ，而我们的 HTML 可以认为是语法不标准的 XML 文档，恰巧我们可以通过这种方式来解析 HTML 文档。
我们在使用 xpath 之前，需要先安装 xpath 的依赖库，这个库并不是 Python 提供的标准库，安装语句如下：
pip install lxmlxpath的简单语法如下：
如果嫌麻烦的话，在Chrome中右击检查查找到相应的html时右击有copy选项，可以copy出特定的xpath，十分方便。
例如当我copy得到xpath路径后，通过如下语句:
fans_num = str(etree.HTML(html_csdn).xpath('//*[@id="fan"]/text()')[0]) #html_csdn是get请求得到的text文本，得到了粉丝数(注意返回的是列表)python提供了第三方库可以连接mysql
pip install pymysql通过pymysql.connect开启连接，然后获取操作游标后，写好sql请求，最后提交在关闭即可，具体的语法大伙可以自己搜搜，挺简单的，连本菜鸟都会用了，因为爬虫只负责一个数据爬取工作，所以只需要一句 insert 语句就够了。
最终代码:
#coding=utf-8 import re import requests import pymysql from bs4 import BeautifulSoup from lxml import etree import time headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/77.0.3865.90 Safari/537.36' } def get_data(url): res = requests.get(url,headers=headers) html_csdn = res.text # to crawl csdn data including these: read_num = str(etree.HTML(html_csdn).xpath('//*[@id="asideProfile"]/div[2]/dl[5]/dt/span/text()')[0]) fans_num = str(etree.HTML(html_csdn).xpath('//*[@id="fan"]/text()')[0]) likes_num = str(etree.HTML(html_csdn).xpath('//*[@id="asideProfile"]/div[2]/dl[3]/dt/span/text()')[0]) author = str(etree.HTML(html_csdn).xpath('//*[@id="uid"]/span/@username')[0]).replace(" ","").replace("\n","") comment_num = str(etree.HTML(html_csdn).xpath('//*[@id="asideProfile"]/div[2]/dl[4]/dt/span/text()')[0]) return {"userID":author,"read_num":read_num,"fans_num":fans_num,"likes_num":likes_num,"comment_num":comment_num,"url":url} def connect(): #connect database conn = pymysql.connect( host = 'localhost', port = 3306, user = 'root', password = 'root', database = 'data', charset = 'utf8mb4' ) #Get a cursor object that can execute SQL statements cursor = conn.cursor() return {"conn":conn,"cursor":cursor} connection = connect() conn = connection['conn'] cursor = connection['cursor'] #insert data into database def sqlinsert(): sql_insert = "insert into (userID,read_num,fans_num,likes_num,comment_num) values ('{userID}','{read_num}','{fans_num}','{likes_num}','{comment_num}');".format(**data) cursor.execute(sql_insert) conn.commit() # judge if url is valid and not repeated def continue_crawl(url_list,max_steps=5): if(len(url_list) > max_steps): print("already crawl so many~") return False elif(url_list[-1] in url_list[:-1]): print("already crawl it!") return False else: return True all_url = [] # get next url and put it in list def get_url(url): res = requests.get(url,headers=headers) html = res.text all_url = re.findall('<.*?href="(https://blog.csdn.net.*?)".*?',html) return all_url[-4] # all you need change is here ,change the first url in url_list url_list = ['https://blog.csdn.net/crisprx/article/details/107048541'] while continue_crawl(url_list,20): data = get_data(url_list[-1]) sqlinsert() next_url = get_url(url_list[-1]) url_list.append(next_url) print(url_list[-1]) time.sleep(2) cursor.close() conn.close()再贴一个最终的效果图
和数据库的图：
同样会git到github的，请大伙没事点个star~~
