爬取“沙雕表情包”

    技术2022-07-10  143

    欢迎加入我们卧虎藏龙的python讨论qq群:729683466

    qq聊天的时候

    很多朋友会有一种感觉

    图到用时方恨少

    殊不知

    python可也可以用下载表情包的

    今天,我们就用python来爬取

    “斗图啦”网站的表情包

    1:关注“python趣味爱好者”公众号,回复“爬取表情包 ”获取源代码。

    2:加入群聊:729683466。在群文件中下载源代码以及相关资料。

    ss

    python凯撒加密图片

    给“小姐姐”颜值打打分吧

    python3.6.4+第三方模块urllib,re,os,time

    这一节爬虫主要讲一讲关键词是怎么插入到网址中的。

    首先介绍一下我们要爬取的网站---斗图啦。

    这个网站主要就是一些沙雕表情包

    网站是这样的,大家输入网址以后

    https://www.doutula.com/

    大家可以看到,界面上有一个搜索选项。大家可以输入自己想要检索的关键词。

    然后点击搜索

    就会出现和这个关键词相关的图片

    比如大家输入关键词“害怕”,然后点击搜索,就会发现很多和害怕相关的沙雕表情包。

    在这里大家需要注意一下网址的变化。网站首页的网址是

    检索“害怕”关键词之后的网站的网址是

    仔细对比二者可以发现,检索以后的网址相当于在首页网址后面加上了

    search?keyword=害怕。

    这时候,大家基本就看明白了检索的规律。

    大家输入的关键词就是通过这种方式插入到了网址中。

    那么,大家猜测一下。如果大家想检索“小姐姐”

    检索后的网址应该是什么样呢?

    https://www.doutula.com/search?keyword=小姐姐

    然后我们尝试一下 ,看一看真实的效果

    显然,link函数的作用就是连接关键词,形成新的网址,之后我们就可以直接通过这个网址访问服务器的数据了。

    def link(keyword,pagenum): qkeyword=urllib.parse.quote(keyword) page="&page="+str(pagenum) search='search?type=photo&more=1&keyword=' url="http://www.doutula.com/" link=url+search+qkeyword+page req=request.Request(link) req.add_header('user-agent','Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/67.0.3396.99 Safari/537.36') text=request.urlopen(req).read() text=text.decode('utf-8') return text

    其中keyword就是我们输入的关键词

    link就是最终字符串连接形成的网址

    request.Request是访问这个网址,当然,要加上请求头

    最后读取网址然后解码

    返回相关的信息

    有了这么多表情包,以后斗图的时候再也不怕啦!

    作者|齐

    编辑|齐

    感谢大家观看

    有钱的老板可打赏一下小编哦

    代码作者:ChenKS12138

    参考来源:https://github.com/ChenKS12138/scrapy

    Processed: 0.017, SQL: 9