爬虫返回数据 16进制编码问题

昨天分析爬虫接口时 发现返回数据 json转化时出错 经过检查发现问题是 json字符串中有 \x3E、\x2F这种编码字符串， 开始解决思路就是把16进制转化为普通字符串结果不行

原因

编码问题 本来这些返回数据是需要前端js 去解析的 \x 开头的16进制数据 是js的表示方法 0x 开头 才是python 16进制的表示方法 所以返回的数据不处理 直接用python 去解析会出现异常

解决办法

在 处理之前 先对返回的数据 进行编码格式处理

res = response.content.decode('unicode_escape').encode('latin1').decode()

当然如果你是要直接对字符串进行处理的话 需要先转成字节码 然后对字节数据进行编码 可以用下边的方式

res = bytes(res_str, 'utf-8').decode('unicode_escape').encode('latin1').decode('utf-8')