2. 技术
    3. Requests库入门笔记

    Requests库入门笔记

    技术2026-01-27  8

    文章目录

    Requests库入门一：安装二：使用1、Requests库的七个主要方法:2、Requests库的get()方法：requests.get(url, params=None, **kwargs)3、Response对象的属性：4、Response的编码：5、Requests库的异常：6、HTTP协议对资源的操作7、PATCH和PUT的区别：8、requests.request(method, url, **kwargs)

    Requests库入门

    一：安装

    requests安装：管理员身份运行cmd，执行 pip install requests

    测试是否成功：

    >>> import requests >>> response = requests.get("http://www.baidu.com") >>> print(response.status_code) 200 >>> response.text '<!DOCTYPE html>\r\n<!--STATUS OK--><html> <head><meta http-equiv=content-type content=text/html;charset=utf-8><meta http-equiv=X-UA-Compatible content=IE=Edge><meta content=always name=referrer><link rel=stylesheet type=text/css href=http: #后面的省略

    二：使用

    1、Requests库的七个主要方法:
    方法说明requests.request()构造一个请求，支撑以下各方法的基础方法requests.get()获取HTML网页的主要方法，对应于HTTP的GETrequests.head()获取HTML网页头信息的方法，对应于HTTP的HEADrequests.post()向HTML网页提交POST请求的方法，对应于HTTP的POSTrequests.put()向HTML网页提交PUT请求的方法，对应于HTTP的PUTrequests.patch()向HTML网页提交局部修改请求，对应于HTTP的PATCHrequests.delete()向HTML页面提交删除请求，对应于HTTP的DELETE
    2、Requests库的get()方法：requests.get(url, params=None, **kwargs)

    response = requests.get(url),：

    response会返回一个包含服务器资源的Response对象。

    requests.get(url) 构造一个向服务器请求资源的Request对象。

    其中 url ：获取页面的url链接；

    params：url中的额外参数，字典或字节流格式，可选；

    **kwargs：12个控制访问的参数。

    Requests库的 2 个重要对象（Response、Request）：

    response = requests.get(url)

    Response对象包含爬虫返回的内容，包含服务器返回的所有信息，也包含请求的Request信息。

    3、Response对象的属性：
    属性说明response.status_codeHTTP请求的返回状态，200表示连接成功，404或其他表示失败response.textHTTP响应内容的字符串形式，即 url对应的页面内容response.encoding从HTTP header中猜测的响应内容编码方式response.qpparent_encoding从内容中分析出的响应内容编码方式（备选编码方式）response.contentHTTP响应内容的二进制形式 >>> import requests >>> response = requests.get("http://www.baidu.com") >>> response.status_code #返回200说明成功连接 200 >>> response.text #在不知道编码格式的情况下打印出来可能会乱码 '<!DOCTYPE html>\r\n<!--STATUS OK--><html> <head><meta http-equiv=content-type content=text/html;charset=utf-8><meta http-equiv=X-UA-Compatible content=IE=Edge><meta content=always name=referrer><link rel=stylesheet type=text/css href=http://s1.bdstatic.com/r/www/cache/bdorz/baidu.min.css> #后面的省略 >>> response.encoding #从HTTP header中猜测的响应内容编码方式 'ISO-8859-1' >>> response.apparent_encoding #从内容中分析出的响应内容编码方式 'utf-8' >>> response.encoding = "utf-8" #设置它的编码 >>> response.text #再次打印就不会乱码 '<!DOCTYPE html>\r\n<!--STATUS OK--><html> <head><meta http-equiv=content-type content=text/html;charset=utf-8><meta http-equiv=X-UA-Compatible content=IE=Edge><meta content=always name=referrer><link rel=stylesheet type=text/css href=http://s1.bdstatic.com/r/www/cache/bdorz/baidu.min.css><title>百度一下，你就知道</title></head> <body link=#0000cc> <div id=wrapper> <div id=head> <div #后面的省略
    4、Response的编码：

    1、response.encoding（从HTTP header中猜测的响应内容编码方式）：如果header中不存在charset，则认为编码为“ISO‐8859‐1”， response.text根据response.encoding显示网页内容。

    2、response.apparent_encoding（从内容中分析出的响应内容编码方式）：根据网页内容分析出的编码方式 可以看作是response.encoding的备选

    网络连接有风险，异常处理很重要，通用代码框架：

    import requests def getHTMLText(url): try: response = requests.get(url, timeout=30) response.raise_for_status() #如果状态码不是200，则引发HTTPError异常 response.encoding = response.apparent_encoding return response.text except: return "爬取失败" if __name__ == "__main__": url = "http://www.baidu.com" print(getHTMLText(url)) 运行结果: <!DOCTYPE html> <!--STATUS OK--><html> <head><meta http-equiv=content-type content=text/html;charset=utf-8><meta http-equiv=X-UA-Compatible content=IE=Edge><meta content=always name=referrer><link rel=stylesheet type=text/css href=http://s1.bdstatic.com/r/www/cache/bdorz/baidu.min.css><title>百度一下，你就知道</title></head> <body link=#0000cc> <div id=wrapper> <div id=head> <div #此处省略不计其数的字 </p> <p id=cp>&copy;2017&nbsp;Baidu&nbsp;<a href=http://www.baidu.com/duty/>使用百度前必读</a>&nbsp; <a href=http://jianyi.baidu.com/ class=cp-feedback>意见反馈</a>&nbsp;京ICP证030173号&nbsp; <img src=//www.baidu.com/img/gs.gif> </p> </div> </div> </div> </body> </html>
    5、Requests库的异常：
    异常说明requests.ConnectionError网络连接错误异常，如DNS查询失败、拒绝连接等requests.HTTPErrorHTTP错误异常requests.TooManyRedirects超过最大重定向次数，产生重定向异常requests.ConnectTimeout连接远程服务器超时异常requests.Timeout请求URL超时，产生超时异常requests.URLRequiredURL缺失异常response.raise_for_status()不是200，产生异常 requests.HTTPError

    response.raise_for_status()在方法内部判断r.status_code是否等于200，不需要增加额外的if语句，该语句便于利用try‐except进行异常处理。

    6、HTTP协议对资源的操作
    方法说明GET请求获取URL位置的资源GEAD请求获取URL位置资源的响应消息报告，即获得该资源的头部信息POST请求向URL位置的资源后附加新的数据PUT请求向URL位置存储一个资源，覆盖原URL位置的资源PATCH请求局部更新URL位置的资源，即改变该处资源的部分内容DELETE请求删除URL位置存储的资源
    7、PATCH和PUT的区别：

    假设url位置有一组数据UserInfo，包括UserID、UserName等20个字段。

    需求：用户修改了UserName，其他不变；

    1、采用PATCH，仅向url提交UserName的局部更新请求；

    2、采用PUT，必须将所有20个字段一并提交到url，未提交字段被删除 PATCH的最主要好处：节省网络带宽。

    8、requests.request(method, url, **kwargs)

    ①、method : 请求方式，对应get/put/post等7种。

    ②、url : 拟获取页面的url链接。

    ③、**kwargs: 控制访问的参数，共13个。

    method请求方法response = requests.request(‘GET’, url, **kwargs)response = requests.request(‘HEAD’, url, **kwargs)response = requests.request(‘POST’, url, **kwargs)response = requests.request(‘PUT’, url, **kwargs)response = requests.request(‘PATCH’, url, **kwargs)response = requests.request(‘delete’, url, **kwargs)response = requests.request(‘OPTIONS’, url, **kwargs)

    **kwargs: 控制访问的参数，均为可选项

    ①、params : 字典或字节序列，作为参数增加到url中

    import requests kv = {'key1': 'value1', 'key2': 'value2'} response = requests.request('GET', 'http://www.baidu.com', params=kv) print(response.url) 运行结果： http://www.baidu.com/?key1=value1&key2=value2

    ②、data : 字典、字节序列或文件对象，作为Request的内容

    import requests kv = {'key1': 'value1', 'key2': 'value2'} response = requests.request('POST', 'http://www.baidu.com', data=kv) body = '主体内容' response = requests.request('POST', 'http://www.baidu.com', data=body)

    ③、json : JSON格式的数据，作为Request的内容

    import requests kv = {'key1': 'value1', 'key2': 'value2'} response = requests.request('POST', 'http://www.baidu.com', json=kv)

    ④、headers : 字典，HTTP定制头

    import requests head = {'user‐agent': 'Chrome/10'} #修改请求头，避免服务器识别出requests爬虫 response = requests.request('POST', 'http://www.baidu.com', headers=hd)

    ⑤、cookies : 字典或CookieJar，Request中的cookie

    ⑥、auth : 元组，支持HTTP认证功能

    ⑦、files : 字典类型，传输文件

    import requests fs = {'file': open('test.txt', 'rb')} response = requests.request('POST', 'http://www.baidu.com', files=fs)

    ⑧、timeout : 设定超时时间，秒为单位

    response = requests.request('GET', 'http://www.baidu.com', timeout=30)

    ⑨、proxies : 字典类型，设定访问代理服务器，可以增加登录认证

    import requests pxs = { 'http': 'http://user:pass@110.110.110.110:110' 'https': 'https://110.110.110.110:110' } response = requests.request('GET', 'http://www.baidu.com', proxies=pxs)

    ⑩、allow_redirects : True/False，默认为True，重定向开关。

    ​ stream : True/False，默认为True，获取内容立即下载开关。

    ​ verify : True/False，默认为True，认证SSL证书开关。

    ​ cert : 本地SSL证书路径。

    Processed: 0.025, SQL: 9