requests库爬虫设置代理ip

1. 代理ip的购买或者免费获取

西刺免费代理IP：http://www.xicidaili.com/快代理：http://www.kuaidaili.com/(本人在用，用于测试时只需使用其免费代理即可)代理云：http://www.dailiyun.com/        

2. 测试网址

http://httpbin.org/ip ： 该网址专门用来显示ip等信息，在做代理测试时可以爬取该网址来测试自己是否 设置成功。

3. 代码实现

import requests # 该网址方便查看ip信息以此来查看自己ip是否使用了代理方式 url = "http://httpbin.org/ip" headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/62.0.3202.94 Safari/537.36', } # 快代理免费代理 proxy = { "http": "218.21.96.128:58080" } resp = requests.get(url, headers=headers, proxies=proxy) print(resp.text)

有没有感觉requests设置代理ip要比urllib库便捷很多，这也就是现在requests库比较流行的原因。