Python爬虫代理

    技术2022-07-11  138

    代理IP的分类

    根据代理ip的匿名程度,代理IP可以分为下面四类:

    透明代理(Transparent Proxy):透明代理虽然可以直接“隐藏”你的IP地址,但是还是可以查到你是谁。

    匿名代理(Anonymous Proxy):使用匿名代理,别人只能知道你用了代理,无法知道你是谁。

    高匿代理(Elite proxy或High Anonymity Proxy):高匿代理让别人根本无法发现你是在用代理,所以是最好的选择。

    在使用的使用,毫无疑问使用高匿代理效果最好

    从请求使用的协议可以分为:

    http代理https代理socket代理等 不同分类的代理,在使用的时候需要根据抓取网站的协议来选择。

    使用注意事项

    反反爬

    使用代理ip是非常必要的一种反反爬的方式

    但是即使使用了代理ip,对方服务器任然会有很多的方式来检测我们是否是一个爬虫,比如:

    一段时间内,检测IP访问的频率,访问太多频繁会屏蔽

    检查Cookie,User-Agent,Referer等header参数,若没有则屏蔽

    服务方购买所有代理提供商,加入到反爬虫数据库里,若检测是代理则屏蔽

    所以更好的方式在使用代理ip的时候使用随机的方式进行选择使用,不要每次都用一个代理ip

    代理ip池的更新

    购买的代理ip很多时候大部分(超过60%)可能都没办法使用,这个时候就需要通过程序去检测哪些可用,把不能用的删除掉。

    使用随机代理来发送请求

    """使用随机代理来发送请求""" import random import requests proxies = [ {'http': '121.8.98.198:80'}, {'http': '39.108.234.144:80'}, {'http': '125.120.201.68:808'}, {'http': '120.24.216.39:60443'}, {'http': '121.8.98.198:80'}, {'http': '121.8.98.198:80'} ] for i in range(0, 10): proxy = random.choice(proxies) print(proxy) try: response = requests.get("http://www.baidu.com", proxies=proxy, timeout=3) print(response.status_code) except Exception as ex: print("代理有问题: %s" % proxy)
    Processed: 0.009, SQL: 9