这是作者曾经在某个程序中写的一个python模块,其作用是爬取国外的一个免费代理IP网站,获得免费的代理IP。这个模块需要科学上网才能使用。

模块只解析了网页的 ip及其端口,其实还有很多关于代理IP的其他数据,比如IP的国家,访问延时,是否支持HTTPS等。有兴趣可自行研究。

使用了BeautifulSoup4 以及 requests 库。

PROXY_UPDATE_QUANTITY 为每次爬取数量,这个数建议不要太高,不要超过80,最好是20.

proxies实例化后应该执行一次update()方法。如果程序持久化运行,应该每隔一段时间执行一次,保证获取到的代理IP都为最新的可用的,建议为2分钟。

get()方法会从上次爬取到的IP列表中随机返回一个已经格式化好的字典格式。到底要用什么格式,可自行修改代码。

完整代码如下:

perfcode.com 保留所有权;如需转载,请注明出处。