Python爬取国外可用的代理IP

这是作者曾经在某个程序中写的一个python模块,其作用是爬取国外的一个免费代理IP网站,获得免费的代理IP。这个模块需要科学上网才能使用。

模块只解析了网页的 ip及其端口,其实还有很多关于代理IP的其他数据,比如IP的国家,访问延时,是否支持HTTPS等。有兴趣可自行研究。

使用了BeautifulSoup4 以及 requests 库。

完整代码如下:

from bs4 import BeautifulSoup as bs
import requests as _r
import random

PROXY_UPDATE_QUANTITY = 80

PROXY_WEB_API = 'https://free-proxy-list.net'

class proxies:
    def __init__(self,metux=None):
        self.proxies = []
        self.metux = metux

    def update(self):
        try:
            resp = _r.get(PROXY_WEB_API)
            html = resp.text
        except Exception as err:
            print(err)
            print('IP表更新失败')
            return 0
        soup = bs(html,'html.parser')
        table = soup.find('table')
        tmp_proxies = []
        c = 0
        for tr in table.tbody:
            if c >= PROXY_UPDATE_QUANTITY: break
            td = tr.findAll('td')
            ip = td[0].string
            port = td[1].string
            tmp_proxies.append(ip+':'+port)
            c += 1

        if self.metux:
            with self.metux:
                self.proxies = tmp_proxies[:]
        else:
            self.proxies = tmp_proxies[:]
        return len(self.proxies)
    def get(self):
        return {'http':'http://'+random.choice(self.proxies)}

PROXY_UPDATE_QUANTITY 为每次爬取数量,这个数建议不要太高,不要超过80,最好是20.

proxies实例化后应该执行一次update()方法。如果程序持久化运行,应该每隔一段时间执行一次,保证获取到的代理IP都为最新的可用的,建议为2分钟。

get()方法会从上次爬取到的IP列表中随机返回一个已经格式化好的字典格式。到底要用什么格式,可自行修改代码。

原创内容,如需转载,请注明出处;

本文地址: https://www.perfcode.com/p/1485.html

分类: 计算机技术
推荐阅读:
Rust入门示例教程 该教程是一个可运行示例的集合,这些示例说明了各种Rust概念和标准库;如果你不喜欢阅读大量的文档来学习编程语言,那么该示例教程就很适合你,它不仅覆盖了你要学习的知识,而且有很多的篇幅来解释代码;
PySide6 beep()函数详细教程 PySide6.QtWidgets.QApplication类的成员函数beep()将使用系统设置的音量和声音进行通知;
Linux从视频文件里提取音频 通常来说,从一个视频文件里提取出其音频可能需要你学习使用某些音视频处理软件;而在Linux下,你只需要一条命令即可实现将将音频从视频文件中提取出来:
PySide6修改字体颜色 在 PySide6中,我们可以通过修改控件的样式表来修改字体颜色。
Python sum()函数 在 Python 中,sum() 函数用于对给定的可迭代对象进行求和操作。
Python字符串split()方法 在使用Python处理字符串时,你可能需要将字符串拆分为若干个子字符串;Python中的字符串方法split()可以帮助你完成这个任务。