一条命令下载整个网站

在Linux系统下,你可以通过一条命令来下载整个网站,并按照网站的目录结构生成对应的文件夹及网页文件

wget --random-wait -r -p -e robots=off -U mozilla http://www.example.com

该命令只能下载整个网站的静态资源,通过JavaScript生成的动态内容无法下载;且资源需要在网页上能被爬取到;

使用这条命令需要确保你的磁盘有足够的空间。

原创内容,如需转载,请注明出处;

本文地址: https://www.perfcode.com/p/download-an-entire-website.html

分类: 计算机技术
推荐阅读:
Python set()函数 在 Python 中,set() 函数用于创建一个无序不重复元素集合。可以使用一个可迭代对象作为参数,例如列表、元组、字符串等。set() 函数会返回一个新的集合,其中包含传递给函数的唯一元素。
Unable to access Android SDK add-on list 提示解决办法 Android Studio安装完成并运行,可能会提示Unable to access Android SDK add-on list,如下所示:
C语言strcat()函数:追加字符串到另一个字符串尾部 strcat()是C语言标准库中的一个字符串函数,用于将一个字符串追加到另一个字符串的末尾;
解决Golang中cannot refer to unexported name xxxx这类错误 在Golang中,碰到cannot refer to unexported name xxxx,这类错误,通常是你调用了一个包内不存在的函数导致的;
Python join()方法 在使用Python处理字符串时,您可能需要将较小的块连接在一起形成一个字符串;Python中的字符串方法join()可以帮助您完成这个任务;
Golang生成一个整数范围内的随机整数 在Golang中,可以通过math/rand包的Intn(n)函数生成一个0~n之间的随机整数,碰到100~200、-10~10这样的整数段却无能为力了;