一条命令下载整个网站

在Linux系统下,你可以通过一条命令来下载整个网站,并按照网站的目录结构生成对应的文件夹及网页文件

wget --random-wait -r -p -e robots=off -U mozilla http://www.example.com

该命令只能下载整个网站的静态资源,通过JavaScript生成的动态内容无法下载;且资源需要在网页上能被爬取到;

使用这条命令需要确保你的磁盘有足够的空间。

原创内容,如需转载,请注明出处;

本文地址: https://www.perfcode.com/p/download-an-entire-website.html

分类: 计算机技术
推荐阅读:
Golang读取INI配置文件到结构体 本文将介绍Golang使用github.com/go-ini/ini包读取ini配置文件到结构体的方法。
Python使用莱布尼茨公式计算圆周率 可以通过莱布尼茨级数的求和来逼近圆周率;公式为:π/4 = 1 - 1/3 + 1/5 - 1/7 + 1/9 - ......(无限项)
从Nginx日志中提取UserAgent、IP等信息 有时我们需要用到大量UserAgent信息,而Nginx日志文件中包含了海量真实的UserAgent,从Nginx文件中提取所有UserAgent信息就很有必要;
Nginx禁止使用IP直接访问 在有些场景中,我们希望访问者只能通过域名访问网站,不允许访问者直接通过IP进行访问,这一简单功能可通过配置Nginx实现。
一条Linux命令让你看起来很忙还很酷 在Linux系统下,如果你想让你的终端看起来很忙,或者想在某人面前装酷,那么你一定需要这条命令来实现:
Rust toml::Table详细用法 在Rust中,toml::Table是一个代表TOML表(table)的结构体,可以使用它来访问和操作TOML格式的数据。toml::Table结构体可以看作是一个HashMap,它将TOML表的键和值映射到一个哈希表中。TOML表是TOML格式数据的核心,它表示一组键值对,其中每个键都是一个字符串,对应一个值。