一条命令下载整个网站

在Linux系统下,你可以通过一条命令来下载整个网站,并按照网站的目录结构生成对应的文件夹及网页文件

wget --random-wait -r -p -e robots=off -U mozilla http://www.example.com

该命令只能下载整个网站的静态资源,通过JavaScript生成的动态内容无法下载;且资源需要在网页上能被爬取到;

使用这条命令需要确保你的磁盘有足够的空间。

原创内容,如需转载,请注明出处;

本文地址: https://www.perfcode.com/p/download-an-entire-website.html

分类: 计算机技术
推荐阅读:
C语言strcpy()函数:复制字符串 strcpy()函数会将源字符串中的内容复制到目标字符串中,直至遇到字符串终止符'\0';复制过程中,包括字符串终止符'\0'在内的所有字符都会被复制;
requests发送HTTP请求后返回的响应头 requests 返回的Response对象包含响应头属性 headers:
Kali无法安装arpspoof工具的解决办法 如果你的 kali 里没有 arpspoof 工具;且使用类似于 arp-get install arpspoof 这样的命令尝试安装,但还是无法成功;那我来告诉你,你这样时无法安装成功的。
Python format()函数 Python 内置的 format() 函数是一种字符串格式化输出的方法,可以将变量插入到字符串中,并控制输出的格式。
让自己的网页在手机QQ中以卡片的方式分享出去 在使用QQ进行聊天的过程中,发送自己网页的链接时(不是打开网站后分享给好友,单单指将网页链接以文本的形式发送出去),默认情况下是不会以卡片形式显示的,那么如何让别人看到的是卡片呢。
requests中的超时(timeout)设定和捕获异常 为防止服务器不能及时响应,大部分发至外部服务器的请求都应该带着 timeout 参数。在默认情况下,除非显式指定了 timeout 值,requests 是不会自动进行超时处理的。如果没有 timeout,你的代码可能会挂起若干分钟甚至更长时间。