Linux下用Wget镜像网站备份方法

本文深入剖析了在Linux下使用Wget进行网站镜像备份的关键实践与常见陷阱，明确指出看似便捷的`wget -m`命令在生产环境中极易因无限递归、缺失域名和目录边界控制而误爬外链、跳站甚至遗漏资源；真正可靠的做法是手动组合`--recursive`、强制添加`--no-parent`和`--domains`作为安全底线，并辅以`--convert-links`和`--page-requisites`确保下载后的页面本地可正常打开，再通过`--html-extension`、合理限速及UA伪装提升兼容性与稳定性——每一步参数都不是可有可无的优化，而是保障镜像完整性、安全性与可用性的必要防线。

直接说结论：用 wget -m 最省事，但实际生产环境几乎不能直接用；真正可靠的做法是手动组合 --recursive、--domains、--convert-links 等参数，并始终加上 --no-parent。

为什么 wget -m 看似方便却容易翻车

-m（--mirror）是快捷开关，等价于 -r -N -l inf --no-remove-listing。它默认开启无限递归、时间戳检查、保留 FTP 列表等行为——但这些对现代网站几乎全是干扰项。

• 不设 --domains 时，只要页面里有外链（比如 Google Analytics、CDN 图片、社交媒体按钮），wget 就会顺着爬出去，可能下完整个互联网
• -N（时间戳比较）依赖服务器正确返回 Last-Modified 头，而大多数 CDN 或动态站点根本不发这个头，导致跳过大量文件
• 没有 --no-parent，从 /blog/post/ 开始下载，可能一路回溯到根目录甚至跨站

--recursive 必须配边界控制：--no-parent 和 --domains 是底线

递归本身不危险，失控才危险。这两个参数不是“可选优化”，而是防止误伤的强制护栏。

• --no-parent：禁止向上跳转目录。比如从 https://example.com/docs/ 启动，就不会去抓 https://example.com/ 或 https://example.com/about/（除非这些链接显式出现在已下载的 docs 页面中）
• --domains example.com：只允许下载指定域名下的资源。即使页面里嵌了 cdn.example.com 或 fonts.googleapis.com 的链接，也不会跟进
• 两者必须同时用：--no-parent 防止目录越界，--domains 防止域名越界；缺一不可

让本地镜像真正可用：--convert-links 和 --page-requisites 不可少

下载完一堆 HTML 和 JS，双击打开却是空白页？大概率是链接没转成本地路径，或关键资源（CSS、图片）根本没下。

• --convert-links（简写 -k）：把页面里所有 href="/css/style.css"、src="https://example.com/js/app.js" 这类链接，全部重写为相对路径，指向本地文件
• --page-requisites（简写 -p）：确保每个 HTML 页面所需的资源（CSS、JS、图片、字体）都被拉下来。注意：它不会递归下载这些资源内部的链接，只保证“单页能离线打开”
• 如果站点用了 WebP 图片或 SVG 字体，-p 默认会下；但若资源路径是 JS 动态拼接的（比如 img.src = host + '/icon.png'），wget 无法识别，这类需人工补漏

实际命令怎么写：一个兼顾安全与可用的模板

以镜像 https://docs.example.com/guide/ 为例：

wget --recursive --no-parent --domains=docs.example.com \
     --convert-links --page-requisites --html-extension \
     --wait=1 --random-wait \
     --user-agent="Mozilla/5.0 (X11; Linux x86_64)" \
     https://docs.example.com/guide/

• --html-extension：给所有 HTML 文件加 .html 后缀（如 /guide/install → /guide/install.html），避免双击打不开
• --wait=1 --random-wait：每次请求间隔 0.5–1.5 秒，降低服务器压力，也减少被封 IP 风险
• --user-agent：伪装成浏览器，绕过部分反爬基础校验（有些站点会拒收 wget 默认 UA）
• 首次运行建议加 -nv（非详细模式）观察日志，确认是否误爬外域或漏资源

最常被忽略的是：下载完成后，务必进目录用浏览器直接打开 index.html 测试，而不是只看文件是否存满——链接转换失败、资源路径错位、JS 动态加载失效，这些都不会报错，但页面就是不工作。

文中关于的知识介绍，希望对你的学习有所帮助！若是受益匪浅，那就动动鼠标收藏这篇《Linux下用Wget镜像网站备份方法》文章吧，也可关注golang学习网公众号了解相关技术文章。