Wget 強大的檔案下載工具

發表於 | 分類於 | |

最近有一個需求 需要把瀏覽的整個網站給抓下來

在瀏覽器上打開開發人員工具 點選 Sources
你可以看到 Server 下面 滿滿的資料夾與各種靜態資源

但怎麼抓呢 那就是用… Wget

內文

  • Wget 介紹
  • 如何安裝 Wget
  • 如何使用 Wget

Wget 介紹


Wget 全名 : World Wide Web Get

在 Linux 作業系統上為內建的指令之一
是一個功能非常強大的檔案自動下載工具
雖然你知道 curl 也可以用來下載檔案
但有別於 curl 的地方在於 Wget 可以進行遞迴下載
所以特別適合抓取整個網站 以取得所有目錄及其檔案

但 Mac 本身並未預設安裝此工具
所以如需使用需要另行安裝

底下介紹安裝方式

如何安裝 Wget


首先 安裝 MacOS 的套件管理工具 Homebrew

安裝方式 CLI 輸入以下指令:

1
/bin/bash -c "$(curl -fsSL https://raw.githubusercontent.com/Homebrew/install/master/install.sh)"

Homebrew 是什麼呢
如官網所提的 他就是 macOS 缺少套件的管理工具

你可以使用這個套件管理工具來安裝您 Mac 所需要用到的軟體
如 google chrome, adobe, nvm, 當然包括 Wget etc.

  • 確認你想安裝的軟體

brew search wget

  • 安裝 Wget

brew install wget

OK 這樣就安裝完成了

最後來說明使用 Wget 的方式

如何使用 Wget


Wget 的用法如下

wget <Options> <URL>

假設我要抓取 google 的網站到桌面

那我就分別輸入以下指令

cd ~/Desktop

wget -r www.google.com

最後介紹常用的參數

  • -r (-recursive) : 用來表示遞迴下載
  • -np (–no-parent) : 用來表示不向上遞迴下載

本文作者： David Huang
本文地址： https://davidblog.github.io/2020/06/26/wget/

0%