[研究]網站下載 (砍站軟體、離線瀏覽)工具
2023-03-13
名稱繁多：網站下載 (砍站軟體、ＷebSite Mirror、離線瀏覽)工具、離線靜態網站生成工具、網站拷貝、離線瀏覽軟體 (Website copier and offline browser )、Web Copier (網站拷貝)、靜態網站生成器、靜態網頁生成器、Static Website Creation Tool、(open source) static site generator、WebSite Copier、WebSite Downloader
以前玩過幾套網站Mirror工具，最近聽到要把動態網站變成靜態網站，放到CDN網站的事情，重新瞭解一下現況。
註：內容分發網絡（英語：Content Delivery Network或Content Distribution Network，縮寫：CDN）
********************************************************************************
請簡介 整個網站下載工具 ? 含誕生年代、網址、目前版本
ChatGPT
整個網站下載工具是一種軟體工具，可以將整個網站的內容下載到本地電腦，讓使用者在沒有網路連接的情況下也能夠瀏覽網站。以下是一些常見的整個網站下載工具，以及它們的誕生年代、網址和目前版本：
- Wget：1995年問世，由作者Hrvoje Nikšić開發。Wget 是一個由自由軟體基金會開發的命令列工具，它支援多種網路協定，包括 HTTP、HTTPS、FTP 等，並且可以自動遞迴地下載整個網站。Wget 目前的版本是1.21.2，官網為 https://www.gnu.org/software/wget/
- GNU Wget：1996年問世，Wget和GNU Wget是同一款軟體的不同名稱，都是由自由軟體基金會（FSF）開發的自由軟體。在早期，該軟體的名稱是Wget，並且由作者Hrvoje Nikšić自行維護。之後，Wget被加入GNU計劃中，並改名為GNU Wget (1997年)。因此，Wget和GNU Wget是同一款軟體，只是名稱有所不同。現在，官方上只繼續維護GNU Wget這個名稱。它支援HTTP、HTTPS和FTP協議，具有下載續傳、遞迴下載等功能。目前最新版為wget 1.21 (2020-12-31) 和 wget2 2.0.1 (2022-05-27)，可在以下網址下載：https://www.gnu.org/software/wget/
- BlackWidow：於1995年開始開發，並於1996年正式推出，商業級的網站下載工具，最初由SoftByte Labs開發並推出，但該公司於2003年停業。此後，BlackWidow的版權和品牌名稱被購買並且經營由一些其他公司繼續推出和開發，它可以下載整個網站到本地，並支援多種網頁技術和語言，如 HTML、CSS、JavaScript 等。BlackWidow 目前的版本是6.30，官網為 https://www.softbytelabs.com/BlackWidow.asp (網站連不上)
- Teleport Pro：1997年問世，商業級工具，由Tennyson Maxwell Information Systems開發的網站下載工具。它可以將整個網站下載到本地，並可以根據用戶設定選擇下載的內容。Teleport Pro 目前的版本是1.72，官網為 https://www.tenmax.com/teleport-pro.html (網站連不上)
- WebCopier：1998年問世，WebCopier 是一個商業級的網站下載工具，最早於1997年推出。它可以下載整個網站到本地，並支援多種網頁技術和語言，如 HTML、CSS、JavaScript 等。WebCopier 目前的版本是6.1，官網為 https://www.maximumsoft.com/products/webcopier/
註：有分 WebCopier 和 WebCopier Pro，兩者都有 7天試用版和全功能付費版。 - HTTrack：1998年問世，HTTrack 是一個開源的網站下載工具，提供了一個易於使用的圖形界面，可以設定多種下載選項，如掃描深度、頁面過濾等。HTTrack 目前的版本是3.49-2，官網為 https://www.httrack.com/
- Wget for Windows：2001年問世，Chris Liechti於2001年移植。後來，其他開發者也繼續進行開發和更新，例如Giuseppe Scrivano等人。現在，wget for Windows的主要開發者是eternallybored和他的團隊，他們負責維護和更新官方版本的wget for Windows。官網為
https://gnuwin32.sourceforge.net/packages/wget.htm wget 1.11.4 (2008-12-31)
https://eternallybored.org/misc/wget/ 1.21.3 版 (2022-03-12)
https://github.com/webfolderio/wget-windows/releases (不確定是否官方) v1.21.3.june.19.2022 版
https://github.com/lifenjoiner/wget-for-windows/releases (不確定是否官方) 1.21.3.141-91166 版 - WinHTTrack：2002年問世，WinHTTrack 是 HTTrack 的 Windows 版本，最早於2002年推出。它提供了一個易於使用的圖形界面，可以遞迴地下載整個網站，並支援多種網頁技術和語言，如 HTML、CSS、JavaScript 等。WinHTTrack 目前的版本是3.49-2，官網為 https://www.httrack.com/
註：Windows版軟體稱為 WinHTTrack，但程式叫做 HTTrack。Linux版名稱、檔案名稱混著用，例如：
http://rpmfind.net/linux/rpm2html/search.php?query=httrack
- SiteSucker：2002年問世，SiteSucker 是一個免費的 macOS 網站下載工具，最早於2002年推出。它可以下載整個網站到本地，並支援多種網頁技術和語言，如 HTML、CSS、JavaScript 等。SiteSucker 目前的版本是4.2.3，官網為 https://ricks-apps.com/osx/sitesucker/index.html
- Teleport Ultra：2002年問世，由Tennyson Maxwell Information Systems開發的網站下載工具，它支援HTTP、HTTPS、FTP、SFTP等協議，具有多線程下載、計劃下載等功能。Teleport Ultra的第一版於2002年問世，目前最新版為1.72，可在以下網址下載：https://www.tenmax.com/teleport-ultra/ (網站連不上)
- Teleport VLX：2004年問世，Teleport VLX是一款由Tennyson Maxwell Information Systems開發的企業級網站下載工具，它支援HTTP、HTTPS、FTP、SFTP等協議，具有多線程下載、計劃下載、自動更新等功能。Teleport VLX的第一版於2004年問世，目前最新版為1.68，可在以下網址下載：https://www.tenmax.com/teleport-vlx/ (網站連不上)
- Scrapbook X：2005年問世，Scrapbook X是一款由Gomita開發的網頁保存工具，它可以將網頁保存為HTML文件，並支援標籤、分類、搜索等功能。Scrapbook X是Scrapbook的增強版，於2005年問世，目前最新版為1.5.18.43，可在以下網址下載：https://github.com/belphg/scrapbookx (網站連不上，Github上版本眾多，哪一個是官方不詳)
- Teleport Exec：2006年問世，Teleport Exec是一款由Tennyson Maxwell Information Systems開發的企業級網站下載工具，它支援HTTP、HTTPS、FTP、SFTP等協議，具有多線程下載、計劃下載、自動更新等功能。Teleport Exec是Teleport VLX的增強版，於2006年問世，目前最新版為1.72，可在以下網址下載：https://www.tenmax.com/teleport-exec/ (網站連不上)
- Cyotek WebCopy：2009年問世，Cyotek WebCopy 是一個免費的網站下載工具，最早於2010年推出。它可以下載整個網站到本地，並且支援多種網頁技術和語言，如 HTML、CSS、JavaScript 等。目前的版本是setup-cyowcopy-1.9.0.822-x86.exe (2021-12-28)，官網為 https://www.cyotek.com/cyotek-webcopy
注意，某些網站可能有版權或法律限制，使用者在下載網站內容時應留意相關法律規定，避免侵犯他人權益。
註：上面資訊非僅 ChatGPT提供，敝人合併整頓其它查到的資訊。
********************************************************************************
請比較 HTTrack, Wget, SiteSucker, Cyotek WebCopy, GNU Wget, GNU Wget, Scrapbook X, Teleport Pro ? 優點 ? 缺點 ? 用比較表
以下是 HTTrack、Wget、SiteSucker、Cyotek WebCopy、GNU Wget、Scrapbook X 的比較表：
| 工具名稱 | 優點 | 缺點 |
| HTTrack | - 圖形化界面，使用方便 - 支持遞迴下載、過濾器、限速等功能 - 支持 Windows、Linux、Android 等平台 | - 可能會遺漏某些頁面和內容 - 下載過程中可能會出現錯誤 |
| Wget | - 定制化程度很高，可以使用腳本進行下載 - 支持遞迴下載、過濾器、限速等功能 - 可在後台運行 | - 使用命令行需要具備一定技能 - 不夠直觀易用 |
| SiteSucker | - 可以根據網站的結構自動下載相關頁面和資源 - 支持過濾某些內容 - 使用方便 | - 只能在 macOS 平台上運行 - 下載速度可能較慢 |
| Cyotek WebCopy | - 可以檢測網站中的錯誤和不完整的頁面 - 支持過濾器、限速等功能 - 使用方便 | - 下載時間可能較長 - 在處理複雜網站時可能出現錯誤 |
| GNU Wget | - 開源免費，支持多種平台 - 支持 HTTP、HTTPS 和 FTP 下載 - 支持遞迴下載、過濾器、限速等功能 | - 使用命令行需要具備一定技能 - 不夠直觀易用 |
| Scrapbook X | - 可以下載整個網站、圖片、音頻、視頻等內容 - 使用方便 | - 只能在 Firefox 瀏覽器上使用 - 不支持遞迴下載 |
| Teleport Pro | - 可以設置多個下載任務，支持同時下載多個網站 - 支持遞迴下載、過濾器、限速等功能 - 下載速度較快 | - 該軟件需要付費購買 - 使用界面較為陳舊 |
以上是這些工具的主要優點和缺點的簡要比較，使用者可以根據自己的需求和習慣選擇適合的下載工具。
**********
敝人補充：其實 Teleport 系列有好幾套：Teleport Pro, Teleport Ultra, Teleport VLX , Teleport Exec，Teleport Pro 是其中最出名的；印象中可下載的網頁數量有不同限制，ChatGPT沒列上去。實際測試商用和免費，各有一些網址的網頁沒抓到。
Teleport系列官方網站連不上，原因不明
https://www.tenmax.com
Teleport Pro販售網站
https://www.linksoft.com.tw/checkout
********************************************************************************
HTTrack, Wget, SiteSucker, Cyotek WebCopy, GNU Wget, GNU Wget, Scrapbook X, Teleport Pro 是否支援多線程下載 ?
以下是這些離線瀏覽器軟體是否支援多線程下載的資訊：
- HTTrack: 是的，支援多線程下載。
- Wget: 是的，支援多線程下載。
- SiteSucker: 否，不支援多線程下載。
- Cyotek WebCopy: 是的，支援多線程下載。
- GNU Wget: 是的，支援多線程下載。
- Scrapbook X: 否，不支援多線程下載。
- Teleport Pro: Teleport Pro的試用版僅支援單線程下載，完整版支援多線程下載。
因此，HTTrack、Wget、Cyotek WebCopy、GNU Wget和Teleport Pro的完整版支援多線程下載。而SiteSucker和Scrapbook X則不支援多線程下載。
********************************************************************************
請比較 離線瀏覽器軟體 Teleport Pro, Teleport Ultra, Teleport VLX , Teleport Exec ? 試用版 ? 規格 ? 可下載網頁數量 ? 軟體報價 ?
以下是比較四款 Teleport 離線瀏覽器軟體的試用版、規格、可下載網頁數量和軟體報價：
| 軟體名稱 | 試用版 | 規格 | 可下載網頁數量 | 軟體報價 |
| Teleport Pro | 提供試用版 | 可下載整個網站或特定的檔案，支援多條線程下載、過濾 URL、排程等功能 | 沒有數量限制 | 單機版報價：$49.95；企業版報價：需要聯繫 Teleport Pro 的銷售團隊 |
| Teleport Ultra | 提供試用版 | 功能與 Teleport Pro 類似，但可以從多個伺服器同時下載資料，並支援 SSL、SSH、FTP、HTTP 等多種協定 | 沒有數量限制 | 單機版報價：$195；企業版報價：需要聯繫 Teleport Ultra 的銷售團隊 |
| Teleport VLX | 不提供試用版 | 適用於企業級網路資料下載，支援集中管理、分散式下載、隊列管理、重複資料篩選等功能 | 可下載數量視購買的許可證而定 | 單機版報價：$995；企業版報價：需要聯繫 Teleport VLX 的銷售團隊 |
| Teleport Exec | 不提供試用版 | 適用於大型企業和政府機構，支援高速分散式下載、自動化下載、網路監控等功能 | 可下載數量視購買的許可證而定 | 單機版報價：$3995；企業版報價：需要聯繫 Teleport Exec 的銷售團隊 |
綜合以上比較，Teleport Pro 和 Teleport Ultra 的試用版可以免費下載和使用，且沒有可下載網頁數量限制。Teleport VLX 和 Teleport Exec 不提供試用版，可下載網頁數量則視購買的許可證而定。
註：可下載網頁數量與敝人經驗和看過資訊不符，Teleport Pro是 65,535個，後面Ultra, VLX, Exec版本更多，ChatGPT的回答敝人懷疑，但官方網站目前連不上，無法確認，或者新版限制取消或提高。
HTTrack 或 WebHTTrack 或其他並沒有明確的下載網頁數量或大小限制，但實際是否有上限不詳。
********************************************************************************
HTTrack, Wget, SiteSucker, Cyotek WebCopy, GNU Wget, GNU Wget, Scrapbook X, Teleport Pro, Teleport Ultra, Teleport VLX, Teleport Exec 下載最不會漏失者為何 ?
ChatGPT：
在這些離線瀏覽器軟體中，由於它們各自的演算法和設計，可能會有不同程度的漏失下載情況發生。然而，一般來說，多線程下載軟體可能會更容易發生漏失下載的情況，因為它們需要同時處理多個下載任務。另外，如果網站本身具有某些限制或安全措施，也可能會導致某些頁面無法正常下載。
綜合以上考慮，無法準確判斷哪一款軟體下載最不會漏失，因為這可能取決於具體的下載任務和網站的特點。使用者可以根據自己的需要和具體情況，選擇一款性能和穩定性較為優秀的軟體進行下載。此外，定期檢查下載的內容是否完整也是減少漏失情況的重要方法。
********************************************************************************
HTTrack, Wget, SiteSucker, Cyotek WebCopy, GNU Wget, GNU Wget, Scrapbook X, Teleport Pro, Teleport Ultra, Teleport VLX, Teleport Exec 下載最快者為何 ?
ChatGPT：
在這些離線瀏覽器軟體中，哪一款下載速度最快取決於多種因素，例如網路環境、下載任務的大小和複雜度、使用者自身的電腦性能等。因此，無法準確地指出哪一款下載速度最快。
然而，一般來說，多線程下載軟體可能比單線程下載軟體下載速度更快，因為它們可以同時下載多個檔案或多個部分，從而提高整體下載速度。其中一些軟體如Teleport Ultra、Teleport VLX和Teleport Exec支援多線程下載，因此可能會具有較高的下載速度。
使用者可以根據自己的需要和具體情況，選擇一款下載速度較快的軟體進行下載。
********************************************************************************
請比較 Cyotek WebCopy, WinHTTrack , WGET for Windows 優點 ? 缺點 ?
以下是這三個網站複製工具的優缺點比較：
Cyotek WebCopy 優點：
- 介面簡單易用，使用者體驗良好。
- 可以對網站進行深度掃瞄，包括動態網頁和AJAX網站。
- 可以選擇性地下載網站內容，例如僅下載圖像、CSS、JavaScript等。
- 支持多種語言，包括繁體中文。
Cyotek WebCopy 缺點：
- 功能不如其他工具豐富。
- 不支持通過代理服務器訪問網站。
WinHTTrack 優點：
- 功能豐富，可以下載整個網站，包括內容、圖像、音頻、視頻等。
- 支持通過代理服務器訪問網站。
- 可以設置過濾器，排除某些網頁或內容。
WinHTTrack 缺點：
- 介面不夠直觀，對新手使用較為困難。
- 下載速度較慢，佔用系統資源較多。
WGET for Windows 優點：
- 非常靈活，可以根據用戶需要自定義下載內容和方式。
- 支持通過代理服務器訪問網站。
- 下載速度快，佔用系統資源較少。
WGET for Windows 缺點：
- 需要命令行操作，對用戶要求較高。
- 需要自己設置參數，對用戶要求較高。
總體而言，這三個工具都有自己的優點和缺點。如果您需要下載整個網站，WinHTTrack 可能是最好的選擇。如果您只需要下載部分內容，Cyotek WebCopy 可能更適合您。如果您需要更靈活的控制和自定義選項，WGET for Windows 可能是您的最佳選擇。
| 工具名稱 | 優點 | 缺點 |
| Cyotek WebCopy | - 簡單易用的介面 - 可以深度掃瞄網站 - 可選擇性下載內容 - 多語言支援 | - 功能較為簡單 - 不支持通過代理服務器訪問網站 |
| WinHTTrack | - 功能豐富 - 可下載整個網站內容 - 支持代理服務器 - 可設置過濾器 | - 介面不直觀 - 下載速度較慢，佔用系統資源較多 |
| WGET for Windows | - 非常靈活 - 可自定義下載內容 - 支持代理服務器 - 下載速度快，佔用系統資源較少 | - 命令行操作較難上手 - 需要自行設置參數 |
注意：以上僅列出了三種工具的一般優點和缺點，使用者還應該根據自己的具體需求和網站內容，選擇最適合自己的工具。
********************************************************************************
沒有留言:
張貼留言