Ставлю ruby, спробую завантажувати сайти з вебархіву у два кліки:
- рубі для вінди:
- Скрипт для завантаження сайтів із вебархіву:
Коротка інструкція
Рано чи пізно будь-якому вебмайстру знадобиться завантажити якийсь сайт з вебархіву. Цілі бувають різні, від отримання забутого пошуковими системами і нібито унікального контенту, до повного копіювання сайту зі збереженням усієї структури, для відновлення на придбаному дроп-домені. Найкраще для цього підійде безкоштовний сервіс web.archive.org. У сервісу немає жодних квот на обсяги даних і час скачування. Нам знадобиться тільки термінал і 5 хвилин на налаштування. Всі маніпуляції будуть проводитися в операційній системі Windows нехай 10.
Встановлення Ruby
Підтримка Ruby в системі необхідна для роботи нашої утиліти для скачування сайтів з вебархіву. Встановити найпростіше дистрибутивно, тобто зайти на сайт цієї мови програмування і завантажити інсталятор. Усе має встановитися автоматично, включно зі змінними оточення, і за підсумком Ruby встане на диск C.
Встановлення Wayback Machine Downloader
Це і є наша безкоштовна консольна утиліта для скачування архівної версії сайту. Встановлювати ми її будемо через вбудований у Ruby пакетний менеджер RubyGems, ось такою командою:
gem install wayback_machine_downloader
І тепер переходимо до найголовнішого!
Завантажуємо сайт із веб-архіву безкоштовно
У терміналі вводимо команду:
wayback_machine_downloader https://site.com
Де https://site.com – будь-який сайт, який потрібно завантажити (сайт можна вказати і без протоколу). Застереження, майже будь-який. Деякі сайти закривають доступ боту вебархіву в robots.txt і не скануються сервісом, також власники сайту можуть попросити видалити всі знімки свого сайту, і це буде виконано беззастережно адміністрацією Wayback Machine.
Додаткові параметри утиліти можна подивитися на її сторінці в GitHub.
Альтернативний варіант
Альтернативна програма для Вінди, без рубі:
- завантажуємо архів https://github.com/erlange/wbm-dl/releases/download/v0.6/wbm-dl.1.0.6.zip
- розпаковуємо вміст у папку c:\wayback, наприклад
- запускаємо командний рядок віндоус – cmd
- пишемо в командному рядку: cd c:\waybak – тиснемо ентер, далі:
wbm-dl WEBSITE.UA -o ./ -c 10 -t 234234234234
де WEBSITE.UA – домен, який качаємо з вебархіву;
-t 234234234234 – замість цифр підставляємо потрібні з УРЛ знімка.
Наприклад для сайту test.ua знімок вебархіву https://web.archive.org/web/20190918113232/http://test.ua/ завантажиться такою командою:
wbm-dl test.ua -o ./ -c 10 -t 20190918113232
У підсумку в папці c:\waybak\websites\test.ua лежатиме завантажений сайт.