wgetまたはcurlを使用してWebページをarchive.todayにアーカイブするにはどうすればよいですか?

インターネットアーカイブのウェイバックマシンでウェブページをアーカイブするには、通常、次のようにします。

wget --spider "https://web.archive.org/save/https://example.com" 

Webページを archive.today にアーカイブするために使用できる同様の方法はありますか?

回答

ファイルを手動で保存するリクエストを分析しました(Firefox “開発者ツールには、このための便利な「cURLとしてコピー」機能があります-の投稿の下部を参照してください実際のリクエスト)。これには、省略できる多くの綿毛(ユーザーエージェント、Cookie、オリジンなど)が含まれており、URLのスラッシュをエスケープする必要もありません。 プロフィールページをアーカイブするには、

curl -v "https://archive.vn/submit/" \ --data-raw "url=https://webapps.stackexchange.com/users/218839/flux" 

を実行するだけで十分です。 当初、応答は「進行中の作業」リンクを含むHTMLでした: https://archive.vn/wip/dk2xB これを使用して、進行状況を監視したり、最終的なリンクとして使用したりできます。

<html><body><script>setInterval(function(){document.location.replace("https://archive.vn/wip/dk2xB")},1000)</script><div> <img width="48" height="48" style="vertical-align:middle" src="https://archive.vn/loading.gif"/> <span style="vertical-align:middle;font-size:48px;padding-left:5px">Loading</span> <hr/> </div></body></html> 

数時間後、もう一度試してみます。応答としてHTMLを取得せず、Locationヘッダーに最終URLを含むHTTP 302(Found): https://archive.vn/dk2xB

アーカイブされたページは次のようになります:

ここに画像の説明を入力してください


元のcURLリクエストは

curl "https://archive.vn/submit/"\ -H "User-Agent: Mozilla/5.0 (Macintosh; Intel Mac OS X 10.15; rv:81.0) Gecko/20100101 Firefox/81.0"\ -H "Accept: text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,*/*;q=0.8"\ -H "Accept-Language: en-US,en;q=0.5"\ --compressed\ -H "Content-Type: application/x-www-form-urlencoded"\ -H "Origin: https://archive.vn"\ -H "Connection: keep-alive"\ -H "Referer: https://archive.vn/"\ -H "Cookie: _ga=GA1.2.661111166.1603535444"\ -H "Upgrade-Insecure-Requests: 1"\ -H "TE: Trailers"\ --data-raw "submitid=1Z%2FjKja%2BtkGo%2BmykS2%2BrMYgTje4YZV9xk8OIlwY4NT2mLExajP7ZRmnTbJku2aMX&url=https%3A%2F%2Fwebapps.stackexchange.com%2Fquestions%2F148066%2Fhow-do-i-archive-a-webpage-to-archive-today-using-wget-or-curl" 

コメントを残す

メールアドレスが公開されることはありません。 * が付いている欄は必須項目です