1028.us

管理ページへ

ログアウト

コンテンツを取得する

参考
curl コマンド


curl コマンド

$ curl http://www.example.com/

ファイルに保存したければ、リダイレクトを使えばよい。

$ curl http://www.example.com/ > example.html

BASIC認証のあるサイトをダウンロード

$ curl --user user:password http://www.example.com/
# --anyauth をつけるとBASIC認証以外でも自動で認証方式を選択してくれる。 
$ curl --anyauth --user user:password http://www.example.com/

wget コマンド

curlと違ってリンクをたどりながら再帰的にたくさんのファイルをダウンロードすることができる。

ローカルに保存するときのファイル名は、1ファイルだけのダウンロードの場合は、 URLからドメイン名やディレクトリ名を削ったものになる。再帰的にダウンロードする場合はドメイン名のディレクトリが作成される。

$ wget http://www.example.com/

ウェブサイトを丸ごとダウンロード

# リンク3回までたどり、ダウンロードする。
# リンクを3回踏むということは第4階層のページまでということになる。
$ wget -r -l3 http://www.example.com/

画像やCSSやJSも合わせてまるごとダウンロード

# オプション -p を使う
$ wget -p http://www.example.com/

# オプション --convert-links で絶対パスを相対パスに自動で変換
$ wget -p --convert-links http://www.example.com/

List of Category