PHPで外部サイトのHTMLを取得する定番の２つの方法をご紹介します。
- file_get_content
- cURL
cURLは、オプションを上手く使えばログインサイト内のHTMLも取得できるスグレモノです。
file_get_contents
こちらはとても簡単です。
<?PHP
$URL = "https://www.yahoo.co.jp"; //取得したいサイトのURL
$html_source = file_get_contents($URL);これだけ。
だけども、たまにこれでは取得ができない場合があります。そんな時は、次の方法↓
cURL
今度は少し複雑ですが、様々なオプションを指定できたり、パフォーマンス的にも良いとか。以下のコードをそのままコピペでいけます。
<?PHP
$URL = "https://www.yahoo.co.jp"; //取得したいサイトのURL
$ch = curl_init();
//ここからオプション
curl_setopt($ch, CURLOPT_URL, $URL);
curl_setopt($ch, CURLOPT_SSL_VERIFYPEER, false); //証明書検証しない
curl_setopt($ch, CURLOPT_RETURNTRANSFER, true); //レスポンスを表示するか
curl_setopt($ch, CURLOPT_FOLLOWLOCATION, true); //"Location: " ヘッダの内容をたどる
curl_setopt($ch, CURLOPT_MAXREDIRS, 10); //"Location: " ヘッダの内容をたどる深さ
//ここまでオプション
$output = curl_exec($ch) or die('error ' . curl_error($ch)); //cURL セッションを実行する
curl_close($ch); //リソースを閉じ、システムリソースを解放
//日本語のための文字コード設定など
mb_language("Japanese");
$html_source = mb_convert_encoding($output, "UTF-8", "auto");もし、そのままのコードで取得できない場合は、取得先のサイトに合わせて、オプション部分を工夫する必要があるかもしれません。ログイン情報をPOSTすれば、ログインサイト内からも取得できます。
用意されているオプションが結構多いので、公式で確認して必要なものを実装してみてください。
取得したソースから特定の要素を取り出す方法は、下記の過去記事↓
