A,卷曲安装

当使用源代码安装PHP,你需要配置过程中添加的配置项,

CD PHP

--with卷曲

安装完毕,你可以使用PHP -m命令来检查,是否支持cURL扩展。

php -m | PHP -m | grep curl 饼干:ABTEST = 0 || V17; IPLOC = 1100; SUID = 3295CB6FA00000000FD

设置cookie的

复制代码
<?php

$ URL =“

$ CH = curl_init();

curl_setopt($ CH,CURLOPT_URL,$网址);

curl_setopt($ CH,CURLOPT_RETURNTRANSFER,TRUE);

$接头[] = $饼干;

curl_setopt($ CI,CURLOPT_HTTPHEADER,$头);

$的Html = curl_exec($ CH);

curl_close($ CH);

后续代码var_dump($ HTML);

?>
复制代码
五,抢302跳转

在百度搜索关键字,返回的结果是一个链接,百度的加密连接,通过二级真实地址跳转。(360防止爬行百度,结果被加密)。

我们可以抢在标题位置信息找到真正的地址,

复制代码
<?php
$ URL = “”;
$ CH = curl_init();
curl_setopt($ CH,CURLOPT_URL,$网址);
curl_setopt($ CH,CURLOPT_NOBODY,真正的);
curl_setopt($ CH,CURLOPT_HEADERFUNCTION,函数($ CH,$ STR)使用($位置){
//第一个参数是卷曲资源,第二个参数是相互独立行标题的!
列表($名称,$值)= array_map( ‘装饰’,爆炸( ‘:’,$ STR,2));
$名称=用strtolower($名);
如果( ‘位置’ == $名)
{
$位置= $价值;
返回0;
}
返回的strlen($海峡);
});
curl_exec($ CH);
curl_close($ CH);
回声$位置;
?>
复制代码

302跳转夹持实施例有一种使用整流OB的另一种方式,并且被提供以允许新的地址跳转到卷曲。代码显示如下

复制代码
<?php
功能getContents($网址){
$头=阵列( “Referer的:”);
$ CH = curl_init();
curl_setopt($ CH,CURLOPT_URL,$网址);
curl_setopt($ CH,CURLOPT_TIMEOUT,30);
curl_setopt($ CH,CURLOPT_HTTPHEADER,$头);
curl_setopt($ CH,CURLOPT_FOLLOWLOCATION,1); //不能抓取后跳页
ob_start();
curl_exec($ CH);
$内容= ob_get_contents();
ob_end_clean();
curl_close($ CH);
返回$内容;
}
$ URL = “”;
$内容= getContents($网址);
回声$内容;
?>
转载


2363629?源= DRA

本文链接:PHP爬虫技术

您可能也会喜欢

友情链接:

心经唱诵 大悲咒注音 经文