爬行动物爬行最近一月特色的酷狗音乐。由于捕获的数据量小,所以不考虑多进程或东西,但我看着PHPCrawl文件,该库已发现PHPCrawl我能想到的有很好的包装,这是很容易实现

<?php
标题( “内容类型:文本/ HTML;字符集= UTF-8”);
//这可能需要whils抓取网站 。
set_time_limit()函数;

包括(“库/ PHPCrawler。类。PHP的“);
类MyCrawler延伸PHPCrawler {
? ? 功能handleDocumentInfo($ DOCINFO){
? ? ? ? //只要检测在CLI模式输出(“\ n”个换行符,否则“
“)。
? ? ? ? 如果(PHP_SAPI == “CLI”)$磅= “\ n” 个;
? ? ? ? 否则$磅=“
“;
? ? ?
? ? ? ? $ URL = $ DocInfo-> URL;
? ? ? ? $专利= “/”;
? ? ? ? 如果(的preg_match($拍拍,$ URL)> 0){
? ? ? ? $这 - > parseSonglist($ DOCINFO);
? ? ? ? }
? ? ? ? 冲洗();
? ? }

? ? 公共职能parseSonglist($ DOCINFO){
? ? ? ? $含量= $ DocInfo->内容;
? ? ? ? $ SonglistArr =阵列();
? ? ? ? $ SonglistArr [ ‘raw_url’] = $ DocInfo-> URL;
? ? ? ? //解析歌曲介绍
? ? ? ? $匹配=阵列();
? ? ? ? $专利=“/ 名称: ([^(? ? ? ? $ t RET =的preg_match($拍拍,$内容,$匹配);
? ? ? ? 如果($ RET> 0){
? ? ? ? ? ? $ SonglistArr [ ‘标题’] = $匹配[1];
? ? ? ? }其他{
? ? ? ? ? ? $ SonglistArr [ ‘标题’] = '‘;
? ? ? ? }
? ? ? ? //解析歌
? ? ? ? $专利=“/ ? ? ? ? $匹配=阵列();
? ? ? ? preg_match_all($拍拍,$内容$匹配);
? ? ? ? $ SonglistArr [ ’歌曲‘] =阵列();
? ? ? ? 为($ I = 0; $我 ? ? ? ? ? ? $ SONG_TITLE = $匹配[1] [$ i]于;
? ? ? ? ? ? array_push($ songlistArr [ ’歌曲‘],阵列( ’标题'=> $ SONG_TITLE));
? ? ? ? }
? ? ? ? 回声“

“;
? ? ? ? 的print_r($ songlistArr);
? ? ? ? 回声““;
? ? ? ? }
? ? }
$履带=新MyCrawler();
// URL抓取
$ START_URL = “”;
$ Crawler-> setURL($ START_URL);

//只接收与内容类型“text / html的”文件的内容
$ Crawler-> addContentTypeReceiveRule( “#text / html的#”);

//链路扩展
$ Crawler-> addURLFollowRule( “#I”);
$ Crawler-> addURLFollowRule( “#I”);

//存储和发送的cookie数据就像一个浏览器
$ Crawler-> enableCookieHandling(真);

//设置流量限制为1 MB(1000 * 1024)(以字节为单位,
//测试我们不想“吸”整个网站)
//爬行无限大
$ Crawler-> setTrafficLimit(0);

//那就够了,现在我们开始吧
$ Crawler->去();

//最后,该过程完成后,我们打印一个短
//报告(详细信息请参见方法getProcessReport())
$报告= $ crawler-> getProcessReport();

如果(PHP_SAPI == “CLI”)$磅= “\ n” 个;
否则$磅=“
”;

回声“总结:”。$磅;
回声“链接如下:”。$报告 - > links_followed。$磅;
“收到的文件:”回声。$报告 - > files_received。$磅;
回声“接收字节”。$报告 - > bytes_received。“字节”。$磅;
回声“进程中运行时:”。$报告 - > process_runtime。“SEC”。$磅;?
?>


文/信息/ 50574192

本文链接:PHPCrawl爬虫库抓取酷狗歌单

您可能也会喜欢

友情链接:

大悲咒注音 经文 心经唱诵