这给我们的框架SuperAgent的爬行动物的NodeJS,爬行动物SuperAgent的的NodeJS框架,其中,以下是实际情况,一起来看看吧。

前言

  早就听说爬行动物,这几天开始学习的NodeJS,写了爬行动物的github。/ Leichangchun /节点爬虫/树/主/ superagent_cheerio_demo,文章,用户名,阅读数字和用户的推荐数量的爬行博客首页标题园化身,现在是一个小数目。

  要使用这些点:

  如图1所示,节点核心模块 -

  2,装置,用于第三方http请求 - 的SuperAgent

  3,用于解析DOM第三方模块 - cheerio

  几个模块和API的详细说明请查看各个环节,演示,只是一个简单的用法。

  使用NPM管理依赖,依赖信息将存储在包。在JSON

  功能模块介绍需要使用

+解析请求页面

  要攀登到博客入户花园,首先必须要求家庭住址,得到HTML返回的SuperAgent在这里使用HTTP请求什么,基本用法如下:

  (没有错误,错误是null或undefined)发起get请求,请求的错误,错误将返回到URL指定的数据,RES返回。

  获取html内容,我们想要得到的数据,这时候你需要使用DOM解析cheerio,cheerio第一次加载HTML目标,然后分析,API和API是非常相似的jQuery,jQuery的上手很快熟悉。直接看代码示例

存储数据

  解析上述DOM后,已拼接所需要的信息内容,也得到了图片的URL,现在存储,存储在txt文件中指定的目录中的内容,并下载图片到指定的目录

  首先创建一个目录,使用核心的NodeJS文件系统

  一旦您指定的目录下,可将数据写入,和txt文件的内容已经使用WriteFile的直接写上()

  得到一个链接到图片,所以需要使用的SuperAgent下载图片,有局部。SuperAgent的流程直接返回一个响应,连同管的NodeJS,直接写入局部图像内容

影响  

  演示执行,看看效果,数据已被正常爬下

  一个非常简单的演示,恐怕不是那么严格,但总是出了第一小步的节点。

我相信你读这篇文章的情况已经掌握了方法,更精彩的PHP中国其他相关文章!

推荐阅读:


这是爬行动物框架SuperAgent的的的的NodeJS的细节,请PHP的中国其他相关文章!


本文链接:nodejs的爬虫框架superagent

您可能也会喜欢

友情链接:

经文 心经唱诵 大悲咒注音