当前位置:首页 / 网页制作 / html5教程 / Node.js爬取豆瓣数据实例分享
Node.js爬取豆瓣数据实例分享
芯晴素材特效 分类:html5教程 发布日期:2018-04-15

这次给大家带来Node.js爬取豆瓣数据实例,Node.js爬取豆瓣数据的注意事项有哪些,下面就是实战案例,一起来看一下。

一直自以为自己vue还可以,一直自以为webpack还可以,今天在慕课逛node的时候,才发现,自己还差的很远。众所周知,vue-cli基于webpack,而webpack基于node,对node不了解,谈什么了解webpack。所以就自己给自己出了一道题,爬取豆瓣数据,目前还处于初级阶段。今天就浅谈爬取到豆瓣的数据,再另一个页面用自己的方式展现,后续会跟进。

1、需要解决的问题

搭建服务

怎么处理爬到的数据

怎么自动打开默认浏览器

2、搭建服务

搭建服务有好几种方式,一开始我用的http,但是http有个弊端就是不能解析https协议的url,所以就用了express,解析https协议的网址我用了request包,豆瓣的网址是https的,

今天爬取的是https://movie.douban.com/chart这个网址;如下图,我要获取的有三个部分,图片、电影名字、电影链接.

3、怎么处理爬到的数据

我们用request爬到的数据,怎么处理呢?cheerio包可以让我们像Jq那样处理爬到的html数据。

①、首先解析数据,取到爬取网页的html数据;

②、然后利用cheerio包操作爬到的数据,取到你想要的数据。

③、取到数据,创建html,输出到页面。如下图,我用的字符串拼接,办法有点笨,还没有找到更好的办法。

4、怎么自动打开默认浏览器

不知道你有没有看vue-cli中webpack的配置,自动打开浏览器,vue-cli用的opn包.

这个包用起来很方便,引入包,直接调用opn(url)即可;

5、展示

版权信息:本站所有资源仅供学习与参考,请勿用于商业用途,如有侵犯您的版权,请及时联系821794221#qq.com(#换@),我们将尽快处理。

您可能在找这些

  • 内容标签:

热门素材

固定在页面左侧的导航菜单

2013-01-06   浏览:9529

多彩背景色左右滑动导航

2017-02-26   浏览:220

css3模拟雷达波向外散发动画效果

2017-03-09   浏览:465

jQuery点击弹出确认或取消删除特效

2017-03-13   浏览:426

jQuery+CSS实现图片感应鼠标高亮显示当

2013-01-18   浏览:8666

WIN 8效果左右全屏滚动幻灯片

2017-02-28   浏览:116

jQuery视差插件ImageScroll

2017-03-17   浏览:184

腾讯科技热点推荐图片展示效果

2017-03-12   浏览:473

HTML5 Canvas点击页面烟花绽放特效

2017-03-22   浏览:297

一款简洁的TAB滑动门修改

2013-01-16   浏览:8426

用层模拟可移动/可隐藏的小窗口

2013-01-09   浏览:8284

Ajax选项卡、隔行换色、弹出遮罩层

2013-01-09   浏览:8397