甲鱼舆情监测软件如何实现对小红书的点赞评论收藏数的更新

最近甲鱼舆情做了一个小红书数据的加工处理项目，可谓是突破行业中的很多技术难关，下面小编就来跟大家分享一下这个项目吧。

项目需求：爬关键词：美妆、化妆、妆容、彩妆等十多个关键词的小红书的历史2年笔记数据。然后对爬下来的数据进行点赞数、评论数、收藏数这3个字段的数据实时刷新。

项目难点：
1、小红书是异构类数据，很难爬，是舆情监测行业中最难爬的几大网站之一，经常做反扒，就算爬到了数据，还是不全，很多实时数据时效性非常差。

2、小红书的点赞数、收藏数、评论数很难做到实时刷新，就算实时刷新也是非常消耗服务器资源的，几条书记还好说，几千万条，上亿条数据就比较难搞。

甲鱼舆情监测软件项目的解决方案：
普通的爬虫软件就好像1只蚂蚁去爬小红书的数据，有些可以做到几千只蚂蚁并发去怕，但是这种比较消耗服务器资源，就算爬，也爬不全。但是甲鱼采用区块链技术去爬小红书的数据，有多少个IP节点，就有多少个爬虫再爬小红书的数据，而且爬到的数据都是存储在区块链中，每天定时去把所有区块链的数据存储到数据仓库中。这样就等于有几亿个网友在访问小红书这个平台，而且不会受到IP限制。这样爬到的数据非常全，非常准，然后点赞数、评论数、收藏数也是采用同样的原理在爬的。