网络舆情监测系统真的可以爬到小红书的数据吗?
前几天有个美国的美妆类客户叫小编去买小红书的数据,他们公司要做美妆行业的市场调研,需要采购小红书几个关键词的数据,小编就比较惊喜,因为小编公司的技术曾经跟小编说过,我们公司的系统有采集小红书的所有的数据,因为采集时效性的原因,所以没有放在系统里面了,小编就把这个当作真的了,也跟客户这样讲,谁知道闹乌龙了,真的有客户也当真了,以为小编公司可以采集到小红书的全量数据,前几天打电话来问小编,说他们公司真的要采购了,小编报价65万以上,客户也就接受 了,没有说什么二话,就这样,小编去找公司的数据部门,要报价,谁知道公司的数据部门自己给自己打脸了,说什么由于小红书反扒的特殊性,爬取不到小红书的所有数据,然后又说公司系统虽然每天可以爬到几百条小红书的数据,但是离实际的数据还是差很多,那么问题来了,公司真的可以爬到小红书的数据吗?小编就表示呵呵了,不能采集就不能采集,还说什么大话,说可以采集,当时还说公司跟小红书有合作,客户花钱买小红书的数据,你这倒是给我去买一个小红书数据看看,看看人家小红书会不会把数据卖给你。牛逼吹上天了,打脸的还是公司自己。
小编看了一下,目前国内没有哪个网络舆情监测系统的厂商可以爬到小红书的数据,就算可以爬取到,也是只能爬到少量的数据,大部分网络舆情监测系统采集到的小红书数据是小红书被百度快照收录的快照数据,如果哪家系统厂商还敢说这话,小编就觉得那家网络舆情系统厂商的技术真牛逼,完全可以达到国际爬虫领先水平。小编被公司打脸了,以后再也不敢说可以爬小红书的数据了。
2021年8月,小编再次测试了一下公司小红书数据,基本上实现了全量数据采集,只是时效性还有点差。小编公司是采集小红书所有账号的信息,根据小红书所有账号去爬小红书数据的。