小红书又崩了多少是舆情监测软件厂商贡献的力量?
昨天,小编看到微博热搜有条信息是小红书崩了,还有其它时候热搜很多时候都在说晋江崩了、微博打不开等话题上了热搜,不禁让小编想起技术总监跟小编讲的一个故事,他说用舆情监测软件的爬虫去爬一个小网站,几分钟就可以让这个网站打不开。这这这难道就是所谓的黑客常用的服务器攻击术?
是的,没有错,这个就是这样的,因为每个网站都有一定的带宽跟流量,流量用完了,网站就没有办法上网了,就打不开了,跟手机流量一样。带宽就像高速公路一样,路上车子少,开起来就快,路上如果密密麻麻都是车子的话,那么得堵车啊,网站也一样,访问的人多了,网站打开速度自然慢了,甚至打不开。就拿前几年12306网站刚上线,几千万人同时登录抢票,导致网站打不开一样。
言归正传,那么小编来分析一下舆情监测软件厂商的软件是如何给小红书崩了贡献力量的,首先小红书是一个比较难爬取数据的网站,一般网站舆情监测软件可能需要安排1000个类似人物一样的访问者访问网站,这样对网站的访问没有任何压力,但是为了更快跟全爬取小红书的数据,他们可能会安排10万个类似人物的访问者去访问网站,如果几十个,几百个舆情监测软件厂商的爬虫去爬小红书的数据呢,这些虚拟人物都把他们网站的贷款流量给占用了,真正留给真实用户又有多少呢?
之前很多朋友一直问小编,舆情监测软件爬虫违法不违法,你说都可以把人家网站弄崩,难道不违法吗?只是现在大部分舆情监测软件厂商不会用自己的IP去爬网络上面的数据,用的是采购的IP池,所以网站方取证难。