您当前的位置：首页 > 服务器 > 文章详情

禁止爬虫恶意抓取网站的终极方法！

2020-03-02共1651人围观
爬虫 CDN 腾讯云

我的一个网站天天被爬虫恶意抓取,不胜其烦!可看我前几次写的文章:

网站还是继续被恶意爬虫爬取数据

网站还是继续被semrush.com和mj12bot.com恶意爬虫

semrush.com和mj12bot.com恶意爬虫经常爬网站怎么办？


由于网站的数据量比较多,每天都要白白耗费我好几个G的流量,虽然钱不多,但日积月累加起来的钱也不少了,而且都服务器的CPU占的也很大.采取了前面的一些方式,但还是不行,对方的服务器非常多,IP也非常多,几乎每天都有不同的IP,每天都要看日志,分析日志,然后提取出来再封禁,工作量及其大,但唯一的好处就是对方的IP都是国外的,我的站国外的用户量又很少.

针对这些情况,按照腾讯云工程师给的方式直接在域名解析的层面,将境外的IP统一解析到黑洞里去,如下图:


(域名解析图 大部分域名服务商都有解析线路这个功能的)


这样就无法到达网站了.按照这个方法之后,的确,CDN流量境外的消耗量一下就将到了100M左右了,虽然境外的用户无法访问了,但也不碍事,因为境外的用户很少.还有一个问题,估计就是谷歌的爬虫也会被我禁止了.不管了,反正国内能打开谷歌的人也不多.

上一篇： 如何修改Visualsvn Server默认的443端口?

下一篇： 腾讯云数据万象样式收费吗?怎么收费的?

相关文章

文章评论

热门评论
暂无评论

文章分类

热门标签

随便看看

友情链接