您当前的位置：首页 > 互联网 > 文章详情

semrush.com和mj12bot.com恶意爬虫经常爬网站怎么办？

2019-09-16共1896人围观
爬虫 CDN

最近把某个站搬到了CDN上去了，然后CDN消耗的流量就非常大，如下图：

CDN流量

仅仅几天的时间就用了我9.51G的流量，这明显不正常啊。分析了CDN的访问日志，发现原来是这两个爬虫一直在而已爬：semrush.com和mj12bot.com。屏蔽了一些IP,但是他们的IP非常多，到目前为止已经屏蔽了20个IP了，但是还在一直不停的换IP爬，恶意IP如下：
5.9.152.73
144.76.91.79
213.239.216.194
5.9.71.213
46.229.168.134
46.229.168.137
46.229.168.139
46.229.168.138
89.163.242.18
46.229.168.144
46.229.168.133
46.229.168.163
46.229.168.15
46.229.168.150
46.229.168.147
46.229.168.146
46.229.168.161
144.76.56.124
46.229.168.145
46.229.168.135

请问大牛，除了屏蔽对方的IP还有什么办法吗？

上一篇： 收到一封微信支付的伪造邮件

下一篇： 淘宝旺旺把卖家拉入黑名单还能收到卖家发的广告吗?

相关文章

文章评论

热门评论
暂无评论

文章分类

热门标签

随便看看

  • 好冷啊

    好冷啊。。。好在明天就出太阳了~

  • 最近碰到了很多烦心事

    最近碰到了很多烦心事，感觉把最近几年的烦心事都挤到一块来了，也好，至少一次性都解决了，后面就不会有烦心...

  • 今年暑假火车票真难买

    应该是我这段时间出行的时间点正好跟大学放暑假的时间点差不多吧，无论去哪的票基本上都是销售一空，感觉像是...

  • 找了一些可以签名的论坛

    Mac论坛　　　　http://macos.it168.com/forum-21-1.htmlchinaz论坛　　　http://bbs.chinaz.com/Spider/lis...

  • windows SVN搭建

    Subversion是优秀的版本控制工具,其具体的的优点和详细介绍,这里就不再多说.首先来下载和搭建SVN服务器.现在...

友情链接