您当前的位置：首页 > 互联网 > 文章详情

semrush.com和mj12bot.com恶意爬虫经常爬网站怎么办？

2019-09-16共2375人围观
爬虫 CDN

最近把某个站搬到了CDN上去了，然后CDN消耗的流量就非常大，如下图：

CDN流量

仅仅几天的时间就用了我9.51G的流量，这明显不正常啊。分析了CDN的访问日志，发现原来是这两个爬虫一直在而已爬：semrush.com和mj12bot.com。屏蔽了一些IP,但是他们的IP非常多，到目前为止已经屏蔽了20个IP了，但是还在一直不停的换IP爬，恶意IP如下：
5.9.152.73
144.76.91.79
213.239.216.194
5.9.71.213
46.229.168.134
46.229.168.137
46.229.168.139
46.229.168.138
89.163.242.18
46.229.168.144
46.229.168.133
46.229.168.163
46.229.168.15
46.229.168.150
46.229.168.147
46.229.168.146
46.229.168.161
144.76.56.124
46.229.168.145
46.229.168.135

请问大牛，除了屏蔽对方的IP还有什么办法吗？

上一篇： 收到一封微信支付的伪造邮件

下一篇： 淘宝旺旺把卖家拉入黑名单还能收到卖家发的广告吗?

相关文章

文章评论

热门评论
暂无评论

文章分类

热门标签

随便看看

友情链接