网站还是继续被恶意爬虫爬取数据
网站从搬到CDN上去之后,被恶意爬虫爬取就一直没停止过,详细见我两篇文章:
网站还是继续被semrush.com和mj12bot.com恶意爬虫
semrush.com和mj12bot.com恶意爬虫经常爬网站怎么办？
期间,我通过技术手段,提取出了访问超多的IP,然后将它添加到腾讯云CDN的IP黑名单中去了,刚开始的确有点效果,但是,对方一直不停的在换IP,我这边就不停的增加黑名单中的IP,由于腾讯云CDN的IP黑名单最多只能增加100个,导致现在新的恶意IP就没办法阻止了,如下图:
这些恶意IP导致我的CDN流量消费的速度激增...不知道还有没有其他的解决办法
文章不错，赞一个！(0)
满满的干货,我要赞赏
相关文章
文章评论
文章分类
随便看看
-
听闻邮政编码要取消了...
刚看到新闻说邮政编码要取消了,其实现在这东西确实没什么用了,不像以前信件的年代了,现在基本上我寄东西邮政...
-
你是什么垃圾?
现在广州也开始垃圾分类了。国庆前收到垃圾分类的指导说明书，然后我就开始把厨余垃圾和其他垃圾分开倒了。前...
-
博客最新收录情况
博客最新收录情况：嗯，回到300多条数据了，虽然比之前1000多条要少很多，但至少慢慢上来了。
-
又没话费了....
又没话费了，只有每次在缴手机话费的时候，我才深深地知道，原来我的话竟然这么的值钱！！！
-
<爱,死亡和机器人>真的是很赞很赞
<爱,死亡和机器人>真的是很赞很赞!!!!
