当前位置:首页 > 源码分享 > 技术教程 > 正文内容

无耻华为云蜘蛛频繁爬取网站,如何屏蔽PetalBot蜘蛛办法分享

zjsn1年前 (2023-02-06)技术教程1797

本人有一个 小网站,后台可以查看蜘蛛数据,经常发现有许多国外蜘蛛爬取。作为一个面向国内特定地域用户的网站,着实用不着那些蜘蛛来消耗资源,网上找到一段Nginx配置代码,加上后很灵敏,那些国外蜘蛛第二天就不来了。

 if ($http_user_agent ~* (SemrushBot|python|Linespider|crawler|DingTalkBot|simplecrawler|ZoominfoBot|zoombot|Neevabot|coccocbot|Facebot|YandexBot|Adsbot|DotBot|Applebot|DataForSeoBot|MJ12bot|BLEXBot|trendictionbot0|trendictionbot|AhrefsBot|hubspot|opensiteexplorer|leiki|webmeup)) { return 444;
}

不过这几天又冒出来许多莫名其妙的蜘蛛,以114.119和114.225IP段开头,查询IP地址为新加坡华为云,例如

114.119.138.230

114.119.147.58

111.225.148.21

111.225.149.167

114.119.150.127

114.119.147.204

110.249.202.33

114.119.159.33

114.119.156.190

114.119.135.207

114.119.135.166

111.225.149.206

111.225.149.38

114.119.157.128

111.225.148.238

114.119.140.206

114.119.157.174

114.119.154.118

114.119.128.77

114.119.154.11

huawei.jpg

由于都是华为云IP,网上搜素华为蜘蛛相关关键词,找到一篇文章:华为搜索爬虫不遵守协议高频抓爬如DDoS攻击让国内外许多网站痛苦不堪

看来华为蜘蛛黑历史早就有之。然后我查看网站log,发现该蜘蛛名字为PetalBot,中文名翻译过来就是华为花瓣搜索引擎蜘蛛。PetalBot介绍参考资料

PetalBot 是 Petal 搜索引擎(华为花瓣搜索引擎)的自动程序。PetalBot 的功能是访问 PC 网站和移动网站,并建立索引数据库,使用户可以在 Petal 搜索引擎中搜索您网站的内容。

在宝塔网站配置代码屏蔽蜘蛛名称中加入PetalBot蜘蛛,看还会不会过来。如果华为搜素引擎不遵守国际通行屏蔽规则,则堪称奇葩,必将遭到万众唾弃,本人也将采用别的屏蔽办法。

版权声明:本文由指尖十年发布,如需转载请注明出处,如有问题可在下面留言。

本站提供的一切软件、教程和内容信息来自网络收集整理,版权争议与本站无关,仅限用于学习和研究目的;不得将上述内容用于商业或者非法用途,否则,一切后果请用户自负。您必须在下载后的24个小时之内,从您的电脑或手机中彻底删除上述内容。如果您喜欢该程序和内容,请支持正版,购买注册,得到更好的正版服务。我们非常重视版权问题,如有侵权请邮件与我们联系

本文链接:https://www.zjsn.net/?id=58

分享给朋友:

“无耻华为云蜘蛛频繁爬取网站,如何屏蔽PetalBot蜘蛛办法分享” 的相关文章

如何把自己支付宝免费认证为学生特权

如何把自己支付宝免费认证为学生特权

许多人知道,学生支付宝可以享受一些优惠特权,如果你不是学生,能不能享受到这些特权呢?办法总比问题多,最近外面很火的学生认证方法来啦!无需学生也可以认证!可领海底捞69折券、淘票票10元券等超多学生特权!步骤如下1、复制括号内的链接,将名字改成自己的【https://api.2xb.cn/xsrz/?...

给网站侧边栏如何加上美女视频联播模块

给网站侧边栏如何加上美女视频联播模块

打开本站首页,有没发现右下角有个美女视频呢,哈哈,今天给大家分享下如何在网站上加美女视频。一个非常实用的侧边模块,可以自己在网站建一个侧边栏模块,粘贴下面代码进入保存,一般就可以了。不想看了点击下视频暂停,就不会继续了。<div>     <...

QQ/微信提示已停止访问该网页如何解除

QQ/微信提示已停止访问该网页如何解除

许多站长都有过域名在qq或者微信爆红的经历把今天指尖十年教你们一个解除域名的方法教程开始1.首先随便找个单页源码挂到网站上面,让别人一打开就知道你这个网站是个单页2.把你爆红的域名绑定上去(@和*都要解析)3.然后将域名放置三天不要动4.一个星期之后访问这个地址提交申诉,第二天就能解除了https:...

如何用JS代码制作网页复制功能

如何用JS代码制作网页复制功能

利用JS脚本来实现点击某个按钮或某段文字来复制相应的内容,网上提供了很多种方法,比如接管浏览器的复制功能,使用一些js复制插件等等,下面博文提供一个很多的js方法,几行代码的就能实现。js实现点击复制的功能先用js定义一个复制功能的函数,在复制触发时调用即可!/**  * @n...

新版本微信内置浏览器清理缓存方法,debugx5.qq.com已失效

新版本微信内置浏览器清理缓存方法,debugx5.qq.com已失效

网上流传的安卓微信清理内置浏览器缓存方法已失效,因为微信内置浏览器据说不再是X5内核,改为使用xweb内核下面几个X5内核清理缓存网址也失效了。https://debugx5.qq.com http://debugtbs.qq.com debugmm.qq.com/?forcex5=true因为...

http和https带www不带www四个网址如何统一为一个

http和https带www不带www四个网址如何统一为一个

很早以前,站长做网站只需要http访问即可,这几年随着企业和用户对安全问题的重视,许多网站都已改为https加密访问。随之也可能出现这种情况,同一个页面内容,可以有四个不同的网站,分别是http访问,https访问,带www访问,不带www访问,作为一个SEOer,页面统一入口也成为一个不大不小的问...

发表评论

访客

看不清,换一张

◎欢迎参与讨论,请在这里发表您的看法和观点。