当前位置:首页 > 源码分享 > 技术教程 > 正文内容

无耻华为云蜘蛛频繁爬取网站,如何屏蔽PetalBot蜘蛛办法分享

zjsn2个月前 (02-06)技术教程139

本人有一个 小网站,后台可以查看蜘蛛数据,经常发现有许多国外蜘蛛爬取。作为一个面向国内特定地域用户的网站,着实用不着那些蜘蛛来消耗资源,网上找到一段Nginx配置代码,加上后很灵敏,那些国外蜘蛛第二天就不来了。

 if ($http_user_agent ~* (SemrushBot|python|Linespider|crawler|DingTalkBot|simplecrawler|ZoominfoBot|zoombot|Neevabot|coccocbot|Facebot|YandexBot|Adsbot|DotBot|Applebot|DataForSeoBot|MJ12bot|BLEXBot|trendictionbot0|trendictionbot|AhrefsBot|hubspot|opensiteexplorer|leiki|webmeup)) { return 444;
}

不过这几天又冒出来许多莫名其妙的蜘蛛,以114.119和114.225IP段开头,查询IP地址为新加坡华为云,例如

114.119.138.230

114.119.147.58

111.225.148.21

111.225.149.167

114.119.150.127

114.119.147.204

110.249.202.33

114.119.159.33

114.119.156.190

114.119.135.207

114.119.135.166

111.225.149.206

111.225.149.38

114.119.157.128

111.225.148.238

114.119.140.206

114.119.157.174

114.119.154.118

114.119.128.77

114.119.154.11

huawei.jpg

由于都是华为云IP,网上搜素华为蜘蛛相关关键词,找到一篇文章:华为搜索爬虫不遵守协议高频抓爬如DDoS攻击让国内外许多网站痛苦不堪

看来华为蜘蛛黑历史早就有之。然后我查看网站log,发现该蜘蛛名字为PetalBot,中文名翻译过来就是华为花瓣搜索引擎蜘蛛。PetalBot介绍参考资料

PetalBot 是 Petal 搜索引擎(华为花瓣搜索引擎)的自动程序。PetalBot 的功能是访问 PC 网站和移动网站,并建立索引数据库,使用户可以在 Petal 搜索引擎中搜索您网站的内容。

在宝塔网站配置代码屏蔽蜘蛛名称中加入PetalBot蜘蛛,看还会不会过来。如果华为搜素引擎不遵守国际通行屏蔽规则,则堪称奇葩,必将遭到万众唾弃,本人也将采用别的屏蔽办法。

版权声明:本文由指尖十年发布,如需转载请注明出处,如有问题可在下面留言。

本站提供的一切软件、教程和内容信息来自网络收集整理,版权争议与本站无关,仅限用于学习和研究目的;不得将上述内容用于商业或者非法用途,否则,一切后果请用户自负。您必须在下载后的24个小时之内,从您的电脑或手机中彻底删除上述内容。如果您喜欢该程序和内容,请支持正版,购买注册,得到更好的正版服务。我们非常重视版权问题,如有侵权请邮件与我们联系

本文链接:https://www.zjsn.net/?id=58

分享给朋友:

“无耻华为云蜘蛛频繁爬取网站,如何屏蔽PetalBot蜘蛛办法分享” 的相关文章

 pbootcms多语言建站常见问题(转载)

pbootcms多语言建站常见问题(转载)

一、如何搭建多语言站?多语言/区域建站用于使用同一个后台建立多语言网站。1、使用步骤1)在后台”系统管理>数据区域”添加相应的区域,具体参考默认区域;2)将多语言的模板放入模板目录,不同语言的模板均放在template目录下;3)在后台选择语言切换到不同语言,分别设置:站点信息(注意选择模板)...

PbootCMS模板主题可用标签大全(PbootCMS仿站必备标签)

PbootCMS模板主题可用标签大全(PbootCMS仿站必备标签)

以下为PbootCMS网站模板可用标签收集整理大全,免费分享1、公司信息标签适用范围:全站任意地方均可使用。标签作用:用于调取网站与公司相关的信息,对应后台的“基础内容>公司信息”。{pboot:companyname}公司名称{pboot:companyaddress}公司地址{pboot:...

新版本微信内置浏览器清理缓存方法,debugx5.qq.com已失效

新版本微信内置浏览器清理缓存方法,debugx5.qq.com已失效

网上流传的安卓微信清理内置浏览器缓存方法已失效,因为微信内置浏览器据说不再是X5内核,改为使用xweb内核下面几个X5内核清理缓存网址也失效了。https://debugx5.qq.com http://debugtbs.qq.com debugmm.qq.com/?forcex5=true因为...

http和https带www不带www四个网址如何统一为一个

http和https带www不带www四个网址如何统一为一个

很早以前,站长做网站只需要http访问即可,这几年随着企业和用户对安全问题的重视,许多网站都已改为https加密访问。随之也可能出现这种情况,同一个页面内容,可以有四个不同的网站,分别是http访问,https访问,带www访问,不带www访问,作为一个SEOer,页面统一入口也成为一个不大不小的问...

百度收录网站带缩略图最新规则,如何让网站收录带缩略图

百度收录网站带缩略图最新规则,如何让网站收录带缩略图

许多站长关注自己网站的百度收录情况,可能有人和我一样每天要site:www.zjsn.net 好几次。有的人会问,为什么别人网站百度收录到的页面带缩略图,而自己的网站没带缩略图呢,如何才让自己网站也在百度内带上缩略图?就这个问题,本人做下解释什么样的网站百度收录带缩略图?通常是网站建立时间...

Win10系统22H2版本如何关闭讨厌的热门搜索推荐栏

Win10系统22H2版本如何关闭讨厌的热门搜索推荐栏

本人电脑以前是win10系统21H1版本,已经手动关闭了系统自带所有广告提示,今天电脑自动升级到了22H2版本,居然在使用本地搜索功能时出现一个热门搜索栏。里面显示乱七八糟的推荐内容,一旦点击,就会跳转到Edge浏览器中Bing搜索结果页面。作为一个精神洁癖和强迫症双重患者,怎堪忍受如此行径。在系统...

发表评论

访客

看不清,换一张

◎欢迎参与讨论,请在这里发表您的看法和观点。