禁止搜索引擎爬取的蜘蛛协议(robots.txt)真的有用吗?

来源:网友分析 发布时间:2020-04-14 11:36:05 作者:Mos 阅读量:2232


众所周知,在网站根目录添加文件robots.txt可以禁止搜索引擎收录我们的相关网站页面。但是,这并不意味着它可以阻止爬虫爬取我们的网页。


搜索引擎们会遵从蜘蛛协议来判断网页是否显示在用户的搜索结果中,但是我们网站的内容不管有没有添加进robots.txt,它都会被爬虫爬取进而分析网页的内容。


所以,我们不能妄想胡乱发表一些与网站无关的网页,通过蜘蛛协议来禁止搜索引擎来分析它们,这是会影响网站质量的。

支付宝打赏 微信打赏
©2021 i847.cn
部分内容转自网络,如有损害您的权益,致邮联系:jiang2008wen#126.com,一经证实,立即删除!     我要留言
备案号:蜀ICP备18020563号-1