网站单页面和后台如何禁止搜索引擎抓取

发布:2020-12-23分类:网络杂谈来源:本站原创浏览:0
我们知道网站网站使用robots.txt可以禁止搜索引擎蜘蛛抓取网站的某一些页面或目录,但是由于robots.txt是公开的,用户可以通过浏览器直接访问并查看到内容,这样就会暴露出网站的目录结构,比如后台管理,暴露出来后网站可能会存在安全问题。那如何不使用robots.txt禁止搜索引擎抓取和收录呢?

网站后台禁止搜索引擎抓取

<meta name="robots" content="noindex,nofollow" />
使用meta标签可以禁止搜索引擎抓取。meta标签有all、noindex、nofollow、noarchive及nosnippet等用法。
用法:<Meta name="Robots" Content="All|None|Index|Noindex|Follow|Nofollow"> 
1、all:文件被检索 ,且页面上的链接可以被查询
2、none:文件将不被检索 ,且页面上的链接不可以被查询;(和下面的 "noindex, no follow" 起相同作用)  i
3、noindex:不索引含此标签的网页 
4、nofollow:不关注含此标签的网页里的特定链接
5、noarchive:不保存含此标签的网页的快照
6、nosnippet:不在搜索结果页的列表里显示含此标签的网站的描述语句 ,并且不要在列表里显示快照链接
综上,我们只需要在不想被收录的页面写入meta标签就可以了。
实例代码:
<!DOCTYPE HTML PUBLIC "-//W3C//DTD HTML 4.0 Transitional//EN"><html xmlns="http://www.w3.org/1999/xhtml">
<head>
<title>后台管理中心</title>
<meta http-equiv="Content-Type" content="text/html; charset=utf-8">
<meta name="robots" content="noindex,nofollow" />
<link rel="stylesheet" href="img/admin.css" type="text/css" media="all" />
<script src="img/js.js" type="text/javascript"></script>
</head>
分类标签:网络杂谈seo
本文地址:https://www.demizhe.com/news/wlzt/35.html
版权声明: 本站发布的内容以原创为主,部分资料代码来自互联网分享。如有涉及侵权请告知,将第一时间更正。本站凡标注有原创的内容未经允许不得转载,或转载时注明出处:[得米者-得天下 www.demizhe.com]
Copyright © 2015-2023 得米者(www.Demizhe.com) All Rights Reserved.    
辽ICP备18009746号  增值电信业务经营许可证:辽B2-20180263  辽公网安备:21011302000123