当前位置:重庆网站优化 > SEO经验 >

Robots文件设置和技术细节

Robots. txt文件放在网站的根目录下,主要用于通知蜘蛛在该网站上的抓取范围,SE○可以在这个文件中声明该网站中不想被搜索引擎收录的部分,或者指定搜索引擎只收录特定的部分。

Robots文件设置和技术细节

1、经常使用到 Robots. txt文件的情况
网站升级,老版本网站的很多页面在新版本网站中去掉了,在这种情况下,可以通过 Robots文件告诉蜘蛛不再抓取这些已经被去掉的页面。
网站存在很多重复的内容,比如一个网站同时存在动态页面和已经经过静态化处理的页面,这些页面在内容上都是完全重复的内容,为了解决重复的问题,可以在 Robots文件中禁止蜘蛛抓取动态页面。
网站内部有些内容不便于公开发布,但是需要允许内部查阅。遇到这种情况,可以在 Robots中告诉蜘蛛不要抓取。

2、Robots文件的基本写法

Allow是允许蜘蛛爬行的页面,而 Disallow后面则是不允许蜘蛛访的路径和文件。
3、Robots的使用示例
(1)仅允许访问某目录下某个后缀的文件这里仅允许访问带“$”符号的网址,如下:

User-agent:*

Allow:.asp$
Disallow:/
(2)禁止索引网站中所有的动态页面
这里是限制访问带“?”的网址,例如, index.asp?d=1。
User-agent
Disallow: /*?*
(3)使用“*”,限制访问带某个后缀的域名。
这里是禁止访问admn目录下所有hm文件,如下。
User-agent

Disallow: /admin/*.htm

文章来源:重庆SEO,家专业从事重庆网站优化,重庆建网站,百度关键词排名的公司,有相关需要请联系QQ:470891619>