|
robots文件写法 -凯发k8官网下载robots.txt是用来告诉搜索引擎网站上哪些内容可以被访问、哪些不能被访问。当搜索引擎访问一个网站的时候,它首先会检查网站是否存在robots.txt,如果有则会根据文件命令访问有权限的文件。 1、定义搜索引擎 用user-agent:来定义搜索引擎,其中*表示所有,baiduspider表示百度蜘蛛,googlebot表示谷歌蜘蛛。 也就是说user-agent:*表示定义所有蜘蛛,user-agent:baiduspider表示定义百度蜘蛛。 2、禁止与允许访问 disallow: /表示禁止访问,allow: /表示允许访问。 在写robots.txt时需特别注意的是,/前面有一个英文状态下的空格(必须是英文状态下的空格)。 3、禁止搜索引擎访问网站中的某几个文件夹,以a、b、c为例,写法分别如下: disallow: /a/ disallow: /b/ disallow: /c/ 4、禁止搜索引擎访问文件夹中的某一类文件,以a文件夹中的js文件为例,写法如下: disallow: /a/*.js 5、只允许某个搜索引擎访问,以baiduspider为例,写法如下: user-agent: baiduspider disallow: robots.txt文件存放位置
文章分类:
seo/推广
|