robots.txt基本的语法:

[ 2007-05-11 20:42:35 | 作者: Admin ]
: | |
禁止所有搜索引擎访问网站的任何部分:
User-agent: *
Disallow: /

允许所有的robot访问
User-agent: *
Disallow:
或者也可以建一个空文件 “/robots.txt” file

禁止所有搜索引擎访问网站的几个部分(下例中的cgi-bin、tmp、private目录)
User-agent: *
Disallow: /cgi-bin/
Disallow: /tmp/
Disallow: /private/

禁止某个搜索引擎的访问(下例中的BadBot)
User-agent: BadBot
Disallow: /

只允许某个搜索引擎的访问(下例中的WebCrawler)
User-agent: WebCrawler
Disallow:

User-agent: *
Disallow: /

所有的搜索引擎抓取间隔设置(20意味着20秒):

User-agent:*
Disallow:
Crawl-delay:20
[最后修改由 Admin, 于 2007-5-11 20:42:35]
评论Feed 评论Feed: http://www.vTalkback.com/blog/feed.asp?q=comment&id=51

这篇日志没有评论.

发表
表情图标
[smile] [confused] [cool] [cry]
[eek] [angry] [wink] [sweat]
[lol] [stun] [razz] [redface]
[rolleyes] [sad] [yes] [no]
[heart] [star] [music] [idea]
UBB代码
转换链接
表情图标
悄悄话
用户名:   密码:  
验证码 * 请输入验证码