站长工具大全
公告:
搜索引擎登录口大全
,还不赶快提交你的网站?!
分享到:
QQ空间
新浪微博
腾讯微博
人人网
开心网
豆瓣网
百度空间
我的淘宝
robots.txt文件生成
New
:
友情链接平台
|
站长导航
增加限制目录
每个路径之前都要包含:"/"
增加Sitemap
(留空为无)
谷歌为xml格式,百度为html格式
检索间隔:
不限
5 Seconds
10 Seconds
20 Seconds
60 seconds
120 Seconds
默认-所有搜索引擎
允许
拒绝
国内搜索引擎
百度
默认
允许
拒绝
SOSO
默认
允许
拒绝
搜狗
默认
允许
拒绝
有道
默认
允许
拒绝
国外搜索引擎
谷歌
默认
允许
拒绝
Bing
默认
允许
拒绝
雅虎
默认
允许
拒绝
Ask/Teoma
默认
允许
拒绝
Alexa/Wayback
默认
允许
拒绝
Cuil
默认
允许
拒绝
MSN Search
默认
允许
拒绝
Scrub The Web
默认
允许
拒绝
DMOZ
默认
允许
拒绝
GigaBlast
默认
允许
拒绝
特殊搜索引擎(机器人)
Google Image
默认
允许
拒绝
Google Mobile
默认
允许
拒绝
Yahoo MM
默认
允许
拒绝
Yahoo Blogs
默认
允许
拒绝
MSN PicSearch
默认
允许
拒绝
# robots.txt generated at /robots User-agent: * Disallow:
请将以上结果保存到记事本,命名为robots.txt上传到网站根目录
工具简介
Robots.txt 是存放在站点根目录下的一个纯文本文件。虽然它的设置很简单,但是作用却很强大。它可以指定搜索引擎蜘蛛只抓取指定的内容,或者是禁止搜索引擎蜘蛛抓取网站的部分或全部内容。
使用方法:
Robots.txt 文件应该放在网站根目录下,并且该文件是可以通过互联网进行访问的。
例如:如果您的网站地址是 /www.yourdomain.com/那么,该文件必须能够通过 /www.yourdomain.com/robots.txt 打开并看到里面的内容。
格式:
User-agent:
用于描述搜索引擎蜘蛛的名字,在" Robots.txt "文件中,如果有多条User-agent记录说明有多个搜索引擎蜘蛛会受到该协议的限制,对该文件来说,至少要有一条User-agent记录。如果该项的值设为*,则该协议对任何搜索引擎蜘蛛均有效,在" Robots.txt "文件中,"User-agent:*"这样的记录只能有一条。
Disallow:
用于描述不希望被访问到的一个URL,这个URL可以是一条完整的路径,也可以是部分的,任何以Disallow开头的URL均不会被Robot访问到。
举例:
例一:"Disallow:/help"是指/help.html 和/help/index.html都不允许搜索引擎蜘蛛抓取。
例二:"Disallow:/help/"是指允许搜索引擎蜘蛛抓取/help.html,而不能抓取/help/index.html。
例三:Disallow记录为空说明该网站的所有页面都允许被搜索引擎抓取,在"/robots.txt"文件中,至少要有一条Disallow记录。如果"/robots.txt"是一个空文件,则对于所有的搜索引擎蜘蛛,该网站都是开放的可以被抓取的。
#:Robots.txt 协议中的注释符。
综合例子 :
例一:通过"/robots.txt"禁止所有搜索引擎蜘蛛抓取"/bin/cgi/"目录,以及 "/tmp/"目录和 /foo.html 文件,设置方法如下:
User-agent: *
Disallow: /bin/cgi/
Disallow: /tmp/
Disallow: /foo.html
例二:通过"/robots.txt"只允许某个搜索引擎抓取,而禁止其他的搜索引擎抓取。如:只允许名为"slurp"的搜索引擎蜘蛛抓取,而拒绝其他的搜索引擎蜘蛛抓取 "/cgi/" 目录下的内容,设置方法如下:
User-agent: *
Disallow: /cgi/
User-agent: slurp
Disallow:
例三:禁止任何搜索引擎抓取我的网站,设置方法如下:
User-agent: *
Disallow: /
例四:只禁止某个搜索引擎抓取我的网站如:只禁止名为“slurp”的搜索引擎蜘蛛抓取,设置方法如下:
User-agent: slurp
Disallow: /
更多参考资料 (英文版)
站长工具大全
-
搜索引擎入口
-
在线排版工具
-
HTTP状态码查询
-
广告服务
-
联系我们
-
众优网
-
SEO论坛
Copyright © 2010-2018 众优网 Ourseo.net All rights reserved.
站长工具