实用robots文件生成工具

站长工具 - 六月 18, 2012 - 来源:单点日志 - No Comments -

tools站长站有推出最新的站长工具robots文件生成工具,个人认为还是很实用的一款工具,不过虽然一般情况下robots用不到,但是每一个网站最好都设置一个robots文件,因为素质高的搜索引擎蜘蛛都会首先抓去这个文件,这样就不会返回404错误。
工具的好处在于书写方便,少出错,特别是对写法不了解的人还是有用的,一般情况下,我们的robots文件只需包含这些即可。
User-agent: *
Disallow:
网站根目录创建robots.txt文件,复制以上内容进去就可以了。


比如我用工具生成了如下文件:
# robots.txt generated at http://spoint.babyshoot.cn/robots/
User-agent: Baiduspider
Disallow:
User-agent: Sosospider
Disallow: /
User-agent: sogou spider
Disallow:
User-agent: YodaoBot
Disallow: /
User-agent: Googlebot
Disallow:
User-agent: Teoma
Disallow: /
User-agent: twiceler
Disallow: /
User-agent: Scrubby
Disallow: /
User-agent: Gigabot
Disallow: /
User-agent: googlebot-mobile
Disallow: /
User-agent: yahoo-mmcrawler
Disallow: /
User-agent: psbot
Disallow: /
User-agent: *
Disallow:
Disallow: /bin/
Disallow: /xianzhimulu
Sitemap: http://www.babyshoot.cn/sitemap.xml
Sitemap: http://www.babyshoot.cn/sitemap.html



无觅相关文章插件,快速提升流量

《实用robots文件生成工具》由单点日志原创提供!
转载请注明:http://spoint.babyshoot.cn/archives/2012/06/robots-generated-tool.html

No Comments│赶紧发话! »

发表评论

您必须登录后才能发表评论。
8