新手书写wordpress博客的robots.txt(新站记得增加一个) | 张恒镭的博客

新手书写wordpress博客的robots.txt(新站记得增加一个)

时间:13-11-26 栏目:网站建设 作者:恒镭, 张 评论:0 点击: 2,049 次

普及一下:robots.txt是干什么用的?

基本上正规的网站和博客都会有robots.txt,设置适当的robots.txt一定程度上利于网站的SEO。robots.txt是一个存放在网站根目录下的纯文本文件。

设置robots.txt一方面是可以告诉搜索引擎自己网站那些它不能够爬取。比如wordpress的管理后台就不应该被爬取到,尽管百度或者google的爬虫一般不会爬取。(如wp-admin管理页面)

robots.txt只是个大引擎通用的协议,并不具备约束力。所以还得看搜索引擎自己了。

robots.txt的一些原则。

1、指令区分大小写,忽略未知指令,

2、每一行代表一个指令,空白和隔行会被忽略;

3、“#号后面的会被忽略。;

4、有独立User-agent的规则,会排除在通配“*”User agent的规则之外;

5、可以写入sitemap文件的链接,方便搜索引擎蜘蛛爬行整站内容。

6、尽量少用Allow指令,因为不同的搜索引擎对不同位置的Allow指令会有不同看待。

 

以我的博客的robots.txt为例:http://www.zhanghenglei.com/robots.txt

 

User-agent: *
Disallow: /wp-admin
Disallow: /wp-content/plugins
Disallow: /wp-content/themes
Disallow: /wp-includes
Disallow: /avatar/
Disallow: /feed/

Sitemap: http://www.zhanghenglei.com/sitemap.xml

Disallow屏蔽了某些目录

Sitemap 是网站的map,方便搜索引擎搜录。大家可以用all in one seo 工具来生成。

 

如何创建robots.txt

手动编写robots.txt,然后上传至网站根目录即可。

还可以登录到百度站长工具,去更新你电脑robots.txt文件。

声明: 本文由( 恒镭, 张 )原创编译,转载请保留链接: 新手书写wordpress博客的robots.txt(新站记得增加一个)

新手书写wordpress博客的robots.txt(新站记得增加一个):等您坐沙发呢!

发表评论




------====== 本站公告 ======------
欢迎关注我的博客。

其他