一不小心就中招,你的robots语法了解吗?

原创 福建筑梦SEO  2017-06-20 20:36  阅读 825 views 次

robots.txt是每个SEO人员都很注重的一个优化因素。的确,作为与搜索引擎之间的协议,如果写的不好,对我们的站点往往是致命的。

今天,筑梦SEO为大家带来robots语法的一些详细解析。希望能帮助大家写好robots.txt。

    一、robots语法之User-agent

User-agent:Baiduspider(是用来定义搜索引擎的,百度)
User-agent:googlebot(与百度类似,这是定义谷歌的)
User-agent:*(定义所有的搜索引擎)

    二、robots语法之Allow和Disallow

Allow:/(允许抓取,/代表根目录,允许根目录意味着科全部抓取)

Disallow:/(屏蔽的内容路径,/代表根目录,屏蔽根目录意味着整站屏蔽)
注:1、如果里面没有明确写明屏蔽哪个搜索引擎,默认其搜索引擎是收录其网站内容的

2、如果屏蔽某一目录内的内容,但其中有一路径的内容不需要屏蔽,可以使用Allow:语法前提很重要:先允许再屏蔽。

举例说明:user-agent:*
Allow:/php/fjzmseo.html
Disallow:/php/ (切忌不能写成:/php 此含义代表:屏蔽包含所有包含php的路径,例如:/phpadmin.php)

记住:凡事先允许再屏蔽。

robots语法

    三、robots语法之通配符

1、“$”匹配行结束符
2、“*”匹配0个或多个任意字符
通配符的作用:模糊匹配路径(url)

例子:需要屏蔽20外动态路径。
就可以使用通配符模糊匹配,找出路径的规律,不然一个个屏蔽,百度蜘蛛爬取会很辛苦的。

    四、robots语法之“*”字符

1、/fjzmseo /fj*seo(后者是可以代替前者的)
2、/fjzmseo /*seo 看出来也可以
3、/fjzmseo /fjsm*seo(明显然是不可以代替的,字符不一致)

    五、robots语法之“$”字符

1、html$ fjzmseo.html(前者是可以匹配后者的,不管前面是什么内容,只要结尾是html就可以了)
2、shtml$ fjzmseo.html(很显然前者是不匹配的后者的。结尾多了一个s)

    举例说明

1、 伪静态设置,屏蔽/fjzmseo/目录下的所有动态路径?
实例:Disaddlow:/fjzmseo/*?*

2、 屏蔽/fjzmseo/目录下的所有图片?
实例:Disallow:/fjzmseo/*.jpg
Disallow:/fjzmseo/*.jpeg
Disallow:/fjzmseo/*.gif
Disallow:/fjzmseo/*.bmp
Disallow:/fjzmseo/*.png

    福建筑梦SEO每文一结

关于robots.txt的写法网上现在有很多自动生成器,但筑梦SEO还是建议大家要自己先弄懂这些robots语法,然后再根据需要进行规则编写。不然很容易中招,你们说,系不系?

本文地址:http://www.fjzmseo.com/417.html
关注我们:加微信,交流更方便:扫描二维码,微信号:13916252714
版权声明:本文为原创文章,版权归 福建筑梦SEO 所有,欢迎分享本文,转载请保留出处!

发表评论


表情