您当前的位置是：首页->做网站知识->做网站

巧用robots.txt来做网站优化

　　现如今人们做网站都是使用的开源的网站程序，而dz或者wp之类的程序或多或少都会有一定的漏洞，合理的解决里面的漏洞会让我们的网站的收录提高好几倍，因为百度给予一个网站的抓取配额是有限的。长沙做网站建议大家巧用robots.txt来做网站优化。

　　站内的动态链接

　　静态页面一般情况下比动态的页面好收录，在排名方面也比较有优势（唯一的缺点就是占用网站资源较大），像dz程序我们一般都把它设置成伪静态，那么在这个时候就非常容易出现静态和动态页面共存的情况，我们都要把静态页面彻底屏蔽掉。

　　在robots协议中有一个命令Disallow:xx，这个命令就是告诉蜘蛛（不分百度和其他搜索引擎）不要抓取我所指定的页面，对于伪静态网站来说我们肯定不希望收录动态的页面（因为两种页面共存，就会导致重复页面过多，会有降权的风险哦！），我们在这里可以使用Disallow: /*?*命令，这个命令就是指不抓取网站中所有的的动态链接。

　　死链接或者无用的链接

　　如果我们的网站由于失误导致了很多的死链接，虽然我们可以使用百度站长工具把死链接删除掉，但是蜘蛛爬取的路线在短时间内不会改变，这个时候我们可以使用robots来把站内的死链接全部屏蔽掉，例如：Disallow: /a/jiaocheng/。

　　robots.txt文件命令大全

　　首先我们必须要在网站的根目录下面创建一个robots.txt的文件，然后依照命令来写就可以了。

　　1、允许所有搜索引擎访问

　　User-agent: *

　　Disallow:

　　或者

　　User-agent: *

　　Allow: /

　　2、禁止所有搜索引擎访问

　　User-agent: *

　　Disallow: /

　　或者

　　User-agent: *

　　allow:

　　3、禁止所有搜索引擎访问网站中的几个部分，在这里我用a、b、c目录来代替

　　User-agent: *

　　Disallow: /a/

　　Disallow: /b/

　　Disallow: /c/

　　如果是允许，则是

　　Allow: /a/

　　Allow: /b/

　　Allow: /c/

　　4、禁止某个搜索引擎的访问，我用w来代替

　　User-agent: w

　　Disallow: /

　　或

　　User-agent: w

　　Disallow: /d/*.htm

　　在Disallow:后面加 /d/*.htm的意思是禁止访问/d/目录下的所有以”.htm”为后缀的URL，包含子目录。

　　5、只允许某个搜索引擎的访问，我用e来代替

　　User-agent: e

　　Disallow:

　　在Disallow：后面不加任何东西，意思是仅允许e访问该网站。

　　6、使用”$”限制访问url

　　User-agent: *

　　Allow: .htm$

　　Disallow: /

　　意思是仅允许访问以”.htm”为后缀的URL

　　7、禁止访问网站中所有的动态页面

　　User-agent: *

　　Disallow: /*?*

　　8、禁止搜索引擎F抓取网站上所有图片

　　User-agent: F

　　Disallow: .jpg$

　　Disallow: .jpeg$

　　Disallow: .gif$

　　Disallow: .png$

　　Disallow: .bmp$

　　意思是只允许引擎抓取网页，禁止抓取任何图片（严格来说，是禁止抓取jpg、jpeg、gif、png、bmp格式的图片。）

　　9、只允许搜索引擎E抓取网页和.gif格式图片

　　User-agent: E

　　Allow: .gif$

　　Disallow: .jpg$

　　Disallow: .jpeg$

　　Disallow: .png$

　　Disallow: .bmp$

　　意思是只允许抓取网页和gif格式图片，不允许抓取其他格式图片

　　长沙做网站总结：合理的使用robots命令可以使网站更快的展现在搜索引擎中。

最新签约客户
最新上线网站

为什么选择长沙快付公司？

√ 8年专业做网站经验
帮助您解决各种需求，并得到满意方案

√ 效果满意后付款
预付30%定金，效果让您满意后，付全款

√ 资深用户体验设计师
秉承"一切以用户价值为依归"理念，重视用户体验，专为企业需求进行定制

√ 采用国际标准结构建站
DIV+CSS国际标准构建网页，可有效提高网站访问速度、提高网站页面的可维护

√ 实现网络营销[SEO]最大化
网站程序中融入SEO，有效降低企业成本