robots和谈若何切确的钞缮
· 2026-07-21 12:34:27SEO根本建站教程精华版将要接近尾声
，和谈我们还需求进修一个特别很是若何次要的设置，就是切确robosts和谈的钞缮 。当百度蜘蛛在爬取网站的和谈时辰，会先搜刮读取网站根目次下的若何 robosts.txt 文件内容 ，屈就上面的切确声明 ，有端方的和谈抓取网站的内容，这里先声明一个理论，若何真实不是切确全数的搜刮引擎都邑屈就robosts和谈 ，假定你网站部分信息特别很是和谈的关头 ，建议大年夜师可以直接樊篱损掉落踪落多半不经常独霸的若何搜刮引擎 。上面就具体解释注解一下robosts和谈若何钞缮 。切确
1 、和谈robosts和谈寄看事项
robots和谈一样往常都是若何经由过程记事本的编制往钞缮的 ，钞缮格式有特定一些英文词汇，切确这里要特别很是寄看几个问题 。
第一 ：寄看英文的大年夜小写 ，尽对不克不及犯错 。
第二：寄看输进法的切换 ，标点标识表记标帜，必定都要独霸英文的标识表记标帜 。
第三 ：钞缮完一条轨则 ，要记得换行 ，一行一条 。
robosts文件中任何一条展示以上偏向
，这一条和谈轨则就不会奏效
，这点要非分非分出格寄看 ，以阻拦变成不须要的下场
。
2 、robosts和谈格式词汇分析
User-agent:——用户代办代办代办代理 ，定义搜刮引擎圭表类型 ，该词汇只用于描摹搜刮引擎 robosts 的名字 。
Disallow:——不盼看被访谒的一组URL ，定义阻拦抓取收录该地址 。
Allow:——希看被访谒的一组URL ，定义准予抓取收录该地址 。
robosts和谈中独霸特定标识表记标帜
*——独霸它可以庖代该路途的字母 ，后背加* 就是这个文件回尽 ，一样往常用于静态路途
$——停止符 ，在这里举办终结 ，一样往常用于静态路途 。
读到这里，有些同窗有体味一些robosts和谈 ，钞缮的轨则更是八门五花 ，然后把本身都绕胡涂了，也不晓得本身钞缮的轨则能不克不及奏效，真实也没有宏壮的 ，上面我们就具体的解释注解一下。
我们都晓得百度蜘蛛来抓取网站的内容，是屈就网站的 URL链接来顺着爬取的 。私塾班里面具体的解释注解到，有关 URL路途的优化轨则 ，在网站优化到中后期 ，起到了特别很是次要感染 。URL路途可以分为三种 ：静态路途 、静态路途 、伪静态路途。有些法度圭表类型 URL路途是静态的 ，有些法度圭表类型 URL是静态路途 。我们也可以经由过程一个复杂的设置 ，将静态路途改成静态路途 ，这类设置叫做伪静态。
3 、那甚么是静态路途，甚么是静态路途？
静态路途是经由过程函数(? ￥ = & ) ，字母 ，数字构成的链接（以下图） ，关于静态路途的感染大年夜师可以自行百度。
比如 ：http://搜刮引擎优化200.cn/?p=123
静态 URL路途是有 “/”构成的链接叫做静态路途 ，到单页面以 .html末尾，关于静态路途优化网站的益处大年夜师可以自行百度 ，这里就不多做引见了 。
比如 ：http://搜刮引擎优化200.cn/jianzhan/140.htlm
URL路途大年夜师都了然了 ，路途是从首页到单页面，robosts和谈也是要屈就路途的抓取轨则来钞缮。
robosts和谈的钞缮轨则
1.樊篱搜刮引擎
User-agent:* （樊篱全数的搜刮引擎）
User-agent:Baiduspider (樊篱百度搜刮引擎）
这里要选择钞缮各个搜刮引擎蜘蛛的英文全称，次要大年夜小写以官方为准。
2.静态路途robosts钞缮
举个例子 ：http://搜刮引擎优化200.cn/jianzhan/dedejz/151.html ，在这个URL链接有两个目次 ：建站 》织梦建站》文章，那假定我想樊篱损掉落踪落这篇文章不要被搜刮引擎抓取 ，robots
Disallow:/jianjian/dedejz/151.html （准予抓抓取 jianzhan；dedejz栏目页面内容 ，禁尽予抓取151.html 这一篇文章）
Disallow:/jianjian/dedejz/ （准予抓取 jianzhan；dedejz栏目页面内容 ，禁尽予抓取 dedejz 目次下全数文章）
Disallow:/jianjian/dedejz （准予抓取 jianzhan栏目页面内容 ，禁尽予抓取dedecms栏方针内容）
Disallow:/jianjian/ （准予抓取 jianzhan栏目页面 ，禁尽予抓取 jianjian以下的全数内容）
Disallow:/jianjian （禁尽予抓取 jianzhan栏目页面 ，禁尽予抓取jianzhan以下的全数内容）
Disallow 和 Allow但凡为搭配连络钞缮
Disallow:/jianjian/dedejz
Allow:/jianjian/dedejz/151.html （准予抓取 jianzhan栏目页面 ，禁尽予抓取dedecms栏目页面 ，又准予抓取151.html这篇文章）
Disallow:/jianjian
Allow:/jianjian/dedejz (禁尽予抓取 jianzhan的内容 ，准予抓取dedej栏目这个页面)
Disallow:/jianjian
Allow:/jianjian/dedejz /（禁尽予jianzhan栏目内容 ，准予抓取dedejz栏面前的全数文章）
大年夜师试着慢慢往体味一下格式标含义的次要性，这里我为让大年夜师更好的邃晓我是小局限往除夜局限钞缮的 ，你们在钞缮局限值必定要从除夜到小列举往钞缮
。
3.静态路途robosts钞缮
Disallow: /*.css$
Disallow: /*jpg.$ (樊篱js和css钞缮格式)
你的静态链接是多么子 ，http://www.jiixang搜刮引擎优化.com/?cat=1
Disallow: /?*
你的静态链接是多么子 ，http://www.jiixang搜刮引擎优化.com/goods.php?id=284
Disallow: /*?
*静态路途黑色常有局限性的 ，robosts和谈钞缮可以试着寻觅一下静态链接的轨则 ，在安妥的字母或函数 ，用“*”来庖代 。这里仍是建议大年夜师独霸静态路途 ，大年夜师快往屈就本身网站内容 ，往钞缮robosts和谈吧 。
文章推荐：