robots.txt 简介

robots.txt 文件端方了搜刮引擎抓取对象可以访谒您网站上的谷歌哪些网址。 此文件次要用于阻拦您的搜刮网站收到过量请求；它真实不是一种阻拦 Google 抓取某个网页的机制。若想阻拦 Google 访谒某个网页，引擎优化用处请独霸 noindex 阻拦将其编进索引 ，文件或独霸暗码呵护该网页。简介

robots.txt 文件有何用处？谷歌

robots.txt 文件次要用于治理流向您网站的抓取对象流量 ，但凡用于阻拦 Google 访谒某个文件（具体取决于文件圭表类型）：

体味 robots.txt 文件的限制

在成立或改削 robots.txt 文件之前 ，您应体味这类网址樊篱编制的限制 。屈就您的方针和具展气候，您大年夜大年夜约需求思虑采取其他机制来确保搜刮引擎没法在群集上找到您的网址。

● 并不是全数搜刮引擎都支撑 robots.txt 指令。

robots.txt 文件中的呼唤真实不克不及强逼圭表类型抓取对象对网站采取的行动；可否屈就这些呼唤由抓取对象自行决意。Googlebot 和其他正轨的网页抓取对象都邑屈就 robots.txt 文件中的呼唤 ，但其他抓取对象未必如斯。是以，假定您想确保特定信息不会被网页抓取对象抓取，我们建议您采取其他樊篱编制，比如用暗码呵护处事器上的隐私文件。

● 不合的抓取对象会以不合的编制分析语法 。

当然正轨的网页抓取对象会屈就 robots.txt 文件中的指令，但每种抓取对象大年夜大年夜约会以不合的编制分析这些指令
。您需求好好体味一下合用于不合网页抓取对象的切确语法
，因为有些抓取对象大年夜大年夜约会没法邃晓某些呼唤 。

● 假定其他网站上有链接指向被 robots.txt 文件樊篱的网页
，则此网页仍大年夜大年夜约会被编进索引

当然 Google 不会抓取被 robots.txt 文件樊篱的内容或将其编进索引 ，但假定群集上的其他职位有链接指向被阻拦访谒的网址，我们仍大年夜大年夜约会找到该网址并将其编进索引。是以，相干网址和其他悍然展示的信息（如相干页面链接中的定位文字）仍大年夜大年夜约会涌如今 Google 搜刮下场中。若要切确阻拦您的网址涌如今 Google 搜刮下场中 ，您应为处事器上的文件设置暗码呵护 、独霸 noindex 元标识表记标帜或照顾标头 ，或无缺移除网页。

寄看 ：连络独霸多种抓取和索引编制指令大年夜大年夜约会招致某些指令与其他指令冲突 。体味若何回并独霸抓取指令与索引编制及内容展示指令 。

成立 robots.txt 文件

假定您断定需求一个 robots.txt 文件，请体味若何成立 robots.txt 文件。