什么是robots.txt文件?robots mate和​robots有什么区别

黄勇 0 条评论 2020-07-11 14:30

什么是robots.txt文件?

搜索引擎机器人通过链接抵达互联网上的每个网页,并抓取网页信息。搜索引擎机器人在访问一个网站时,会首先检查该网站的根目录下是否有一个叫做robots.txt的纯文本文件。当我们的网站有一些内容不想被搜索引擎收录,我们可以通过设置robots.txt文件告知搜索引擎机器人。

什么是robots.txt文件

如果网站上没有禁止搜索引擎收录的内容,则不用设置robots.txt文件,或设置为空。

robots mate是什么

robots meta标签主要是针对一个个具体的页面。和其他的META标签(如使用的语言、页面的描述、关键词等)一样, robots meta标签也是放在页面的head>中,专门用来告诉搜索引擎机器人如何抓取该页的内容。

follow指令表示搜索机器人可以沿着该页面上的链接继续抓取下去;

robots meta标签的缺省值是index和follow;

index指令告诉搜索机器人抓取该页面;

robots meta标签中没有大小写之分,name=“robots”表示所有的搜索引擎,可以针对某个具体搜索引擎写为name=“ baiduspider' content部分有四个指令选项index、noindex、follow、nofollow,指令间以“,”分隔。

Robots和robots mate的区别

目前来说,所有的搜索引擎都支持和遵守robots.txt的规定,但是支持robots mate的却比较少,大家可以酌情使用。

下一篇:单页面是什么呢?网站单页优化技巧
上一篇:Nofollow标签怎么用?网站Nofollow使用小技巧
相关文章
返回顶部小火箭