• WAP手机版 RSS订阅 加入收藏  设为首页
seo常识

robots是什么?robots.txt怎么写?

时间:2016-10-17 15:10:38   作者:毛驴哥   来源:毛驴网   阅读:478   评论:0
内容摘要:robots.txt协议是什么?robots文件的写法!robots.txt有什么作用?怎样写网站的robots文件?robots是什么意思?robots是网站和蜘蛛(搜索引擎抓取程序)的第一协议,告诉蜘蛛哪些文件、路径是可以抓取的,哪些是不可以抓取的协议。

robots是什么?

robots是网站和蜘蛛(搜索引擎抓取程序)的第一协议,告诉蜘蛛哪些文件、路径是可以抓取的,哪些是不可以抓取的协议。

为什么写robots?

我们要告诉搜索引擎哪些可以抓,哪些不能抓。例如:一些无用的文件,隐私的


robots语法:

我们新建一个txt文件,命名为robots

我们以www.maolvge.cn博客为例:首先我们打开我们的网站的robots.txt文件 http://www.maolvge.cn/robots.txt 如下图

robots是什么?robots.txt怎么写?

释:

 

User-agent 用户代理,定义搜索引擎的类型

* 所有的 匹配0或多个任意字符

Disallow 不允许,禁止抓取收录地址

Allow 允许抓取收录地址

$ 结束符

Sitemap 网站地图

 

练习实例:

①禁止所有搜索引擎访问访问网站所有内容(PS:只是练习,不要这样去写)

User-agent: *

Disallow: /

 

②禁止百度搜索引擎访问网站所有内容(PS:只是练习,不要这样去写)

User-agent: Baiduspider

Disallow: /

 

③禁止所有搜索引擎访问网站所有内容

User-agent: *

Disallow: /

 

④允许所有搜索引擎访问所有内容

User-agent: *

Allow: /

 

⑤允许所有搜索引擎禁止抓取网站动态页面内容

User-agent: *

Allow: /*?*

 

请告诉以下是什么意思?

①User-agent: Baiduspider

Allow: /*.gif$

Disallow: /*.jpg$

 

允许百度蜘蛛抓取所有的.gif格式的图片,禁止抓取网站所有的.jpg格式的图片

(PS:结束符$一般是图片的加,正常的一般不用)

 

②User-agent: *

Disallow: /news

 

问题:是否可以抓取以下两个?

Disallow: /news.html

Disallow: /newsadc.html

 

答:禁止抓取以news开头的路径或文件

怎么上传robots文件?

 

打开我们的FTP工具,拖拽上传到根目录

 

检查robots文件是否生效,去百度站长平台

robots是什么?robots.txt怎么写?

补充:

 

①记得空格、第一个字母大写、标点符号用英文状态下的

②网站上线之前,不要在robots文件中禁止抓取所有。


标签:robots 
CopyRight © 2013-2015 www.maolvge.cn All Rights Reserved   鲁ICP备13013110号