• 人民日报评论员:大就要有大的样子 2019-07-17
  • 纷纷“结缘”世界杯 家电企业图什么 2019-07-15
  • 更正:将“只有存在……”改为“只要存在……”。 2019-07-14
  • 环境部专项整治长江经济带固体废物倾倒 督查中不需地方环保部门陪同 2019-07-14
  • 光明日报:深入真实生活的综艺节目更好看 2019-07-08
  • 网售私房粽游走法律边缘 打养生旗号难以说清依据 2019-07-07
  • 大米-热门标签-华商生活 2019-07-02
  • 紫光阁中共中央国家机关工作委员会 2019-07-02
  • 韩正出席企业职工基本养老保险基金中央调剂制度贯彻实施工作会议 2019-06-30
  • 不要拿《爱情公寓》当你的青春回忆,它不配 2019-06-30
  • 点击天山网 掌握全新疆 2019-06-24
  • 市场监管总局部分网红饮品存隐患 2019-06-22
  • 京研究小客车指标市场化配置方案 雾霾天限行分区域分时段 2019-06-22
  • 中国首台应用“和睦系统”核电机组并网发电 2019-06-21
  • 习近平接受《华尔街日报》采访 2019-06-21
  • 15选5走势图
    电话:13843226952
     
    工作时间:周一至周六:8:30-5:00  周日可联系客服QQ
       
      建站咨询㈠ 建站咨询㈡ 售后服务 售前咨询  
    关于阳光,吉林市网站建设,吉林市网站制作,网络公司
     当前位置:15选5走势图 >>> 技术中心

    新疆11选五开奖结果:全面解读Robots.txt各个数值

    日期:2011-2-25    来自:15选5走势图   作者:Admin   去百度查找  去Google查找

    15选5走势图 www.kdth.net 今天翻看之前保存的文档,发现有一份对Robots.txt很详细的解释文档,之前SEO100问里有篇什么是robots的文章大概的讲述了文件的写法,而没有详细的解释User-agent、Disallow、Allow值的含义,不论今天这篇文章是对Robots.txt重新做一个全面的认识,还是老话重提,这都是我们SEO学习者和从事着一次加深记忆的机会,我个人觉得做搜索引擎优化,既然算法我们不可能掌握,但是类似这样公开的搜索引擎语法,其含义都应该真正的去理解。

    搜索引擎使用spider程序自动访问互联网上的网页并获取网页信息。spider在访问一个网站时,会首先会检查该网站的根域下是否有一个叫做robots.txt的纯文本文件。您可以在您的网站中创建一个纯文本文件robots.txt,在文件中声明该网站中不想被robot访问的部分或者指定搜索引擎蜘蛛只收录特定的部分。这里提醒一下,请注意:当你网站不希望搜索引擎全部收录时才用到robots.txt文件(比如你网站后台页面)如果你希望搜索引擎全部收录你的网站,请建立一个空的robots.txt文件。

    1.首先告诉大家robots.txt文件要放在你网站的根目录里面。当你修改了你的robots.txt一般会在48小时内生效(对于搜索引擎来说)。

    2.如果你要禁止搜索引擎在搜索你网站时显示快照,而只对你的网站索引,什么办呢? 百度支持通过设置网页的meta,防止搜索引擎显示网站的快照。方法如下:

    要防止所有搜索引擎显示您网站的快照,请将此元标记置入网页的 <HEAD> 部分:
    <meta name=”robots” content=”noarchive”>
    要允许其他搜索引擎显示快照,但仅防止百度显示,请使用以下标记:
    <meta name=”baiduspider” content=”noarchive”>
    注:此标记只是禁止百度显示该网页的快照,百度会继续为网页建索引,并在搜索结果中显示网页摘要。

    3.我们来看一下如何写robots.txt,他的格式是什么样的。
    该文本是以 User-agent: 作为文本记录开头的。这个值有什么样呢?它是来描述搜索引擎robots的名字。
    比如说你要专指百度搜索引擎你就可以写为 User-agent: baiduspider
    同样的谷歌就是 User-agent:googlespider  比如你要描述SOSO图片蜘蛛你可以写 User-agent:Sosoimagespider 这样都可以 如果你要针对所有搜索引擎呢 User-agent: *就是所有搜索引擎全部概括了。
    robots.txt 除了第一项 User-agent: 还有其他两项 Disallow:   Allow: 但是User-agent: 是唯一项 他后面可以加若干Disallow和Allow行 也就是这种格式
    User-agent: *
    Disallow:
    Disallow:
    Disallow:
    Allow:
    Allow:
    Allow:  

    后面加多少个Disallow和Allow行都可以 是根据你需要来加的。好了我接着说Disallow,该项就是告诉搜索引擎我不希望我网站的那些网页收录的。你就可以用Disallow的描述来限制搜索引擎 我们来举个例子,比如我要限制所有搜索引擎不收录我的后台目录admin那么我们什么做呢?来看一下
    User-agent: *
    Disallow:/admin/

    如果是要显示百度不要收录我的这个目录其实搜索引擎可以什么做呢 前面我们说到了
    User-agent: baiduspider
    Disallow:/admin/

    你问如果是要禁止所有搜索引擎访问全站应该什么办呢?我们来看一下
    User-agent: *
    Disallow:/  

    如果要禁止访问多个文件夹呢 比如我要禁止访问 Admin  image  data 3个文件夹
    User-agent: *
    Disallow:/Admin/
    Disallow:/image/
    Disallow:/data/

    我们来解释一下Allow行是做什么的?其实这个Allow和Disallow是相反的。Allow他的意思就是希望搜索引擎访问我网站的一下路径,Allow通常与Disallow搭配使用。下面我们举个例子:
    我要允许访问特定目录中的部分url 比如我不要他访问我Admin目录 但是我希望他访问我Admin目录里面的hdd.html 什么办呢?这时候我们就可以用到Allow了 来看例子
    User-agent: *
    Allow:/admin/hdd
    Disallow:/Admin/

    顺便所一下 在robots.txt里面可以使用”*”和”$”:baiduspider支持使用通配符”*”和”$”来模糊匹配url。
    “$” 匹配行结束符。
    “*” 匹配0或多个任意字符。

    举个例子: 使用”*”限制访问url     。禁止访问/iea/目录下的所有以”.htm”为后缀的
    URL(包含子目录)。
    User-agent: *
    Disallow:/iea/*.htm

    再来举个例子 关于使用”$”限制访问url , 仅允许访问以”.htm”为后缀的URL。
    User-agent: *
    Allow: .htm$
    Disallow: /

    文章版权属于:北京SEO肖一涛

     
    上一篇:彻底完美解决Flash网站优化
    下一篇:一套行业网站优化完整思路
      阳光新闻 更多>>>
    吉林网站建设_吉林网页制作-阳光新闻
    2018年五一放假通知
    2018年清明节放假通知
    祝福到!给您送祝福啦!
    2018年春节放假通知!
    2017年国庆中秋放假安排
    2017年春节放假通知
      招贤纳士 更多>>>
    诚招吉林市网站建设商务经理
    招聘吉林市网站建设技术员
    公司招收吉林市网站开发学员
    因业务发展需要特诚聘商务代表
      网站建设专题 更多>>>
    阳光科技为您提供网站改版服务
    为什么网页设计要简练?
    如何在百度提交收录,怎样让自己的网站排名
    什么样的网站最受访客喜欢?
    吉林市网站建设形式与内容应统一
    网站管理与团队经营的秘诀
    优质的单页网站如何创建
     
    Copyright © 2008-2018 15选5走势图, All Rights Reserved    
    电话:13843226952  联系人:王经理
    ICP备案号:吉ICP备10003760号   技术支持:15选5走势图
    打造好的15选5走势图!我们为您提供有品质的15选5走势图、15选5走势图、15选5走势图、15选5走势图、15选5走势图、15选5走势图服务!
  • 人民日报评论员:大就要有大的样子 2019-07-17
  • 纷纷“结缘”世界杯 家电企业图什么 2019-07-15
  • 更正:将“只有存在……”改为“只要存在……”。 2019-07-14
  • 环境部专项整治长江经济带固体废物倾倒 督查中不需地方环保部门陪同 2019-07-14
  • 光明日报:深入真实生活的综艺节目更好看 2019-07-08
  • 网售私房粽游走法律边缘 打养生旗号难以说清依据 2019-07-07
  • 大米-热门标签-华商生活 2019-07-02
  • 紫光阁中共中央国家机关工作委员会 2019-07-02
  • 韩正出席企业职工基本养老保险基金中央调剂制度贯彻实施工作会议 2019-06-30
  • 不要拿《爱情公寓》当你的青春回忆,它不配 2019-06-30
  • 点击天山网 掌握全新疆 2019-06-24
  • 市场监管总局部分网红饮品存隐患 2019-06-22
  • 京研究小客车指标市场化配置方案 雾霾天限行分区域分时段 2019-06-22
  • 中国首台应用“和睦系统”核电机组并网发电 2019-06-21
  • 习近平接受《华尔街日报》采访 2019-06-21
  • 香港四肖中特 河南22选5第301期 11年双色球基本走势图 北京赛车总部在哪里 安徽时时彩走势 澳洲幸运10冠军五码定位 2019六合图库期期资料 福建22选5开奖查询结果 六合彩生肖表 福彩极速快3能玩吗 网上博彩送彩金体验金 澳洲幸运8开奖时间 中国北京福彩中心地址 河南11选5哪里买 爱彩网主页