• “鹊桥”天梯的“四宗最” 2019-10-21
  • 北京法院诉讼档案实现互联网查阅 2019-10-21
  • 讲政德如何落到实处(专家观点) 2019-10-18
  • 解读习近平八一讲话:铭记辉煌历史 推进强军事业 2019-10-14
  • 吉祥法师:什么才是“相由心生”?了解一下 2019-10-14
  • 乌兰察布--内蒙古频道--人民网 2019-10-12
  • 游客被指捡石子砸老虎 北京野生动物园:正在核实 2019-10-12
  • 回复@老老保老张工:三大件为什么会让人自豪?因为你有钱都买不到,必须找关系批条子!所以结婚能有三大件,不仅表示有钱,还表示有关系。 2019-10-05
  • 致父亲——习近平与父亲的家国情 2019-10-04
  • 高清:葡萄牙明晨对阵西班牙 C罗领衔球队认真备战 2019-10-04
  • 明年起全国将全面供应“国六”汽柴油 2019-10-02
  • 流溪河森林公园美不胜收 2019-09-30
  • “工会是下岗职工真正的‘娘家’” 2019-09-30
  • 弘扬红船精神 当好勇立潮头城建排头兵 2019-09-27
  • ofo宣布全面取消免押金 还被曝出存在霸王条款 2019-09-27
  • 15选5走势图
    电话:13843226952
     
    工作时间:周一至周六:8:30-5:00  周日可联系客服QQ
       
      建站咨询㈠ 建站咨询㈡ 售后服务 售前咨询  
    关于阳光,吉林市网站建设,吉林市网站制作,网络公司
     当前位置:15选5走势图 >>> 技术中心

    18选7今日开奖结果查询:全面解读Robots.txt各个数值

    日期:2011/2/25    来自:15选5走势图   作者:Admin   去百度查找  去Google查找

    15选5走势图 www.kdth.net 今天翻看之前保存的文档,发现有一份对Robots.txt很详细的解释文档,之前SEO100问里有篇什么是robots的文章大概的讲述了文件的写法,而没有详细的解释User-agent、Disallow、Allow值的含义,不论今天这篇文章是对Robots.txt重新做一个全面的认识,还是老话重提,这都是我们SEO学习者和从事着一次加深记忆的机会,我个人觉得做搜索引擎优化,既然算法我们不可能掌握,但是类似这样公开的搜索引擎语法,其含义都应该真正的去理解。

    搜索引擎使用spider程序自动访问互联网上的网页并获取网页信息。spider在访问一个网站时,会首先会检查该网站的根域下是否有一个叫做robots.txt的纯文本文件。您可以在您的网站中创建一个纯文本文件robots.txt,在文件中声明该网站中不想被robot访问的部分或者指定搜索引擎蜘蛛只收录特定的部分。这里提醒一下,请注意:当你网站不希望搜索引擎全部收录时才用到robots.txt文件(比如你网站后台页面)如果你希望搜索引擎全部收录你的网站,请建立一个空的robots.txt文件。

    1.首先告诉大家robots.txt文件要放在你网站的根目录里面。当你修改了你的robots.txt一般会在48小时内生效(对于搜索引擎来说)。

    2.如果你要禁止搜索引擎在搜索你网站时显示快照,而只对你的网站索引,什么办呢? 百度支持通过设置网页的meta,防止搜索引擎显示网站的快照。方法如下:

    要防止所有搜索引擎显示您网站的快照,请将此元标记置入网页的 <HEAD> 部分:
    <meta name=”robots” content=”noarchive”>
    要允许其他搜索引擎显示快照,但仅防止百度显示,请使用以下标记:
    <meta name=”baiduspider” content=”noarchive”>
    注:此标记只是禁止百度显示该网页的快照,百度会继续为网页建索引,并在搜索结果中显示网页摘要。

    3.我们来看一下如何写robots.txt,他的格式是什么样的。
    该文本是以 User-agent: 作为文本记录开头的。这个值有什么样呢?它是来描述搜索引擎robots的名字。
    比如说你要专指百度搜索引擎你就可以写为 User-agent: baiduspider
    同样的谷歌就是 User-agent:googlespider  比如你要描述SOSO图片蜘蛛你可以写 User-agent:Sosoimagespider 这样都可以 如果你要针对所有搜索引擎呢 User-agent: *就是所有搜索引擎全部概括了。
    robots.txt 除了第一项 User-agent: 还有其他两项 Disallow:   Allow: 但是User-agent: 是唯一项 他后面可以加若干Disallow和Allow行 也就是这种格式
    User-agent: *
    Disallow:
    Disallow:
    Disallow:
    Allow:
    Allow:
    Allow:  

    后面加多少个Disallow和Allow行都可以 是根据你需要来加的。好了我接着说Disallow,该项就是告诉搜索引擎我不希望我网站的那些网页收录的。你就可以用Disallow的描述来限制搜索引擎 我们来举个例子,比如我要限制所有搜索引擎不收录我的后台目录admin那么我们什么做呢?来看一下
    User-agent: *
    Disallow:/admin/

    如果是要显示百度不要收录我的这个目录其实搜索引擎可以什么做呢 前面我们说到了
    User-agent: baiduspider
    Disallow:/admin/

    你问如果是要禁止所有搜索引擎访问全站应该什么办呢?我们来看一下
    User-agent: *
    Disallow:/  

    如果要禁止访问多个文件夹呢 比如我要禁止访问 Admin  image  data 3个文件夹
    User-agent: *
    Disallow:/Admin/
    Disallow:/image/
    Disallow:/data/

    我们来解释一下Allow行是做什么的?其实这个Allow和Disallow是相反的。Allow他的意思就是希望搜索引擎访问我网站的一下路径,Allow通常与Disallow搭配使用。下面我们举个例子:
    我要允许访问特定目录中的部分url 比如我不要他访问我Admin目录 但是我希望他访问我Admin目录里面的hdd.html 什么办呢?这时候我们就可以用到Allow了 来看例子
    User-agent: *
    Allow:/admin/hdd
    Disallow:/Admin/

    顺便所一下 在robots.txt里面可以使用”*”和”$”:baiduspider支持使用通配符”*”和”$”来模糊匹配url。
    “$” 匹配行结束符。
    “*” 匹配0或多个任意字符。

    举个例子: 使用”*”限制访问url     。禁止访问/iea/目录下的所有以”.htm”为后缀的
    URL(包含子目录)。
    User-agent: *
    Disallow:/iea/*.htm

    再来举个例子 关于使用”$”限制访问url , 仅允许访问以”.htm”为后缀的URL。
    User-agent: *
    Allow: .htm$
    Disallow: /

    文章版权属于:北京SEO肖一涛

     
    上一篇:彻底完美解决Flash网站优化
    下一篇:一套行业网站优化完整思路
      阳光新闻 更多>>>
    吉林网站建设_吉林网页制作-阳光新闻
    移动建站的优势在哪?
    如何规划网站的主题
    网站优化注意事项
    网站建设的趋势
    网站建设对企业发展有哪些助力
    小程序未来的市场前景
      招贤纳士 更多>>>
    诚聘销售精英合作伙伴
    诚招吉林市网站建设商务经理
    招聘吉林市网站建设技术员
    公司招收吉林市网站开发学员
    因业务发展需要特诚聘商务代表
      网站建设专题 更多>>>
    阳光科技为您提供网站改版服务
    为什么网页设计要简练?
    如何在百度提交收录,怎样让自己的网站排名
    什么样的网站最受访客喜欢?
    吉林市网站建设形式与内容应统一
    网站管理与团队经营的秘诀
    优质的单页网站如何创建
     
    Copyright © 2008-2019 15选5走势图, All Rights Reserved    
    电话:13843226952  联系人:王经理
    ICP备案号:吉ICP备10003760号   技术支持:15选5走势图
    打造好的15选5走势图!我们为您提供有品质的15选5走势图、15选5走势图、15选5走势图、15选5走势图、15选5走势图、15选5走势图服务!
  • “鹊桥”天梯的“四宗最” 2019-10-21
  • 北京法院诉讼档案实现互联网查阅 2019-10-21
  • 讲政德如何落到实处(专家观点) 2019-10-18
  • 解读习近平八一讲话:铭记辉煌历史 推进强军事业 2019-10-14
  • 吉祥法师:什么才是“相由心生”?了解一下 2019-10-14
  • 乌兰察布--内蒙古频道--人民网 2019-10-12
  • 游客被指捡石子砸老虎 北京野生动物园:正在核实 2019-10-12
  • 回复@老老保老张工:三大件为什么会让人自豪?因为你有钱都买不到,必须找关系批条子!所以结婚能有三大件,不仅表示有钱,还表示有关系。 2019-10-05
  • 致父亲——习近平与父亲的家国情 2019-10-04
  • 高清:葡萄牙明晨对阵西班牙 C罗领衔球队认真备战 2019-10-04
  • 明年起全国将全面供应“国六”汽柴油 2019-10-02
  • 流溪河森林公园美不胜收 2019-09-30
  • “工会是下岗职工真正的‘娘家’” 2019-09-30
  • 弘扬红船精神 当好勇立潮头城建排头兵 2019-09-27
  • ofo宣布全面取消免押金 还被曝出存在霸王条款 2019-09-27
  • 广东快乐十分最快开奖直播 海南飞鱼实时 大赢家足球即时比分 澳洲五分彩官方下载 广西福彩投注客户端 35选7号码预测 公式规律 梅州大乐透大奖 湖南快乐十分总动员 吉林快三号码预测与推荐 快乐12现场直播 彩票历史数据 排列五每周几开奖 网赌万人牛牛怎么压才会赢 网络竞技游戏大全