• 临汾市脑卒中急救溶栓地图发布 2019-05-24
  • 震后十年·追忆与新生:关于2008年的那场地震,陕西有记忆 2019-05-17
  • 【端午节民俗地图】天津:“铁面柔肠”——五毒饼 2019-05-17
  • 自然规律是不可改变的,社会规律是可以改变的。这是自然科学与社会科学的区别之一。 2019-05-08
  • 全球最长玻璃环廊郑州落成相关新闻 2019-05-05
  • 进口汽车“乘坐”中欧班列抵达西安 2019-05-05
  • 2018年北京高考阅卷21万份 23日发布成绩 2019-05-05
  • 夏日“瘦身族” 科学“瘦身”你准备好了吗? 2019-05-05
  • 科教资源加速流动,大湾区发展再提速 2019-05-04
  • 滴滴宣布进入澳洲市场 快车业务落地墨尔本 2019-05-03
  • 在庆祝海南建省办经济特区30周年大会上的讲话 2019-05-03
  • 日本民族将会为最终拥核而战!现在日本保有47吨钚足己制造6000枚核弹,并且日本具有资金和技术优势一星期之內就可拥核!冷眼细观世界笑骂指点江山 ... 2019-04-28
  • 徕卡M10限量版外观曝光-热门标签-华商网数码 2019-04-28
  • 女子为球迷老公打造看球客厅 泡面啤酒一应俱全 2019-04-25
  • 世界排球联赛德国站首战 中国女排逆转击败东道主 2019-04-22
  • 15选5走势图
    电话:13843226952
     
    工作时间:周一至周六:8:30-5:00  周日可联系客服QQ
       
      建站咨询㈠ 建站咨询㈡ 售后服务 售前咨询  
    关于阳光,吉林市网站建设,吉林市网站制作,网络公司
     当前位置:15选5走势图 >>> 电子商务

    新疆风采18选7:什么是robots协议?标准是什么?

    日期:2018-1-5    来自:15选5走势图   作者:Admin   去百度查找  去Google查找

    15选5走势图 www.kdth.net   robots协议就是robots.txt文件,是一个被放置在网站中的.TXT文件,为搜索引擎爬虫做出提示,设置允许或者不允许两种搜索语句,网络爬虫据此判断抓取或者不抓取该网页内容。即网站通过robots协议高速搜索引擎哪些页面可以抓取,哪些页面不能抓取的。robots协议的目的是?;ね臼莺兔舾行畔?、确保用户个人信息和隐私不被侵犯。

      Robots.txt函数释义
      常见的Robots.txt函数有“User-agent”“Disallow”“Aallow”:
      1.User-agent:表示允许搜索引擎的身份,User-agent后缀不同则表示允许访问的搜索引擎有不同。例如:User-agent:Baiduspider表示允许百度蜘蛛,User-agent:Googlebot表示允许谷歌爬虫,User-agent: *则表示允许所有的搜索引擎。

        2.Disallow:表示禁止访问的内容。例如:Disallow: /表示网站禁止抓取访问; Disallow:则表示都允许收录;Disallow: /news/表示news这个文件夹的内容禁止访问;Disallow: /XXX.html表示XXX.html这个网站禁止收录;Disallow: /*.jpg$表示禁止抓取jpg格式的图片,其他类型的图片格式以此类推。

        3.Allow:是允许的意思,但需要注意:  他的使用一般都是结合Disallow他不能单独出现,意思是禁止爬取那个内容,加上Allow后意思是,除了可以爬取这个外其余的都禁止!

     

     
    上一篇:没有了!
    下一篇:开发电子商务网站需要了解哪些?
      阳光新闻 更多>>>
    吉林网站建设_吉林网页制作-阳光新闻
    2018年五一放假通知
    2018年清明节放假通知
    祝福到!给您送祝福啦!
    2018年春节放假通知!
    2017年国庆中秋放假安排
    2017年春节放假通知
      招贤纳士 更多>>>
    诚招吉林市网站建设商务经理
    招聘吉林市网站建设技术员
    公司招收吉林市网站开发学员
    因业务发展需要特诚聘商务代表
      网站建设专题 更多>>>
    阳光科技为您提供网站改版服务
    为什么网页设计要简练?
    如何在百度提交收录,怎样让自己的网站排名
    什么样的网站最受访客喜欢?
    吉林市网站建设形式与内容应统一
    网站管理与团队经营的秘诀
    优质的单页网站如何创建
     
    Copyright © 2008-2018 15选5走势图, All Rights Reserved    
    电话:13843226952  联系人:王经理
    ICP备案号:吉ICP备10003760号   技术支持:15选5走势图
    打造好的15选5走势图!我们为您提供有品质的15选5走势图、15选5走势图、15选5走势图、15选5走势图、15选5走势图、15选5走势图服务!
  • 临汾市脑卒中急救溶栓地图发布 2019-05-24
  • 震后十年·追忆与新生:关于2008年的那场地震,陕西有记忆 2019-05-17
  • 【端午节民俗地图】天津:“铁面柔肠”——五毒饼 2019-05-17
  • 自然规律是不可改变的,社会规律是可以改变的。这是自然科学与社会科学的区别之一。 2019-05-08
  • 全球最长玻璃环廊郑州落成相关新闻 2019-05-05
  • 进口汽车“乘坐”中欧班列抵达西安 2019-05-05
  • 2018年北京高考阅卷21万份 23日发布成绩 2019-05-05
  • 夏日“瘦身族” 科学“瘦身”你准备好了吗? 2019-05-05
  • 科教资源加速流动,大湾区发展再提速 2019-05-04
  • 滴滴宣布进入澳洲市场 快车业务落地墨尔本 2019-05-03
  • 在庆祝海南建省办经济特区30周年大会上的讲话 2019-05-03
  • 日本民族将会为最终拥核而战!现在日本保有47吨钚足己制造6000枚核弹,并且日本具有资金和技术优势一星期之內就可拥核!冷眼细观世界笑骂指点江山 ... 2019-04-28
  • 徕卡M10限量版外观曝光-热门标签-华商网数码 2019-04-28
  • 女子为球迷老公打造看球客厅 泡面啤酒一应俱全 2019-04-25
  • 世界排球联赛德国站首战 中国女排逆转击败东道主 2019-04-22