• 中国科协科普部副部长谈2016年全国科普日 2019-03-04
  • 端午小长假昌吉市将启动百日文化旅游活动 2019-02-23
  • 喀喇昆仑深处的壮美 中国国家地理网 2019-02-23
  • 15选5走势图
    电话:13843226952
     
    工作时间:周一至周六:8:30-5:00  周日可联系客服QQ
       
      建站咨询㈠ 建站咨询㈡ 售后服务 售前咨询  
    关于阳光,吉林市网站建设,吉林市网站制作,网络公司
     当前位置:15选5走势图 >>> 电子商务

    新疆风采25选7开奖:什么是robots协议?标准是什么?

    日期:2018-1-5    来自:15选5走势图   作者:Admin   去百度查找  去Google查找

    15选5走势图 www.kdth.net   robots协议就是robots.txt文件,是一个被放置在网站中的.TXT文件,为搜索引擎爬虫做出提示,设置允许或者不允许两种搜索语句,网络爬虫据此判断抓取或者不抓取该网页内容。即网站通过robots协议高速搜索引擎哪些页面可以抓取,哪些页面不能抓取的。robots协议的目的是?;ね臼莺兔舾行畔?、确保用户个人信息和隐私不被侵犯。

      Robots.txt函数释义
      常见的Robots.txt函数有“User-agent”“Disallow”“Aallow”:
      1.User-agent:表示允许搜索引擎的身份,User-agent后缀不同则表示允许访问的搜索引擎有不同。例如:User-agent:Baiduspider表示允许百度蜘蛛,User-agent:Googlebot表示允许谷歌爬虫,User-agent: *则表示允许所有的搜索引擎。

        2.Disallow:表示禁止访问的内容。例如:Disallow: /表示网站禁止抓取访问; Disallow:则表示都允许收录;Disallow: /news/表示news这个文件夹的内容禁止访问;Disallow: /XXX.html表示XXX.html这个网站禁止收录;Disallow: /*.jpg$表示禁止抓取jpg格式的图片,其他类型的图片格式以此类推。

        3.Allow:是允许的意思,但需要注意:  他的使用一般都是结合Disallow他不能单独出现,意思是禁止爬取那个内容,加上Allow后意思是,除了可以爬取这个外其余的都禁止!

     

     
    上一篇:没有了!
    下一篇:开发电子商务网站需要了解哪些?
      阳光新闻 更多>>>
    吉林网站建设_吉林网页制作-阳光新闻
    2018年五一放假通知
    2018年清明节放假通知
    祝福到!给您送祝福啦!
    2018年春节放假通知!
    2017年国庆中秋放假安排
    2017年春节放假通知
      招贤纳士 更多>>>
    诚招吉林市网站建设商务经理
    招聘吉林市网站建设技术员
    公司招收吉林市网站开发学员
    因业务发展需要特诚聘商务代表
      网站建设专题 更多>>>
    阳光科技为您提供网站改版服务
    为什么网页设计要简练?
    如何在百度提交收录,怎样让自己的网站排名
    什么样的网站最受访客喜欢?
    吉林市网站建设形式与内容应统一
    网站管理与团队经营的秘诀
    优质的单页网站如何创建
     
    Copyright © 2008-2018 15选5走势图, All Rights Reserved    
    电话:13843226952  联系人:王经理
    ICP备案号:吉ICP备10003760号   技术支持:15选5走势图
    打造好的15选5走势图!我们为您提供有品质的15选5走势图、15选5走势图、15选5走势图、15选5走势图、15选5走势图、15选5走势图服务!
  • 中国科协科普部副部长谈2016年全国科普日 2019-03-04
  • 端午小长假昌吉市将启动百日文化旅游活动 2019-02-23
  • 喀喇昆仑深处的壮美 中国国家地理网 2019-02-23