logo
電話:13843226952
 
工作時間:周一至周六:8:30-5:00  周日可聯系客服QQ
   
  建站咨詢㈠ 建站咨詢㈡ 售后服務 售前咨詢  
關于陽光,吉林市網站建設,吉林市網站制作,網絡公司
 當前位置:本站首頁 >>> 電子商務

什么是robots協議?標準是什么?

日期:2018/1/5    來自:吉林市陽光網絡科技   作者:Admin   去百度查找  去Google查找

  robots協議就是robots.txt文件,是一個被放置在網站中的.TXT文件,為搜索引擎爬蟲做出提示,設置允許或者不允許兩種搜索語句,網絡爬蟲據此判斷抓取或者不抓取該網頁內容。即網站通過robots協議高速搜索引擎哪些頁面可以抓取,哪些頁面不能抓取的。robots協議的目的是保護網站數據和敏感信息、確保用戶個人信息和隱私不被侵犯。

  Robots.txt函數釋義
  常見的Robots.txt函數有“User-agent”“Disallow”“Aallow”:
  1.User-agent:表示允許搜索引擎的身份,User-agent后綴不同則表示允許訪問的搜索引擎有不同。例如:User-agent:Baiduspider表示允許百度蜘蛛,User-agent:Googlebot表示允許谷歌爬蟲,User-agent: *則表示允許所有的搜索引擎。

    2.Disallow:表示禁止訪問的內容。例如:Disallow: /表示網站禁止抓取訪問; Disallow:則表示都允許收錄;Disallow: /news/表示news這個文件夾的內容禁止訪問;Disallow: /XXX.html表示XXX.html這個網站禁止收錄;Disallow: /*.jpg$表示禁止抓取jpg格式的圖片,其他類型的圖片格式以此類推。

    3.Allow:是允許的意思,但需要注意:  他的使用一般都是結合Disallow他不能單獨出現,意思是禁止爬取那個內容,加上Allow后意思是,除了可以爬取這個外其余的都禁止!

 

 
上一篇:沒有了!
下一篇:開發電子商務網站需要了解哪些?
  陽光新聞 更多>>>
吉林網站建設_吉林網頁制作-陽光新聞
移動建站的優勢在哪?
如何規劃網站的主題
網站優化注意事項
網站建設的趨勢
網站建設對企業發展有哪些助力
小程序未來的市場前景
  招賢納士 更多>>>
誠聘銷售精英合作伙伴
誠招吉林市網站建設商務經理
招聘吉林市網站建設技術員
公司招收吉林市網站開發學員
因業務發展需要特誠聘商務代表
  網站建設專題 更多>>>
陽光科技為您提供網站改版服務
為什么網頁設計要簡練?
如何在百度提交收錄,怎樣讓自己的網站排名
什么樣的網站最受訪客喜歡?
吉林市網站建設形式與內容應統一
網站管理與團隊經營的秘訣
優質的單頁網站如何創建
 
Copyright © 2008-2019 www.2719408.live, All Rights Reserved    
電話:13843226952  聯系人:王經理
ICP備案號:吉ICP備10003760號   技術支持:吉林網站建設
打造好的吉林網絡公司!我們為您提供有品質的吉林網站建設吉林市網站建設吉林網站制作吉林網頁制作吉林網站優化吉林seo服務!
好运彩3网址软件 血战到底麻将下载换三张 安徽11选五基本走势 河南22选5技巧 吉祥棋牌手机版官方下载 哈灵上海麻将 腾讯时时彩官网开奖 黑龙江11选5走势图正好网 海南琼崖麻将下载 二分彩票app下载 福建体彩22选5 神来棋牌怎么坑人的 英超曼城 pc蛋蛋账号 快乐扑克派视频 单机千炮捕鱼无限金币版 山西掌上麻将下载官方