<sup id="eee0e"></sup><tfoot id="eee0e"><noscript id="eee0e"></noscript></tfoot><nav id="eee0e"><code id="eee0e"></code></nav><nav id="eee0e"><sup id="eee0e"></sup></nav>
  • <tr id="eee0e"></tr>
  • 
    
    
    
  • <small id="eee0e"></small>
    <nav id="eee0e"></nav>
  • 97精品久久无码中文,亚洲素人av在线无码,天堂亚洲aⅴ在线观看,97人妻碰碰碰久久久

    頂部文字

    深圳市東方富海科技有限公司-富海360總部
    搜索
    首頁 > seo優(yōu)化動(dòng)態(tài)  > 百度優(yōu)化排名知識(shí)
    返回

    百度排名優(yōu)化之Baiduspider抓取過程中涉及的網(wǎng)絡(luò)協(xié)議

    來源:http://m.yy5129.com/ 發(fā)布時(shí)間:2016年07月07日

    剛才提到百度搜索引擎會(huì)設(shè)計(jì)復(fù)雜的抓取策略,其實(shí)搜索引擎與資源提供者之間存在相互依賴的關(guān)系,其中搜索引擎需要站長為其提供資源,否則搜索引擎就無法滿足用戶檢索需求;而站長需要通過搜索引擎將自己的 內(nèi)容推廣出去獲取更多的受眾。spider抓取系統(tǒng)直接涉及互聯(lián)網(wǎng)資源提供者的利益,為了使搜素引擎與站長能夠達(dá)到雙贏,在抓取過程中雙方必須遵守一定的 規(guī)范,以便于雙方的數(shù)據(jù)處理及對(duì)接。這種過程中遵守的規(guī)范也就是日常中我們所說的一些網(wǎng)絡(luò)協(xié)議。
    以下簡單列舉:
            http協(xié)議:超文本傳輸協(xié)議,是互聯(lián)網(wǎng)上應(yīng)用最為廣泛的一種網(wǎng)絡(luò)協(xié)議,客戶端和服務(wù)器端請(qǐng)求和應(yīng)答的標(biāo)準(zhǔn)。客戶端一般情況是指終端用戶,服務(wù)器端即指網(wǎng) 站。終端用戶通過瀏覽器、蜘蛛等向服務(wù)器指定端口發(fā)送http請(qǐng)求。發(fā)送http請(qǐng)求會(huì)返回對(duì)應(yīng)的httpheader信息,可以看到包括是否成功、服務(wù) 器類型、網(wǎng)頁最近更新時(shí)間等內(nèi)容。

    https協(xié)議:實(shí)際是加密版http,一種更加安全的數(shù)據(jù)傳輸協(xié)議。

    UA屬性:UAuser-agent,是http協(xié)議中的一個(gè)屬性,代表了終端的身份,向服務(wù)器端表明我是誰來干嘛,進(jìn)而服務(wù)器端可以根據(jù)不同的身份來做出不同的反饋結(jié)果。

    robots協(xié)議:robots.txt是搜索引擎訪問一個(gè)網(wǎng)站時(shí)要訪問的第一個(gè)文件,用以來確定哪些是被允許抓取的哪些是被禁止抓取的。 robots.txt必須放在網(wǎng)站根目錄下,且文件名要小寫。詳細(xì)的robots.txt寫法可參考 http://www.robotstxt.org 。百度嚴(yán)格按照robots協(xié)議執(zhí)行,另外,同樣支持網(wǎng)頁內(nèi)容中添加的名為robotsmeta標(biāo) 簽,indexfollownofollow等指令。

    相關(guān)文章

    + 微信號(hào):fuhails

    添加微信好友,詳細(xì)了解產(chǎn)品。

    97精品久久无码中文
    <sup id="eee0e"></sup><tfoot id="eee0e"><noscript id="eee0e"></noscript></tfoot><nav id="eee0e"><code id="eee0e"></code></nav><nav id="eee0e"><sup id="eee0e"></sup></nav>
  • <tr id="eee0e"></tr>
  • 
    
    
    
  • <small id="eee0e"></small>
    <nav id="eee0e"></nav>