seo中影(yǐng)響各大(dà)搜索排名的(de)robots如(rú)何把控₽₽π？

     衆所周知(zhī)，各$★φ個(gè)搜索引擎，特别是(shì)百度那(nà)些(x™β¥iē)，的(de)機(jī)器(qì)蜘蛛爬蟲是(sh<εì)比較喜歡網站(zhàn)自(zì)身(shēn)在自(z♥​★ì)己的(de)網站(zhàn)上(shàng)提供robo↓↕♣ts文(wén)件(jiàn)，這(zhè)樣有(yǒu)利于節省蜘蛛爬蟲的(de)精力是↔¥™(shì)有(yǒu)限的(de)，這(zhè)樣相(xià☆®‍∏ng)當于給予爬蟲一(yī)個(gè)導航，讓他(tā)更好(hǎo)的(♦÷♦>de)能(néng)夠做(zuò)好(hǎo)爬‌☆ 蟲的(de)工(gōng)作(zuò)。那(nà)ε‍÷什(shén)麽是(shì)robots文(wé×₹δn)件(jiàn)呢(ne)？首頁網址後面加入“/robots.txt”，即可(kě'‌→)打開(kāi)該網站(zhàn)的(de)robo£×ts文(wén)件(jiàn)，可(kě)以将網站(zhàδ•n)中有(yǒu)一(yī)些(xiē)無關緊要(yào)的(de)網頁，如(rú)♦λ☆$“給我留言”或“聯系方式”等網頁，他(tā)們并不(bù)參與SE₹>O排名，隻是(shì)為(wèi)了(le)給用(yòng)戶看(kàn)‌∏φ，此時(shí)可(kě)以利用(yòng)robots文(wén)件(jiàn)把他(tā±↓✘σ)們屏蔽，即告訴搜索引擎不(bù)要(yào)抓取該頁面。從(cóng)而高(gāo)效☆•£抓取我們需要(yào)的(de)頁面。對(duì)于中大(dà)型網站(zhàn)來(l>φái)說(shuō)，robots文(wén)件(jiàn)尤為(wèi)ו重要(yào)。

   那(nà)麽robots文(wén)件(ji£∏§àn)的(de)用(yòng)法該如(rú)何呢(ne)？

   robots文(wén)件(jiàn)用(yòng≠♥)法：

1.“user-agent：*disallow：/β✘×”

    意思表示“禁止所有(yǒu)搜£'→∞索引擎訪問(wèn)網站(zhàn)的(de)任何部分(fēn)”， ∞也(yě)就(jiù)是(shì)說(shuō)該網站(zhàn)✘®∑在搜索引擎裡(lǐ)沒有(yǒu)記錄，也(yě)就(j₹φ≤iù)談不(bù)上(shàng)排名。

2.“user-agent：*disallow：”

     意思為(wèi)“允許所± 有(yǒu)的(de)robots訪問(w♥∑èn)”，即允許蜘蛛任意抓取并收錄該網站(zhàα∏σ'n)。這(zhè)裡(lǐ)需要(yào)注意，前δ<↓兩條語法之間(jiān)隻相(xiàng)差一(yī)個(gè)“/”。

3.“user-agent：badbot disallow：✔>' /”

     意思為(wèi)“禁止某個(gè)搜索引擎的(de¥>)訪問(wèn)”。

4.“user-agent：baiduspider disallow：user-agent：≈€*disallow：/”

      意思為(wèi)“允$€→許某個(gè)搜索引擎的(de)訪問(wèn)”。這(zhè)裡γ‌‌≠(lǐ)面的(de)“baiduspider→σ✔₹”是(shì)百度蜘蛛的(de)名稱，這(zhè)條語法即是(shì)允許百度抓取該網站(zhàn§₩™)，而不(bù)允許其他(tā)搜索引擎抓取。

robots文(wén)件(jiàn)用(yò≤λng)法案例：

      比如(rú)網站(zhàn)改版，就(jiλ∑Ωεù)會(huì)出現(xiàn)大(dà)量404頁面、很(¥​βhěn)多(duō)死鏈接，而這(zhè)些(xiē)鏈接以前已‌ε經被百度收錄，但(dàn)網站(zhàn)更換後蜘蛛再過來(lái)發現(xiàn)這(zhèλ"β)些(xiē)頁面都(dōu)不(bù)存在了(le≈')，這(zhè)就(jiù)會(huì)留下(xià)很(hěn)不(bù)好(hǎo)的( ‍de)印象。此時(shí)可(kě)以利用(yòng)robots文(wén)件 ©(jiàn)把死鏈接全部屏蔽，不(bù)讓百度訪問(wèn)這(zhè)些(♣∏xiē)已不(bù)存在的(de)頁面即可(kě)。

robots文(wén)件(jiàn)運用(yòng)注意事(shì)項：

      robo​‌ts文(wén)件(jiàn)名必須是(shì)robots.txt， •其後綴是(shì)txt并且是(shì)¥★小(xiǎo)寫的(de)，不(bù)可(kě)以随便更改，否則搜索引×'擎識别不(bù)了(le)。然後打開(kāi)該文(wén)件( α↔↔jiàn)，可(kě)以直接複制(zhì)粘貼别人(rén)的(de)φ§格式，Robots文(wén)件(jiàπ>¥n)格式是(shì)一(yī)條命令一(yī)行(↓∑φxíng)，下(xià)一(yī)條命令必須換行(xíng)。還(≥₩σβhái)有(yǒu)，“disallow： ”後面☆δ必須有(yǒu)一(yī)個(gè)空(kōng)格，這(zhè)是(shì)規↓≥↔ 範寫法。

      雖然這(zhè)幾年(nián)據說(shu∞αō)，在360推出搜索業(yè)務一(yī)年(n₹'→ián)之後，3B大(dà)戰再次爆發，百度創造性的(de)使δ¶≈Ω用(yòng)Robots協議(yì)白(bái)名單禁止360抓取百度百科(kē)→≠ 、百度貼吧(ba)和(hé)百度知(zhī)道(dào)的(de)內(nèi)容，并起訴♠≈£¶360不(bù)遵守Robots協議(yì)'♣​，但(dàn)在協議(yì)中谷歌(gē)、Bing、搜狗和(π←hé)搜搜等搜索引擎還(hái)可(kě)以自(zì)由抓取相(™​xiàng)關內(nèi)容。

      &n ¥bsp;百度通(tōng)過白(bái)名單、黑(hδ​πēi)名單的(de)機(jī)制(zhì)，限制(z☆•hì)360搜索引擎索引其內(nèi)容，☆$"而允許其他(tā)搜索引擎索引其內(nèi)容，既不(bù)£☆公平，也(yě)違背了(le)Robots協議(yì)的(de)初衷，更違背了(le)互聯網開(k®∑↑āi)放(fàng)、分(fēn)享的(de)精神。任其濫用÷γ÷£(yòng)，必将造成行(xíng)業(yè)競争壁壘，導緻搜索引擎信息呈現(xiàn)達不(bù≈↔)到(dào)盡可(kě)能(néng)完整的(de)目的(de)，阻礙搜♣₩索市(shì)場(chǎng)的(de)信息自(zì)由，損害網民(mín)利益。但(d✔★¥àn)是(shì)百度的(de)robots還(há ↔i)是(shì)很(hěn)喜歡的(de)。π ™ 所以這(zhè)項工(gōng)作(zuò)我們作(zuò ↑δ)為(wèi)seo優化(huà)人(rén)員(yuán)應¥÷∏該把它做(zuò)好(hǎo)。