• 歡迎訪問奇跡の海網站,本站不上傳任何資源,所有資源均來自于網絡,歡迎加入奇跡の海~!奇跡の海-WordPress QQ群
  • 本站下載資源為網絡上收集整理而來,并且以計算機技術研究交流為目的,版權歸原作者所有,僅供大家參考,學習,不存在任何商業目的與商業用途.
  • 本站系統鏡像均來自于官方原版,ed2k可視為P2P下載鏈接。所有操作系統默認均為試用版,如有正版密鑰可以有效激活,本站不提供任何激活和相關服務。

wordpress如何設置最佳robots.txt 對 wordpress博客進行優化

WP其他 奇跡の海 3年前 (2017-04-08) 545次瀏覽 已收錄 0個評論 掃描二維碼

wordpress如何設置最佳robots.txt 對 wordpress博客進行優化

分享給一些wordpress新手看看如何去善用robots.txt對wordpress博客進行優化。

一、先來普及下robots.txt的概念:

robots.txt(統一小寫)是一種存放于網站根目錄下的ASCII編碼的文本文件,它通常告訴網絡搜索引擎的漫游器(又稱網絡蜘蛛),此網站中的哪些內容是不能被搜索引擎的漫游器獲取的,哪些是可以被(漫游器)獲取的。這個文件用于指定spider在您網站上的抓取范圍,一定程度上保護站點的安全和隱私。同時也是網站優化利器,例如屏蔽捉取站點的重復內容頁面。

robots.txt目前并不是一種標準,只是一種協議!所以現在很多搜索引擎對robots.txt里的指令參數都有不同的看待。

二、使用robots.txt需要注意的幾點地方:

1、指令區分大小寫,忽略未知指令,下圖是本博客的robots.txt文件在Google管理員工具里的測試結果;

2、每一行代表一個指令,空白和隔行會被忽略;

3、“#”號后的字符參數會被忽略;

4、有獨立User-agent的規則,會排除在通配“*”User agent的規則之外;

5、可以寫入sitemap文件的鏈接,方便搜索引擎蜘蛛爬行整站內容。

6、盡量少用Allow指令,因為不同的搜索引擎對不同位置的Allow指令會有不同看待。

三、WordPress的robots.txt優化設置

1、User-agent: *

一般博客的robots.txt指令設置都是面對所有spider程序,用通配符“*”即可。如果有獨立User-agent的指令規則,盡量放在通配“*”User agent規則的上方。

2、Disallow: /wp-admin/
Disallow: /wp-content/
Disallow: /wp-includes/

屏蔽spider捉取程序文件,同時也節約了搜索引擎蜘蛛資源。

3、Disallow: /*/trackback

每個默認的文章頁面代碼里,都有一段trackback的鏈接,如果不屏蔽讓蜘蛛去捉取,網站會出現重復頁面內容問題。

4、Disallow: /feed
Disallow: /*/feed
Disallow: /comments/feed

頭部代碼里的feed鏈接主要是提示瀏覽器用戶可以訂閱本站,而一般的站點都有RSS輸出和網站地圖,故屏蔽搜索引擎捉取這些鏈接,節約蜘蛛資源。

5、Disallow: /?s=*
Disallow: /*/?s=*

這個就不用解釋了,屏蔽捉取站內搜索結果。站內沒出現這些鏈接不代表站外沒有,如果收錄了會造成和TAG等頁面的內容相近。

6、Disallow: /?r=*

屏蔽留言鏈接插件留下的變形留言鏈接。(沒安裝相關插件當然不用這條指令)

7、Disallow: /*.jpg$
Disallow: /*.jpeg$
Disallow: /*.gif$
Disallow: /*.png$
Disallow: /*.bmp$

屏蔽捉取任何圖片文件,在這里主要是想節約點寬帶,不同的網站管理員可以按照喜好和需要設置這幾條指令。

8、Disallow: /?p=*

屏蔽捉取短鏈接。默認頭部里的短鏈接,百度等搜索引擎蜘蛛會試圖捉取,雖然最終短鏈接會301重定向到固定鏈接,但這樣依然造成蜘蛛資源的浪費。

9、Disallow: /*/comment-page-*
Disallow: /*?replytocom*

屏蔽捉取留言信息鏈接。一般不會收錄到這樣的鏈接,但為了節約蜘蛛資源,也屏蔽之。

10、Disallow: /a/date/
Disallow: /a/author/
Disallow: /a/category/
Disallow: /?p=*&preview=true
Disallow: /?page_id=*&preview=true
Disallow: /wp-login.php

屏蔽其他的一些形形色色的鏈接,避免造成重復內容和隱私問題。

10、Sitemap:http://***.com/sitemap.txt

網站地圖地址指令,主流是txt和xml格式。告訴搜索引擎網站地圖地址,方便搜索引擎捉取全站內容,當然你可以設置多個地圖地址。要注意的就是Sitemap的S要用大寫,地圖地址也要用絕對地址。

上面的這些Disallow指令都不是強制要求的,可以按需寫入。也建議站點開通谷歌管理員工具,檢查站點的robots.txt是否規范。

好了,以上就是對利用robots.txt對wordpress博客進行優化的詳細內容,希望可以幫助和我一樣剛接觸wordpress博客的同學。


版權聲明:本站所有文章和資源使用CC BY-NC-SA 4.0協議授權發布 , 轉載應當以相同方式注明文章來自“SeaOMC.COM->wordpress如何設置最佳robots.txt 對 wordpress博客進行優化!在下邊可以分享本文哦!
喜歡 (0)
[]
分享 (0)
奇跡の海
關于作者:
一個WordPress菜鳥!
發表我的評論
取消評論

表情 貼圖 加粗 刪除線 居中 斜體 簽到

Hi,您需要填寫昵稱和郵箱!

  • 昵稱 (必填)
  • 郵箱 (必填)
  • 網址
中国福利彩票36选7开奖结果