• 歡迎訪問奇跡の海網站,本站不上傳任何資源,所有資源均來自于網絡,歡迎加入奇跡の海~!奇跡の海-WordPress QQ群
  • 本站下載資源為網絡上收集整理而來,并且以計算機技術研究交流為目的,版權歸原作者所有,僅供大家參考,學習,不存在任何商業目的與商業用途.
  • 本站系統鏡像均來自于官方原版,ed2k可視為P2P下載鏈接。所有操作系統默認均為試用版,如有正版密鑰可以有效激活,本站不提供任何激活和相關服務。

利用Robots.txt優化你的WordPress站點

WP其他 奇跡の海 3年前 (2017-04-08) 633次瀏覽 已收錄 0個評論 掃描二維碼

利用Robots.txt優化你的WordPress站點

很多建站新手對robots.txt文件的重要作用不是很清楚,利用這篇文章普及一下WordPress站點robots.txt文件編寫知識。

Robots協議(也稱為爬蟲協議、機器人協議等)的全稱是“網絡爬蟲排除標準”(Robots Exclusion Protocol),網站通過Robots協議告訴搜索引擎哪些頁面可以抓取,哪些頁面不能抓取。

搜索引擎機器人訪問網站時,首先會尋找站點根目錄有沒有 robots.txt文件,如果有這個文件就根據文件的內容確定收錄范圍,如果沒有就按默認訪問以及收錄所有頁面。另外,當搜索蜘蛛發現不存在robots.txt文件時,會產生一個404錯誤日志在服務器上,從而增加服務器的負擔,因此為站點添加一個robots.txt文件還是很重要的。

知道Robots協議的作用后,下面具體說一下WordPress站點如何編寫robots.txt文件。

WordPress站點默認在瀏覽器中輸入:http://你的域名/robots.txt,會顯示如下內容:

  1. User-agent:?*
  2. Disallow:?/wp-admin/
  3. Disallow:?/wp-includes/

這是由WordPress自動生成的,意思是告訴搜索引擎不要抓取后臺程序文件。

但這是遠遠不夠的,比較完整的WordPress站點robots.txt文件內容如下:

User-agent: *
Disallow: /wp-admin/
Disallow: /wp-content/
Disallow: /wp-includes/
Disallow: /*/comment-page-*
Disallow: /*?replytocom=*
Disallow: /category/*/page/
Disallow: /tag/*/page/
Disallow: /*/trackback
Disallow: /feed
Disallow: /*/feed
Disallow: /comments/feed
Disallow: /?s=*
Disallow: /*/?s=*\
Disallow: /attachment/

使用方法:新建一個名稱為robots.txt文本文件,將上面的內容放進去,然后上傳到網站根目錄即可。

下面分別解釋一下各項的作用:

1、Disallow: /wp-admin/、Disallow: /wp-content/和Disallow: /wp-includes/

用于告訴搜索引擎不要抓取后臺程序文件頁面。

2、Disallow: /*/comment-page-*和Disallow: /*?replytocom=*

禁止搜索引擎抓取評論分頁等相關鏈接。

3、Disallow: /category/*/page/和Disallow: /tag/*/page/

禁止搜索引擎抓取收錄分類和標簽的分頁。

4、Disallow: /*/trackback

禁止搜索引擎抓取收錄trackback等垃圾信息

5、Disallow: /feed、Disallow: /*/feed和Disallow: /comments/feed

禁止搜索引擎抓取收錄feed鏈接,feed只用于訂閱本站,與搜索引擎無關。

6、Disallow: /?s=*和Disallow: /*/?s=*\

禁止搜索引擎抓取站內搜索結果

7、Disallow:?/*?*

禁止搜索抓取動態頁面

8、Disallow: /attachment/

禁止搜索引擎抓取附件頁面,比如毫無意義的圖片附件頁面。

上面只是些基本的寫法,當然還有很多,不過夠用了。


版權聲明:本站所有文章和資源使用CC BY-NC-SA 4.0協議授權發布 , 轉載應當以相同方式注明文章來自“SeaOMC.COM->利用Robots.txt優化你的WordPress站點!在下邊可以分享本文哦!
喜歡 (0)
[]
分享 (0)
奇跡の海
關于作者:
一個WordPress菜鳥!
發表我的評論
取消評論

表情 貼圖 加粗 刪除線 居中 斜體 簽到

Hi,您需要填寫昵稱和郵箱!

  • 昵稱 (必填)
  • 郵箱 (必填)
  • 網址
中国福利彩票36选7开奖结果