• 歡迎訪問奇跡の海網站,本站不上傳任何資源,所有資源均來自于網絡,歡迎加入奇跡の海~!奇跡の海-WordPress QQ群
  • 本站下載資源為網絡上收集整理而來,并且以計算機技術研究交流為目的,版權歸原作者所有,僅供大家參考,學習,不存在任何商業目的與商業用途.
  • 本站系統鏡像均來自于官方原版,ed2k可視為P2P下載鏈接。所有操作系統默認均為試用版,如有正版密鑰可以有效激活,本站不提供任何激活和相關服務。

Robots協議為 WordPress 站點添加 robots.txt 文件

WP其他 奇跡の海 2年前 (2017-10-23) 606次瀏覽 已收錄 0個評論 掃描二維碼

Robots協議(也稱為爬蟲協議、機器人協議等)的全稱是“網絡爬蟲排除標準”(Robots Exclusion Protocol),網站通過Robots協議告訴搜索引擎哪些頁面可以抓取,哪些頁面不能抓取。
Robots協議為 WordPress 站點添加 robots.txt 文件
如果你的網站根目錄還沒有 robots.txt,你可以創建一個,具體的寫法請參考 百度百科。下面是一個基本的 WordPress robots協議:

User-agent: *
Disallow: /feed/
Disallow: /trackback/
Disallow: /wp-admin/
Disallow: /wp-content/
Disallow: /wp-includes/
Disallow: /xmlrpc.php
Disallow: /wp-
Allow: /wp-content/uploads/
Sitemap: http://http://www.bavghg.tw//sitemap.xml

下面主要介紹一下 WordPress 自動創建虛擬 robots.txt 功能。如果你的網站根目錄不存在真實的 robots.txt,那么可以讓 WordPress 自動創建一個虛擬的 robots.txt (該文件不會真實存在,但是訪問 http://http://www.bavghg.tw//robots.txt 時可以正常顯示)

將下面的代碼添加到主題的 functions.php 即可:

/**
 * 為你的 WordPress 站點添加 robots.txt
 * https://www.wpdaxue.com/add-robots-txt.html
 */
add_filter( 'robots_txt', 'robots_mod', 10, 2 );
function robots_mod( $output, $public ) {
	$output .= "Disallow: /user/"; // 禁止收錄鏈接中包含 /user/ 的頁面
	return $output;
}

注:如果你想添加更多的規則,請復制上面代碼的第 7 行,然后修改一下即可。

訪問 http://yoursite.com/robots.txt 我們可以看到如下內容:

User-agent: *
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /user/

也就是說,WordPress 默認已經添加了前 3 行規則了。

最后還是簡單的解析一下其對應作用

1、User-agent: *

允許所有搜索引擎抓取網站,除非你網站有特別針對某個或多個搜索引擎,你可以適當的設置其抓取。如下只允許百度和谷歌抓取:

User-agent: Baiduspider
Disallow: /
User-agent: Googlebot
Disallow: /

這樣設置的意思為只允許百度和谷歌的蜘蛛抓取所有,但是這里子凡用的是Disallow并設置的/根目錄,所以這里其實是禁止了百度和谷歌抓取,如果要允許所有可以使用Allow,大家可以舉一反三的使用,仔細的體會感受一下。

2、Disallow: /wp-admin/、Disallow: /wp-content/和Disallow: /wp-includes/
用于告訴搜索引擎不要抓取后臺程序文件頁面。

3、Disallow: /*/comment-page-*和Disallow: /*?replytocom=*
禁止搜索引擎抓取評論分頁等相關鏈接。

4、Disallow: /category/*/page/和Disallow: /tag/*/page/
禁止搜索引擎抓取收錄分類和標簽的分頁。(這一條子凡并未添加到上面演示,因為不同WordPress站點可能會有所不同,大家可以根據需要添加)

5、Disallow: /*/trackback和Disallow: /trackback/
禁止搜索引擎抓取收錄trackback等垃圾信息

6、Disallow: /feed、Disallow: /*/feed和Disallow: /comments/feed
禁止搜索引擎抓取收錄feed鏈接,feed只用于訂閱本站,與搜索引擎無關。

7、Disallow: /?s=*和Disallow: /*/?s=*\
禁止搜索引擎抓取站內搜索結果

8、Disallow: /attachment/
禁止搜索引擎抓取附件頁面,比如毫無意義的圖片附件頁面。

9、Disallow: /wp-*.php
禁止搜索引擎抓取WordPress網站根目錄的以wp開頭的文件。

10、Sitemap: http://yourdomain.com/sitemap.html
這個就是為了方便搜索引擎利用的網站地圖,具體的根據自己網站需要添加。


版權聲明:本站所有文章和資源使用CC BY-NC-SA 4.0協議授權發布 , 轉載應當以相同方式注明文章來自“SeaOMC.COM->Robots協議為 WordPress 站點添加 robots.txt 文件!在下邊可以分享本文哦!
喜歡 (0)
[]
分享 (0)
奇跡の海
關于作者:
一個WordPress菜鳥!
發表我的評論
取消評論

表情 貼圖 加粗 刪除線 居中 斜體 簽到

Hi,您需要填寫昵稱和郵箱!

  • 昵稱 (必填)
  • 郵箱 (必填)
  • 網址
中国福利彩票36选7开奖结果