如何為你的 WordPress 站點添加 robots.txt

為WordPress 站點添加 robots.txt其實很簡單。robots協(xié)議(也稱為爬蟲協(xié)議、爬蟲規(guī)則、機器人協(xié)議等)，也就是通常添加到網(wǎng)站根目錄的robots.txt 文件，它的作用在于告訴搜索引擎哪些頁面可以抓取，哪些頁面不能抓取，從而優(yōu)化網(wǎng)站的收錄結(jié)果和權(quán)重。

1.用FTP上傳robots.txt到網(wǎng)站根目錄

如果你的網(wǎng)站根目錄還沒有 robots.txt，你可以創(chuàng)建一個，下面是一個基本的 WordPress robots協(xié)議：

User-agent: *

Disallow: /feed/

Disallow: /trackback/

Disallow: /wp-admin/

Disallow: /wp-content/

Disallow: /wp-includes/

Disallow: /xmlrpc.php

Disallow: /wp-

Allow: /wp-content/uploads/

Sitemap: http://example.com/sitemap.xml

你可以把以上代碼保存起來，生成txt格式文本，同過FTP上傳到網(wǎng)站根目錄下。如下圖所示：

2.WordPress 自動創(chuàng)建虛擬 robots.txt 功能。

如果你的網(wǎng)站根目錄不存在真實的 robots.txt，那么可以讓 WordPress 自動創(chuàng)建一個虛擬的 robots.txt （該文件不會真實存在，但是訪問 http://yoursite.com/robots.txt 時可以正常顯示）

將下面的代碼添加到主題的 functions.php 即可：

/**

* 為你的 WordPress 站點添加 robots.txt

* https://www.wpdaxue.com/add-robots-txt.html

*/

add_filter( 'robots_txt', 'robots_mod', 10, 2 );

function robots_mod( $output, $public ) {

$output .= "Disallow: /user/"; // 禁止收錄鏈接中包含 /user/ 的頁面

return $output;

}

注：如果你想添加更多的規(guī)則，請復制上面代碼的第 7 行，然后修改一下即可。

訪問 http://yoursite.com/robots.txt 我們可以看到如下內(nèi)容：

User-agent: *

Disallow: /wp-admin/

Disallow: /wp-includes/

Disallow: /user/

也就是說，WordPress 默認已經(jīng)添加了前 3 行規(guī)則了。

robots.txt 涉及到網(wǎng)站的收錄，所以請確保你明白它的書寫方法，保證每條規(guī)則都是正確無誤的!

3.WordPress 站點的 robots.txt各項含義

下面分別解釋一下各項的作用：

1、Disallow: /wp-admin/、Disallow: /wp-content/和Disallow: /wp-includes/

用于告訴搜索引擎不要抓取后臺程序文件頁面。

2、Disallow: /*/comment-page-*和Disallow: /*?replytocom=*

禁止搜索引擎抓取評論分頁等相關鏈接。

3、Disallow: /category/*/page/和Disallow: /tag/*/page/

禁止搜索引擎抓取收錄分類和標簽的分頁。

4、Disallow: /*/trackback

禁止搜索引擎抓取收錄trackback等垃圾信息

5、Disallow: /feed、Disallow: /*/feed和Disallow: /comments/feed

禁止搜索引擎抓取收錄feed鏈接，feed只用于訂閱本站，與搜索引擎無關。

6、Disallow: /?s=*和Disallow: /*/?s=*\

禁止搜索引擎抓取站內(nèi)搜索結(jié)果

7、Disallow: /*?*

禁止搜索抓取動態(tài)頁面

8、Disallow: /attachment/

禁止搜索引擎抓取附件頁面，比如毫無意義的圖片附件頁面。

--來自億恩Enews

河南億恩科技股份有限公司(www.ypdoo.com.cn)始創(chuàng)于2000年，專注服務器托管租用，是國家工信部認定的綜合電信服務運營商。億恩為近五十萬的用戶提供服務器托管、服務器租用、機柜租用、云服務器、網(wǎng)站建設、網(wǎng)站托管等網(wǎng)絡基礎服務，另有網(wǎng)總管、名片俠網(wǎng)絡推廣服務，使得客戶不斷的獲得更大的收益。
服務器/云主機 24小時售后服務電話：0371-60135900
虛擬主機/智能建站 24小時售后服務電話：0371-55621053
網(wǎng)絡版權(quán)侵權(quán)舉報電話：0371-60135995
服務熱線：0371-60135900