WordPress不愧是世界上最受歡迎的建站系統(tǒng)，但很多新手對(duì)robots.txt文件的重要性不是很了解，這次就用這篇文章普及一下WordPress站點(diǎn)robots.txt文件編寫(xiě)知識(shí)。
如何利用Robots.txt優(yōu)化WordPress新站點(diǎn)
WordPress不愧是世界上最受歡迎的建站系統(tǒng)，但很多新手對(duì)robots.txt文件的重要性不是很了解，這次就用這篇文章普及一下WordPress站點(diǎn)robots.txt文件編寫(xiě)知識(shí)。
Robots協(xié)議(也稱為爬蟲(chóng)協(xié)議、機(jī)器人協(xié)議等)的全稱是“網(wǎng)絡(luò)爬蟲(chóng)排除標(biāo)準(zhǔn)”(Robots Exclusion Protocol)，網(wǎng)站通過(guò)Robots協(xié)議告訴搜索引擎哪些頁(yè)面可以抓取，哪些頁(yè)面不能抓取。
搜索引擎蜘蛛爬巡網(wǎng)站時(shí)，首先會(huì)尋找站點(diǎn)根目錄有沒(méi)有 robots.txt文件，如果有這個(gè)文件就根據(jù)文件的內(nèi)容確定收錄范圍，如果沒(méi)有就按默認(rèn)訪問(wèn)以及收錄所有頁(yè)面。另外，當(dāng)搜索蜘蛛發(fā)現(xiàn)不存在robots.txt文件時(shí)，會(huì)產(chǎn)生一個(gè)404錯(cuò)誤日志在服務(wù)器上，從而增加服務(wù)器的負(fù)擔(dān)，因此為站點(diǎn)添加一個(gè)robots.txt文件還是很重要的。
知道Robots協(xié)議的作用后，下面具體說(shuō)一下WordPress站點(diǎn)如何編寫(xiě)robots.txt文件。
WordPress站點(diǎn)默認(rèn)在瀏覽器中輸入：http://你的域名/robots.txt，會(huì)顯示如下內(nèi)容：
User-agent: *
Disallow: /wp-admin/
Disallow: /wp-includes/
以上短短的內(nèi)容由WordPress自動(dòng)生成的，意思是告訴搜索引擎不要抓取后臺(tái)程序文件。
但這是遠(yuǎn)遠(yuǎn)不夠的，以本站為例，比較完整的WordPress站點(diǎn)robots.txt文件內(nèi)容如下：
User-agent: *
Disallow: /wp-admin/
Disallow: /wp-content/
Disallow: /wp-includes/
Disallow: /*/comment-page-*
Disallow: /*?replytocom=*
Disallow: /category/*/page/
Disallow: /tag/*/page/
Disallow: /*/trackback
Disallow: /feed
Disallow: /*/feed
Disallow: /comments/feed
Disallow: /?s=*
Disallow: /*/?s=*\
Disallow: /attachment/
Sitemap: https://enews.enkj.com/sitemap.xml
使用方法：新建一個(gè)名稱為robots.txt文本文件，將上面的內(nèi)容放進(jìn)去（最后一項(xiàng)修改為自己sitemap地址），然后上傳到網(wǎng)站根目錄即可。
下面分別解釋一下wordpress robots.txt各項(xiàng)的作用：
1、Disallow: /wp-admin/、Disallow: /wp-content/和Disallow: /wp-includes/
用于告訴搜索引擎不要抓取后臺(tái)程序文件頁(yè)面。
2、Disallow: /*/comment-page-*和Disallow: /*?replytocom=*
禁止搜索引擎抓取評(píng)論分頁(yè)等相關(guān)鏈接。
3、Disallow: /category/*/page/和Disallow: /tag/*/page/
禁止搜索引擎抓取收錄分類和標(biāo)簽的分頁(yè)。
4、Disallow: /*/trackback
禁止搜索引擎抓取收錄trackback等垃圾信息
5、Disallow: /feed、Disallow: /*/feed和Disallow: /comments/feed
禁止搜索引擎抓取收錄feed鏈接，feed只用于訂閱本站，與搜索引擎無(wú)關(guān)。
6、Disallow: /?s=*和Disallow: /*/?s=*\
禁止搜索引擎抓取站內(nèi)搜索結(jié)果
7、Disallow: /*?*
禁止搜索抓取動(dòng)態(tài)頁(yè)面
8、Disallow: /attachment/
禁止搜索引擎抓取附件頁(yè)面，比如毫無(wú)意義的圖片附件頁(yè)面。
上面只是wordpress robots.txt基本的寫(xiě)法，當(dāng)然還有很多寫(xiě)法，不過(guò)這些已經(jīng)夠用了。
建站是一個(gè)有趣而又枯燥的過(guò)程，望大家堅(jiān)持！
河南億恩科技股份有限公司(www.ypdoo.com.cn)始創(chuàng)于2000年，專注服務(wù)器托管租用，是國(guó)家工信部認(rèn)定的綜合電信服務(wù)運(yùn)營(yíng)商。億恩為近五十萬(wàn)的用戶提供服務(wù)器托管、服務(wù)器租用、機(jī)柜租用、云服務(wù)器、網(wǎng)站建設(shè)、網(wǎng)站托管等網(wǎng)絡(luò)基礎(chǔ)服務(wù)，另有網(wǎng)總管、名片俠網(wǎng)絡(luò)推廣服務(wù)，使得客戶不斷的獲得更大的收益。
服務(wù)器/云主機(jī) 24小時(shí)售后服務(wù)電話：
0371-60135900
虛擬主機(jī)/智能建站 24小時(shí)售后服務(wù)電話：
0371-55621053
網(wǎng)絡(luò)版權(quán)侵權(quán)舉報(bào)電話：
0371-60135995
服務(wù)熱線：
0371-60135900
