織夢(mèng)DedeCMS本身自帶有一個(gè)robots.txt文件,但是里面的設(shè)置很簡(jiǎn)單,并不能完全滿足網(wǎng)站的優(yōu)化要求,尤其是對(duì)于使用偽靜態(tài)的網(wǎng)站來(lái)說(shuō),robots.txt文件的優(yōu)化,要怎樣做才行呢?
下面是我的一點(diǎn)想法,適用于偽靜態(tài)的DedeCMS網(wǎng)站。
User-agent: *
Disallow: /dede 織夢(mèng)管理后臺(tái)目錄,需要改名,具體設(shè)置在下面詳細(xì)說(shuō)明
Disallow: /include 程序核心文件目錄
Disallow: /member 會(huì)員管理目錄,有些文件可以開放
Disallow: /plus 插件及輔助功能目錄
Disallow: /data 系統(tǒng)緩存或其它可寫入數(shù)據(jù)存放目錄
Disallow: /uploads 上傳下載文件保存目錄,不想搜索引擎引用圖片的話,禁止
Disallow: /images 系統(tǒng)默認(rèn)模板圖片存放目錄
Disallow: /index.php 網(wǎng)站默認(rèn)首頁(yè),靜態(tài)化的話,最好禁止
Disallow: /404.html 404錯(cuò)誤頁(yè)面
Allow: /plus/search.php 開放禁止目錄里的具體文件
下面著重講下后臺(tái)管理目錄和欄目頁(yè)的設(shè)置:
1、dede后臺(tái)管理目錄,為了網(wǎng)站安全考慮需要改名。然而改名之后,大家不免疑惑:改了名,應(yīng)該在robots.txt文件里怎么設(shè)置禁止搜索引擎抓取呢?如果直接禁止抓取,就泄露了后臺(tái)目錄,等于改名無(wú)效。我們可以通過(guò)下面的設(shè)置解決這個(gè)問(wèn)題,如我們?cè)O(shè)置后臺(tái)目錄為dedecms:
在robots.txt文件里面加上“Disallow: /d*ms”這句就可以了。
這樣我們就能即禁止了搜索引擎的抓取,又不會(huì)泄露了后臺(tái)目錄名稱。
2、欄目頁(yè)。有些人會(huì)注意到,如果網(wǎng)站不做偽靜態(tài)優(yōu)化的話,欄目分頁(yè)后會(huì)有兩個(gè)鏈接指向欄目首頁(yè),如*/web/和*/web/list_1_1.html,為了網(wǎng)站優(yōu)化,建議先將欄目分頁(yè)優(yōu)化以下(具體做法大家可以在網(wǎng)上找),把首頁(yè)和第一頁(yè)的鏈接改為*/web/的形式,然后在robots.txt文件里做以下設(shè)置:
在robots.txt文件里面加上“Disallow: /*1.html$“這句。
以上就是DEDECMS robots.txt文件的設(shè)置,大家可以根據(jù)自己網(wǎng)站的情況具體設(shè)置。
注意事項(xiàng):
1.為安全起見,最好按官方說(shuō)明設(shè)置好網(wǎng)站目錄權(quán)限;
2.后臺(tái)目錄改后的名稱開頭字母和結(jié)尾字母不要和其他目錄有相同之處;
3.設(shè)置完成后最好用百度站長(zhǎng)工具測(cè)試一下robots.txt文件設(shè)置是否有效。