前言:
最近這一陣子, 在自己的主機上搞了許多網站及BLOG, 再加上利用本站主機提交了Google Button for funP Feed 後, 主機的流量沒有增加, 但是httpd的process增多, 而且大量佔用了記憶體, 讓我主機小小的512MB記憶體不時滿載, 再加上WGM專案也是在我的主機上開發, 使用了大量的PHPRPC調用, 更是雪上加霜, 經過查看了 /var/log/httpd/error_log 及 /var/httpd/access_log 後, 發現有大量的Search Bot在主機上搜尋頁面, 連之前主機掛掉前的一些網站也在自動搜尋, 連沒在用的www目錄也在尋找, 而且又發現了一大堆網蟲, 造成了系統負載, 所以動不動就記憶體滿載, 大量使用了SWAP的空間, 造成硬碟不斷運作, 但是目前的狀況似乎不太允許我再加記憶體了, 兩支256MB, 只有兩個DIMM槽, 要不就直接換1GB的(貴)..不然加一條512MB還是得拆掉一支256MB, 等於只有768MB, 所以只好從其它地方下手嘍..XD
重點:
在修改了各站的robots.txt後, 這種情形似乎一直沒有改進, 因為他還是會去"試著找"一些未知文件來充實自己, 所以只好再試著製作SiteMap(網站地圖)來供搜尋引擎輕易的找到路來索引您的網站, 因為我的站台有Discuz!!的論壇, Lifetype的Blog以及一般的開發專案等等, 故去找了各自的外掛回來安裝, 並將安裝結果發表出來讓網站管理者取得使用並安裝(其實也是怕自己日後再忘掉XD).....
# Discuz!! 論壇
這有現成的外掛可以使用, 不用讓您時常的重新產生Sitemap, 請看說明!
Discuz! Sitemap生成插件
作者: loveapple
原出處: http://bbs.loveapple.cn/viewthread.php?tid=246&extra=page%3D1
目前版本: 0.9 (我提供的是0.8的較穩定版本)
支援版本: Discuz! 5.5 & 6.0RC
下載點:
可至原出處註冊並下載0.9版
或
直接下載測試OK Discuz_SiteMap 0.8版
GoGoBox載點
我的Blog載點
安裝方法:
PHP運行檔案(sitemapIndex.php , sitemap.php)不須做任何修改, 在其它文章中有發現要求修改27行或76行的網址, 其實那行是在宣告壓縮檔案與參照最新的通訊協定標準, 而非改成自己的網址, 這點要特別注意, 整體來說, 直接把兩個檔案上傳至您Discuz!!論壇主目錄即可!! 至於裡面那支robots.txt是我直接拿Discuz! 6.0RC裡的檔案來改的Sample檔, 如果您也是使用相同版本並沒修改過內容, 可以直接使用我改好了, 如果不是, 請看修改方式!!
robots.txt 修改說明:
1. 從您論壇主目錄內將原先的robots.txt檔案下傳回來!!
2. 如果您需使用WAP(手機網頁), 請找到如下字串並刪除之即可!!
Disallow: /WAP/
3. 增加Sitemap位址宣告於檔尾!! 如下字串!!
Sitemap:
sitemapIndex.php
4. 將修改完的檔案再回傳至目錄使設定生效!!
ps. 如果您在原始出處註冊並下載外掛, 請記得務必將兩支PHP檔案重新編碼成Utf-8喔!!
提交方式:
1. GooGle 搜尋引擎
至GooGle網站管理工具點選對應的網站sitemap, 輸入Sitemap檔案位址 (ex. http://your_host_name/sitemapIndex.php ), 紅色為需要輸入的部份, 接下來Google Bot就會依照您提供的Sitemap進行索引了, 由於該頁面為自動生成, 除非論壇改版, 不然他都會自動提供最新的索引給GooGle嘍!!
2. Yahoo! Site Explorer
至 Yahoo! Site Explorer, 使用您在全球Yahoo!的帳號來登入並增加您的網站資料來進行管理, 如圖一, 接下來進行認證, 認證方式同GooGle, 但是必須使用他提供的檔案來上傳至您登記的網站主目錄進行認證, 因為不同的是檔案內有認證文字(在這就不再多說了, 不知道的人再私下問我喔!!), 也有其它方式, 您可以參考該頁說明, 如圖二, 認證完後接下來點選Feed按紐, 如圖三, 按下來輸入剛剛上傳的sitemap檔名, 再點送出, 就大功告成了...簡單吧!!
3. MSN Site Explorer
這個比較容易, 只要在論壇表頭資訊加上一個宣告sitemap位址的meta就好了, 到論壇後台的[基本設置]->[搜索引擎優化]的設定項[其它頭部信息], 將以下宣告貼上並送出即可完成!!
<linkrel="alternate" type="application/rss+xml"title="ROR" href="sitemapIndex.php" />
圖一 - 增加您的網站資料來進行管理
圖二 - 進行網站認證
圖三 - 點選此處進上Sitemap設定
圖四 - 輸入sitemap檔名並送出資料, 完成!!
# LifeType Blog StieMap
作者: Paul Westbrook
下載連結: http://prdownloads.sourceforge.net/lifetype/1.2_sitemap.zip?download
最近更新: 2007-04-17
支援版本: LifeType 1.2x
安裝方法:
將檔案解壓縮後得到一個 sitemap 的檔案目錄, 直接上傳至主目錄下的 plugins目錄下, 再進入管理後台[個人網址設定]->[基本設定]的"網站地圖設定, 設定好後會產生一個連結供您傳送給GooGle及Yahoo!使用, 一般為 sitemapX.gz , X代表您的Blog ID, 不過在傳給搜尋引擎之前, 您必須先設定主目錄下的 .htaccess及tmp/.htaccess這兩個設定檔, 才能讓Bot正確的進入您的WEB讀取Sitemap資料, 如果您非管理員, 請先洽詢管理員是否已有設定了喔, 設定方式如下:
ps. 您可以參考裡面的readme.txt或是直接上網站看說明進行安裝!!(原文)
1. 修改主目錄下 .htaccess 並加入以下設定, 如有相同設定, 請變動不同處即可!!
<Files "*">
Order deny,allow
Deny from all
</Files>
<Files "sitemap.gz">
Allow from all
</files>
2. 修改 tmp/.htaccess 並加入以下設定, 如有相同設定, 請變動不同處即可!!
<IfModule mod_rewrite.c>
RewriteEngine On
RewriteBase /
# Point to the sitemap file that is local to the blog
RewriteRule ^sitemap([0-9]+)\.gz$ tmp/sitemap/$1/sitemap.gz [L,NC]
</IfModule>
ps.大約都只增加紅字那一塊, 其它設定本身已有!!
提交方式:
基本上同Discuz!的提交方式, 只是輸入的檔名變成在 Lifetype後台, 系統提供給您的檔案 sitemapX.gz , X是您的BlogID, 每個人都不一樣, 請照填!!
注意!!! Lifttype在您提交後, 並不會立即產生出對應的sitemap檔, 而是要在您新POST了一篇文章時才會產生, 所以請您務必在安裝完後, 直接POST新文章就OK了, 如果不理他也沒問題, 反正您爾後有再POST新文時就會生效了....(這也是為什麼我要打這一大篇的原因之一, 重點是為了讓他生效XD)..
# 一般網站安裝 Sitemap
打得手好酸, 終於可以結束了, 因為一般網站安裝, 在GooGle有完整的中文說明及產生器提供, 所以我可以休息了....Ya~~~~~
請參考 GooGle網站管理員工具 - 如何使用 Sitemap 產生器
好了....祝大家使用愉快, 目前輕鬆提交我的網站內容給各大搜尋引擎中!!
