網(wǎng)站建設(shè)中robots.txt文件的定義、用途

作者：佚名   時(shí)間：2012-06-26   分享到：

robots.txt是一個(gè)協(xié)議，而不是一個(gè)命令。robots.txt是搜索引擎中訪問網(wǎng)站的時(shí)候要查看的第一個(gè)文件。robots.txt文件告訴蜘蛛程序在服務(wù)器上什么文件是可以被查看的。 ，robots.txt是你對(duì)搜索引擎制定的一個(gè)如何索引你的網(wǎng)站的規(guī)則。通過該文件，搜索引擎就可以知道在你的網(wǎng)站中哪些文件是可以被索引的，哪些文件是被拒絕索引的。我們就可以很方
便地控制搜索引擎索引網(wǎng)站內(nèi)容了。
    在很多網(wǎng)站中，站長們都忽略了使用robots.txt文件。因?yàn)楹芏嗾鹃L都認(rèn)為，自己的網(wǎng)站沒有什么秘密可言，而且自己也不太會(huì)使robots.txt的語法，因此一旦寫錯(cuò)了會(huì)帶來更多的麻煩，’還不如不用。
    其實(shí)這樣的做法是不對(duì)的。如果蜘蛛在某個(gè)網(wǎng)站上訪問了一個(gè)不存在的URL，那么就會(huì)記錄下一條404信息（網(wǎng)頁不存在），而robots.txt作為蜘蛛訪問網(wǎng)站的第一個(gè)文件，一旦搜索引擎找不到這個(gè)文件，也會(huì)在它的索引服務(wù)器上記錄下一條404信息。如果這樣的404信息過多，那么搜索引擎蜘蛛就會(huì)認(rèn)為該網(wǎng)站價(jià)值較低，從而降低對(duì)該網(wǎng)站的“印象分”，這就是我們經(jīng)常會(huì)聽到的“降低權(quán)重”。
    “權(quán)重”是一個(gè)影響網(wǎng)站在搜索引擎排名中非常重要的因素，如果網(wǎng)站的權(quán)重高，那么搜索引擎蜘蛛也會(huì)頻繁地訪問該網(wǎng)站，而且網(wǎng)站排名也好。如果權(quán)重低，那么搜索引擎蜘蛛對(duì)于網(wǎng)站的訪問次數(shù)也相應(yīng)的要少，同時(shí)網(wǎng)站排名較差。而網(wǎng)站的權(quán)重是由很多條件所積累.
   本文由上海網(wǎng)站建設(shè)www.ktcbnqb.cn整理