“權(quán)重”是一個(gè)影響網(wǎng)站在搜索引擎排名中非常重要的因素，如果網(wǎng)站的權(quán)重高，那么搜索引擎蜘蛛也會(huì)頻繁地訪問(wèn)該網(wǎng)站，而且排名也好。如果權(quán)重低，那么搜索引擎蜘蛛對(duì)于網(wǎng)站的訪問(wèn)次數(shù)也相應(yīng)的要少，同是網(wǎng)站的排名較差。而網(wǎng)站建設(shè)的權(quán)重是由很多條件所積累的。robots.txt就是很重要的一條，因此不是不重視。

　　robots.txt是搜索引擎中訪問(wèn)網(wǎng)站的時(shí)候要查看的第一個(gè)文件。Robots.txt文件告訴蜘蛛程序在服務(wù)器上什么文件是可以被查看的。 當(dāng)一個(gè)搜索蜘蛛訪問(wèn)一個(gè)站點(diǎn)時(shí)，它會(huì)首先檢查該站點(diǎn)根目錄下是否存在robots.txt，如果存在，搜索機(jī)器人就會(huì)按照該文件中的內(nèi)容來(lái)確定訪問(wèn)的范圍；如果該文件不存在，所有的搜索蜘蛛將能夠訪問(wèn)網(wǎng)站上所有沒(méi)有被口令保護(hù)的頁(yè)面。

　　如果蜘蛛在某某網(wǎng)站訪問(wèn)了一個(gè)不存在的URL，那么就會(huì)被記錄下一條404信息，而且robots.txt作為被搜索引擎蜘蛛訪問(wèn)我們網(wǎng)站的第一個(gè)文件，一旦人搜索引擎找不到這個(gè)文件，也會(huì)在它的索引服務(wù)器上記錄下一條404信息。如果這樣的404信息過(guò)多，那么搜索引擎蜘蛛就會(huì)認(rèn)為該網(wǎng)站價(jià)值較低，從而降對(duì)該網(wǎng)站的“印象分”，這樣就是我們經(jīng)常聽(tīng)到的“降低權(quán)重”。

　　雖然在百度的幫助文件中，有這樣一句話“請(qǐng)注意，僅當(dāng)您的網(wǎng)站包含不希望被搜索引擎收錄的內(nèi)容時(shí)，才需要使用robots.txt。如果您希望搜索引擎收錄網(wǎng)站上的所有內(nèi)容，請(qǐng)不要建立robots.txt文件”。實(shí)際上百度只是但心由于網(wǎng)站管理員不懂得robots.txt語(yǔ)法，導(dǎo)致搜索引擎蜘蛛無(wú)法正常抓取網(wǎng)站，才這樣寫的。建立robots.txt文件還是必須的。哪怕這個(gè)文件是這個(gè)空白的文本文檔都成。因?yàn)槲覀兊木W(wǎng)站畢竟不是僅僅會(huì)被百度收錄，同時(shí)也會(huì)被其它搜索引擎收錄，上傳一個(gè)空白的robots.txt文件，至少不會(huì)導(dǎo)致一條404信息的產(chǎn)生。