網(wǎng)站建設(shè)的一些網(wǎng)址是怎么規(guī)劃的呢？
　　什么樣的情況下，可能會(huì)出現(xiàn)網(wǎng)址不規(guī)范的情況：
　　國內(nèi)某些網(wǎng)站內(nèi)容管理系統(tǒng)（CMS）或者論壇（也可以說有偽靜態(tài)化功能的程序），基本上都有偽靜態(tài)化的功能。如果這些功能，在程序員開發(fā)程序的時(shí)候，做的不夠全面和徹底。偽靜態(tài)化不完全的話，可能就會(huì)在某些網(wǎng)頁上遺留下來很多的動(dòng)態(tài)URL鏈接。
　　搜索引擎的蜘蛛就會(huì)順著這些鏈接，一個(gè)個(gè)的抓取收錄。搜索引擎的蜘蛛是十項(xiàng)全能型的選手，網(wǎng)站中任何陰暗處的鏈接，可能都會(huì)被它發(fā)現(xiàn)。所以，要檢查網(wǎng)站有沒有存在網(wǎng)址不規(guī)范的問題的最好方式是經(jīng)常的Site自己的域名。
　　發(fā)現(xiàn)了網(wǎng)站存在網(wǎng)址不規(guī)范化的問題怎么辦：
　　首先，需要知道這些網(wǎng)頁的URL，都有什么作用，它有沒有給搜索引擎收錄的必要。最好的例子是一些打印頁面，像此類網(wǎng)頁的作用是用戶體驗(yàn)型的網(wǎng)頁，它或許不需要給搜索引擎收錄。而且，這種頁面給搜索引擎收錄之后，以這類頁面作為用戶的著陸頁，往往可能會(huì)影響用戶體驗(yàn)。因此，它應(yīng)該沒有給搜索引擎收錄的必要。
　　第二，在知道了網(wǎng)頁的作用之后。接下來，我們需要做的就是告訴搜索引擎不要收錄這些頁面。具體方法有：
　　一、Meta標(biāo)簽：<meta name="robots" content="noindex,follow" />
　　二、robots.txt：User-agent: * Disallow: /print.php
　　三、出現(xiàn)動(dòng)態(tài)URL的鏈接，使用nofollow。
　　<meta name="robots" content="noindex,follow" />，需要放在出現(xiàn)禁止搜索引擎收錄的那個(gè)頁面的HTML代碼里面。
　　mate標(biāo)簽，有可能某些搜索引擎不會(huì)遵守。如果可能的話，盡量還是使用robots.txt來禁止搜索引擎的爬取。但是對(duì)于Google來說，nofollow是最好的處理方式。
　　處理這種問題需要注意的就是細(xì)節(jié)，有些可能檢查起來比較困難，但是網(wǎng)站建設(shè)中網(wǎng)址的規(guī)劃是必須掌握的。