對于URL的規范化，相信大家都很重視了，例如最經典的URL規范化，就是將網址中可能出現的四種形式進行301重定向，讓網站的權重集中于主域名上，但是這只是最基礎的URL規范化操作，我們還需要在做好了URL的命名和層次考慮之后，檢測網頁的收錄中是否有類似網頁內容的URL，特別是一些動態的網頁容易產生這樣的情況，例如wordpress的程序設置好了程序也容易出現多個動態重復頁面的URL，所以遇到這樣的情況可以在robots文件中寫好抓取規則，禁止蜘蛛抓取動態的URL地址，具體操作是Disallow: /*?*。
    URL的命名規則
    大部分網站的URL命名規則是“根 域名 +欄目+文章頁面”，也有一部分網站的URL命名規則是“根域名+文章頁面”，其中能夠產生變數的多半在于文章頁面的命名規則上，有很多的朋友可能會注意到自己的命名規則是不太合理的，那么什么樣的URL命名規則比較利于搜索引擎抓取呢？下面看看谷歌在《創建方便 Google 處理的網址結構 》一文中給出的一些建議：
    A、網站的網址結構應盡可能簡單些，并考慮網站組織的內容，讓網址的構建合乎邏輯并易于理解（盡可能采用易讀字詞而非長的 ID 數字）。
    B、建議您在網址中使用標點符號，幫助搜索引擎更好地分析網頁內容，如在網址中使用連字符 （-） 而盡量避免使用下劃線 （_），用連字符分開兩個單詞，更有利于搜索引擎蜘蛛進行語義分析。
    C、盡量少使用復雜的網址，特別是那些包含多個變量參數的網址，因為其可能會產生大量不必要的網址全都指向您網站上相同或相似的內容，給抓取工具帶來麻煩，消耗Googlebot 大量不必要的帶寬，也可能無法為您網站的所有內容編制完整索引。
    后面還具體的談到了不合理網址結構產生的原因和解決辦法，有興趣的朋友可以查看一下。做URL命名規則分析的時候最好是在 建站 前，這樣才能避免后期改動URL帶來的大量錯誤頁面和權重損失。