robots優化：這點很多站長都忽略掉了，網站建設，如果功能比較強大，那么很可能同一頁面就對應多個URL路徑，比如在價格、顏色、尺寸等不同屬性的頁面，重復度極高，再比如靜態、偽靜態和動態之間，也有可能存在這個問題，所以必須在robots文件中禁止搜索引擎對頁面的請求和爬行，這對于提高收錄也是非常有幫助的。
    優化排版：排版的重要目的是讓蜘蛛爬行的更加順利，抓取的內容更好的獲得排名。排版有問題的網站長尾排名會直接受到影響，比如同樣的權重和收錄，排版好的頁面獲得的排名要高于一般性的排版頁面。影響排名的主要因素就是標簽的合理使用、重要內容是否突出。
    URL優化：優化URL不是難事，但是是有意義的事情，大家可以看看越來越多的網站都把URL結構優化的非常簡單易懂，容易抓取，尤其是很多B2C商城，以前URL路徑都十分復雜，參數眾多，現在都優化的非常好。雖然蜘蛛也抓取動態網頁，但如果做成靜態，對于有大量內頁的大型網站，就能為蜘蛛的爬行減輕很多負擔。
    降噪優化：降噪優化主要是減少多余的程序代碼，一般優化的重點就是JS與CSS，把一些花里胡哨的功能都去掉，把必須的JS封裝進JS文件，把table布局的頁面改變成為css，少使用flash和ajax腳本，大家可以想下，如果內頁的模板中使用了這樣的代碼，那么如果有100w和內頁，則相當于增添了100w個這樣的程序，對蜘蛛而言，如果頁面進行優化，就會節省很多時間用于收錄其它頁面。
    優化翻頁：翻頁十分重要，如果網站建設內頁比較多，很多頁面蜘蛛是通過翻頁才能夠到達，一般來說，不宜超過三到四次點擊，如果點擊次數很多才能夠到達，那么對于蜘蛛而言就會放棄抓取和收錄。一般優化網站翻頁需要從程序著手，比如一到十分頁之后，底部最好有十到一百的翻頁結構；另外一個方面，就是通過分小類的方法，多分一類別，就能減少很多點擊次數，從而讓蜘蛛更容易爬行和收錄。