有一些網站設計技術對搜索引擎來說很不友好，不利于蜘蛛爬行和抓取，這些技術被稱為蜘蛛陷阱。常見的應該全力避免的蜘蛛陷阱包括下面這幾個。
一、Flash
在網頁的某一個小部分使用Flash增強視覺效果是很正常的，比如用Flash做成的廣告、圖標等。這種小Flash和圖片是一樣的，只是HTML代碼中的很小一部分，頁面上還有其他以文字為主的內容，所以對搜索引擎抓取和收錄沒有影響。
但是有的網站整個首頁就是一個大的Flash文件，這就構成了蜘蛛陷阱，搜索引擎抓取的HTML代碼只有一個連向Flash文件的鏈接，沒有其他文字內容。這種網站整個就是一個Flash的網站，可能使勁兒U效果很精彩，可惜搜索引擎看不到，不能索引出任何文字信息，也就無法判斷相關性。所以說從SEO角度來說，整個網站就是一個大Flash文件是不可以的。
二、Session ID
有些網站使用Session ID跟蹤用戶訪問，每個用戶訪問網站時都會生成獨特唯一的Session ID，加載URL中，搜索引擎蜘蛛的每一次訪問也會被當成一個新的用戶，URL中會加一個不同的Session ID，這樣搜索一你去那個蜘蛛每次來訪問所得到的同一個頁面的URL將不一樣，后面帶一個不一樣的Session ID，這也是最常見的蜘蛛陷阱之一。
通常建議跟蹤用戶訪問應該使用cookies喂不要生成Session ID。或者程序判斷訪問者是搜索引擎蜘蛛還是普通用戶，如果是搜索引擎蜘蛛，則不生成Session ID。跟蹤搜索引擎蜘蛛訪問是沒有什么意義的，蜘蛛即不來填表，也不會把商品放入購物車。
三、各種跳轉
除了后面會介紹的301轉向以外，搜索引擎對其他形式的跳轉都比較敏感，如302跳轉、JavaScript跳轉、Flash跳轉、Meta Refresh跳轉。
有些網站用戶訪問首頁時會被自動跳轉到某個目錄下的頁面，如果是按照用戶地理位置轉向最合適的目錄，那倒情有可原，單大部分這種首頁轉向看不出任何原有的目的，這樣的轉向能避免則避免。
如果必須轉向，301轉向時搜索引擎推薦的、用于網址更改的轉向，可以把頁面權重從舊網址轉移到新網址，。其他轉向方式都對蜘蛛爬行不利，黑帽SEO經常使用轉向欺騙搜索引擎和用戶，除非萬不得已，盡量不要使用301以外的跳轉。