蜘蛛陷阱是阻止蜘蛛程序爬行網站的障礙物，通常是那些顯示網頁的技術方法，目前很多瀏覽器在設計的時候考慮過這些因素，所以可能網頁界面看起來非常正常，但這些蜘蛛陷阱會對蜘蛛程序造成障礙。

如果消除這些蜘蛛陷阱，可以使蜘蛛程序收錄更多的網頁。蜘蛛陷阱也是以前常常使用的黑帽方式之一，就是用一些動態網站代碼中，寫一個無線循環的頁面，使得蜘蛛爬進去后在這個無窮循環中輪回收錄，這樣雖然會使得網站疾速進步排名，但也會隨時給我們網站帶來k站的影響，所以建議大家最好不要使用。特別是搜索引擎頻繁調整算法的時期。

搜索引擎蜘蛛抓取結構原理

在此也簡單為大家介紹幾種易導致蜘蛛陷阱的建站技術：

1、Flash動畫

有得網站喜歡在首頁放一個Flash動畫片頭、用戶訪問網站看完片頭后被轉向得真正得HTML版本得文字網站首頁。但搜索引擎不能讀取Flash、一般也沒辦法從FlashIntro跟蹤到HTML版本頁面。如果Flash效果是必需得、至少也需要在首頁加上一個通往HTML版本得鏈接。這個鏈接應該是在Flash文件之外得HTML代碼中、搜索引擎跟蹤這個鏈接可以抓取后面得HTML版本頁面。

2、Session ID

有些網站使用Session ID跟蹤用戶訪問、每個用戶訪問網站時都會生成獨特唯一得SessionID、加在URL中。搜索引擎蜘蛛的每一次訪問也會被當成一個新得用戶、URL中會加上一個不同得SessionID，這樣搜索引擎蜘蛛每次來訪問時所得到得同一個頁面得URL將不一樣、后面帶著一個不一樣得SessionID。這也是最常見得蜘蛛陷進之一。這樣就會產生了同一個頁面但URL不同的情況，但這種方法會產生復制內容頁面，造成了高度重復的內容頁。

3、框架結構

對搜索引擎來說、方位一個使用框架得網址所專區得HTML只包含其他HTML文件得代碼、并不包含任何文字信息、搜索引擎根本無法判斷這個網址得內容是什么。雖然蜘蛛可以跟蹤框架中所調用得其他HTML文件、但是這些文件經常是不完整得頁面、比如沒有導航只是正文。搜索引擎也無法判斷框架中的頁面內容應該數屬于主框架、還是屬于框架調用文件。

4、動態URL

動態URL指得是數據庫驅動得網址所生成得、帶有問號、等號及參數得網址。一般來說動態URL不利于搜索引擎蜘蛛爬行、應該盡量避免。有的url會造成蜘蛛的死循環。

5、JS鏈接

由于Java可以創造出很多吸引人得視覺效果、有些網址喜歡使用Java腳本生成導航系統。這也是比較嚴重得蜘蛛陷阱之一。雖然搜索引擎都在嘗試解析JS腳本、不過我們不能寄希望于搜索引擎自己去克服困難、而要讓搜索引擎跟蹤爬行鏈接得工作盡量簡單容易。

6、要求登錄

有些網站內容放在需要用戶登錄之后才能看到得會員區域、這部分內容搜索引擎無法看到。蜘蛛不能填寫用戶名、密碼、也不會注冊。

7、強制使用Cookies

有些網站為了實現某種功能、如記住用戶登錄信息、跟蹤用戶訪問路徑等、強制用戶使用Cookies、用戶瀏覽器如果沒有啟用Cookies、頁面顯示不正常。搜索引擎蜘蛛就相當于一個禁用Cookies得瀏覽器、強制使用Cookies只能造成搜索引擎蜘蛛無法正常訪問。