學(xué)習(xí) seo 的人經(jīng)常在網(wǎng)上看到一句話： 搜索引擎　　網(wǎng)站建設(shè)良好的SEO實踐會使站點更實用，訪問性更強(qiáng)，而且對搜索引擎更友好。但是，不守規(guī)矩的 SEO 營銷企業(yè)會運用黑帽 SEO 技術(shù)（垃圾技術(shù)），這給 SEO 帶來了壞名聲。但是任何種類的營銷都是這種情況：推銷產(chǎn)品的方法有好也有壞，而且有時候壞方法更有效 — 但只是在短期內(nèi)。通過黑帽 SEO 技術(shù)欺騙搜索引擎是一條危險的道路，會帶來更糟糕的用戶體驗。因此本系列只關(guān)注白帽 SEO 技術(shù)。利用白帽 SEO 技術(shù)，讓您和您的用戶都會獲益。這是雙贏的做法。 蜘蛛跟瀏覽器差不多，都是抓取頁面。那么到底哪些一樣哪些不一樣？Ethan就通過瀏覽器幫助大家理解搜索引擎　　網(wǎng)站建設(shè)良好的SEO實踐會使站點更實用，訪問性更強(qiáng)，而且對搜索引擎更友好。但是，不守規(guī)矩的 SEO 營銷企業(yè)會運用黑帽 SEO 技術(shù)（垃圾技術(shù)），這給 SEO 帶來了壞名聲。但是任何種類的營銷都是這種情況：推銷產(chǎn)品的方法有好也有壞，而且有時候壞方法更有效 — 但只是在短期內(nèi)。通過黑帽 SEO 技術(shù)欺騙搜索引擎是一條危險的道路，會帶來更糟糕的用戶體驗。因此本系列只關(guān)注白帽 SEO 技術(shù)。利用白帽 SEO 技術(shù)，讓您和您的用戶都會獲益。這是雙贏的做法。蜘蛛怎樣抓取頁面。
首先看一張圖，是用firebug（ firefox 瀏覽器的一個著名插件）記錄下來的瀏覽器抓取我網(wǎng)站的情況。



針對圖中標(biāo)識，Ethan解釋如下。
1. http 協(xié)議開始，HTTP協(xié)議是典型的請求/響應(yīng)模式，客戶端請求 服務(wù)器 ，然后客戶端和服務(wù)器建立臨時 通道 ，然后服務(wù)器返回響應(yīng)。這里瀏覽器是一種客戶端程序，搜索引擎　　網(wǎng)站建設(shè)良好的SEO實踐會使站點更實用，訪問性更強(qiáng)，而且對搜索引擎更友好。但是，不守規(guī)矩的 SEO 營銷企業(yè)會運用黑帽 SEO 技術(shù)（垃圾技術(shù)），這給 SEO 帶來了壞名聲。但是任何種類的營銷都是這種情況：推銷產(chǎn)品的方法有好也有壞，而且有時候壞方法更有效 — 但只是在短期內(nèi)。通過黑帽 SEO 技術(shù)欺騙搜索引擎是一條危險的道路，會帶來更糟糕的用戶體驗。因此本系列只關(guān)注白帽 SEO 技術(shù)。利用白帽 SEO 技術(shù)，讓您和您的用戶都會獲益。這是雙贏的做法。蜘蛛也是一種客戶端程序。客戶端向服務(wù)器發(fā)送請求行，然后是請求頭信息。圖中左上角有“ GET  www.***.com”，反映了請求行的內(nèi)容，真正的請求行是下面這行，firebug沒有明示：
“GET / HTTP/1.1”
這行的格式是：
請求方法（get、 post 等）+一個空格+請求的URL（這里“/”表示首頁）+一個空格+http協(xié)議版本（現(xiàn)在通常是HTTP/1.1，就是http協(xié)議1.1版）
記住這個格式，我們在服務(wù)器日志里還會看到這種格式的數(shù)據(jù)。
請求行后面緊跟著請求頭信息，其中第一行是host字段，指明了服務(wù)器是www.***.com，這是個 域名 ，通過 DNS 域名解析，變成 ip 地址，也就是服務(wù)器的物理地址。
2.ip地址，后面冒號加80，表明訪問的是服務(wù)器的80端口。服務(wù)器一直處于待命狀態(tài)，偵聽80端口，一旦發(fā)現(xiàn)有符合HTTP協(xié)議的頭信息發(fā)過來，就和客戶端建立一個臨時　　SEO是依存于搜索引擎　　網(wǎng)站建設(shè)良好的SEO實踐會使站點更實用，訪問性更強(qiáng)，而且對搜索引擎更友好。但是，不守規(guī)矩的 SEO 營銷企業(yè)會運用黑帽 SEO 技術(shù)（垃圾技術(shù)），這給 SEO 帶來了壞名聲。但是任何種類的營銷都是這種情況：推銷產(chǎn)品的方法有好也有壞，而且有時候壞方法更有效 — 但只是在短期內(nèi)。通過黑帽 SEO 技術(shù)欺騙搜索引擎是一條危險的道路，會帶來更糟糕的用戶體驗。因此本系列只關(guān)注白帽 SEO 技術(shù)。利用白帽 SEO 技術(shù)，讓您和您的用戶都會獲益。這是雙贏的做法。的出現(xiàn)，是網(wǎng)絡(luò)時代發(fā)展的產(chǎn)物；網(wǎng)站優(yōu)化則偏重于“網(wǎng)站”的概念，本質(zhì)是對網(wǎng)站進(jìn)行完善、改良，讓瀏覽者獲得良好