如何從廣度和深度喂飽蜘蛛
發(fā)布時間:2012/11/14
字體:大中小
摘要:如何從廣度和深度喂飽蜘蛛,蜘蛛的廣度和深度是如何工作的,昨天在“搜索引擎是咋樣工作的”內(nèi)容中也提到了蜘蛛的工作方式,但是沒有詳細的介紹,今天合肥網(wǎng)絡(luò)公司小編就跟大家解析一下蜘蛛廣度和深度的工作方法。
昨天在“
搜索引擎是咋樣工作的”內(nèi)容中也提到了蜘蛛的工作方式分為廣度和深度,但是沒有詳細的介紹,今天
合肥網(wǎng)絡(luò)公司小編就跟大家解析一下
蜘蛛廣度和深度的工作方法。
搜索引擎蜘蛛工作都是深度開始,蜘蛛找到一個鏈接之后,就會沿著這個鏈接向下一個鏈接前進;從一個頁面開始這樣重復(fù)著工作,但不是重復(fù)爬同一個頁面。當蜘蛛爬到無路可走的時候,才返回爬另一條路。
蜘蛛的廣度工作比較有規(guī)律,用字母表示頁面,就可以很形象的表示為蜘蛛從頁面A爬到a1、a2、a3、a4,如果a4頁面之后就沒有其他鏈接了。然后從另一個鏈接爬到另外b1、b2、b3、b4頁面。
如果蜘蛛以廣度優(yōu)先,那么蜘蛛就能在一個頁面發(fā)現(xiàn)很多個鏈接,這種爬行是沒有規(guī)律的爬行。按照網(wǎng)站的層次來爬,第一層爬取完了之后,再爬取第二層頁面,以此類推。用字母表示的話就是從A頁面爬到A1、B1、C1、D1頁面,爬完之后再繼續(xù)到第二個層次,A1爬完爬A2,A2爬完爬A3。
合肥網(wǎng)絡(luò)公司認為,不管是廣度還是深度,蜘蛛都會爬完整個網(wǎng)絡(luò),當然也不可能每個頁面都能爬取到,所以我們才會有網(wǎng)站收錄不一樣的情況。如何喂飽蜘蛛,那就要讓蜘蛛在網(wǎng)站中舍不得出來,網(wǎng)站內(nèi)鏈和外鏈都要做到盡善盡美。