應(yīng)該了解的網(wǎng)絡(luò)爬蟲分類和策略

　　隨著互聯(lián)網(wǎng)的發(fā)展，人們不滿足于僅僅依靠開放目錄等傳統(tǒng)方式在網(wǎng)絡(luò)上尋找一些東西，為了滿足不同的人的不同需求，于是出現(xiàn)了網(wǎng)絡(luò)爬蟲，網(wǎng)絡(luò)爬蟲，是指按照一定的規(guī)則、自動抓取互聯(lián)網(wǎng)上信息的程序組件或腳本程序。在搜索引擎中，網(wǎng)絡(luò)爬蟲就是搜索引擎發(fā)現(xiàn)和抓取文檔的自動化程序，今天2898站長資源平臺小編就帶大家來了解網(wǎng)絡(luò)爬蟲的分類和策略是什么，一起來看看吧。

　　網(wǎng)絡(luò)爬蟲有很多種類，簡單介紹以下幾種：

　　1: 通用網(wǎng)絡(luò)爬蟲

　　通用網(wǎng)絡(luò)爬蟲，又稱為“全網(wǎng)爬蟲”，從一些種子網(wǎng)站開始爬行，逐步擴展到整個互聯(lián)網(wǎng)。

　　通用網(wǎng)絡(luò)爬蟲策略：深度優(yōu)先策略和廣度優(yōu)先策略。

　　2: 聚焦網(wǎng)絡(luò)爬蟲

　　聚焦網(wǎng)絡(luò)爬蟲，又稱為“主題網(wǎng)絡(luò)爬蟲”，預(yù)先選擇一個（或幾個）相關(guān)主題，僅爬行并抓取這一類的相關(guān)頁面。

　　聚焦網(wǎng)絡(luò)爬蟲策略：聚焦網(wǎng)絡(luò)爬蟲增加了鏈接和內(nèi)容評價模塊，所以其爬行策略的關(guān)鍵是評價頁面的鏈接和內(nèi)容后再進行爬行。

　　3: 增量式網(wǎng)絡(luò)爬蟲

　　增量式網(wǎng)絡(luò)爬蟲，是指對已經(jīng)收錄的頁面進行更新、爬行新頁面和發(fā)生變化的頁面。

　　增量式網(wǎng)絡(luò)爬蟲策略：廣度優(yōu)先策略和PageRank優(yōu)先策略等。

　　4: Deep Web爬蟲

　　搜索引擎蜘蛛可以爬行并抓取的頁面稱之為“表層網(wǎng)頁”，某些不能通過靜態(tài)鏈接獲得的頁面稱之為“深層網(wǎng)頁”，Deep Web爬蟲就是抓取深層網(wǎng)頁的爬蟲體系。

　　網(wǎng)絡(luò)爬蟲抓取策略一般分為三種：

　　a、廣度優(yōu)先

　　搜索完當(dāng)前頁面所有鏈接，才開始進入下一層。

　　b、最佳優(yōu)先

　　根據(jù)一定的網(wǎng)頁分析算法，比如鏈接算法和頁面加權(quán)算法等，優(yōu)先抓取更具有價值的頁面。

　　c、深度優(yōu)先

　　順著一個鏈接一直爬行，直到某一頁面再也沒有鏈接，再開始爬行另外一條。但是一般都是從種子網(wǎng)站開始抓取，如果采用這種形式可能會造成抓取的頁面質(zhì)量越來越低，所以這種策略使用較少。

　　總結(jié)： 以上就是2898站長資源平臺小編跟大家分享的網(wǎng)絡(luò)爬蟲的分類和策略，希望對大家有幫助，更多相關(guān)內(nèi)容，請繼續(xù)關(guān)注2898站長資源平臺。