所謂的提權(quán)蜘蛛和降權(quán)蜘蛛都是什么

　　所謂的提權(quán)蜘蛛和降權(quán)蜘蛛都是什么？之前有看到過降權(quán)蜘蛛和提權(quán)蜘蛛，即如果抓取你網(wǎng)站的蜘蛛IP是降權(quán)蜘蛛的IP，那你的網(wǎng)站就是被降權(quán)了；反之，抓取你網(wǎng)站的蜘蛛IP為提權(quán)蜘蛛的IP，那你的網(wǎng)站權(quán)重較高。

　　對此問題表示也不能肯定，然而百度LEE團隊官方曾經(jīng)在百度站長平臺公開回答過該問題，并明確的否認了。當然，百度還不承認有百度權(quán)重，然而確實有，呵呵。官方的答復不可不信，也不可全信。今天又看《走進搜索引擎》，發(fā)現(xiàn)可能真的有所謂的提權(quán)蜘蛛和降權(quán)蜘蛛。

　　搜索引擎工作過程中，在抓取環(huán)節(jié)，有一個重要性網(wǎng)頁優(yōu)先抓取的策略，其實很好理解，搜索引擎需要抓取的新網(wǎng)頁和每天重訪的網(wǎng)頁規(guī)模都是巨大的，為保證更重要的網(wǎng)頁能夠優(yōu)先抓取，使得在時效性和權(quán)威性上獲得滿意的效果，就需要對重要性網(wǎng)頁進行優(yōu)先抓取。(這不就是百度權(quán)重高的網(wǎng)站嗎？)

　　同時，在抓取環(huán)節(jié)，還有一個抓取提速策略，通過增加同時工作的爬蟲(即蜘蛛)數(shù)量。在多個蜘蛛抓取的情況下，需要按照域名來分解任務，使特定的爬蟲抓取特定的域名下的網(wǎng)頁。

　　在域名分配的同時，要保證每個蜘蛛的工作量相等；如默認正常網(wǎng)站的規(guī)模為普通水準，抓取工作量一般；而重要性高的網(wǎng)站，通常其網(wǎng)站規(guī)模龐大，內(nèi)容豐富，抓取工作量較大；但是網(wǎng)站被降權(quán)的網(wǎng)站通常使用大量垃圾內(nèi)容作弊來獲取排名，其網(wǎng)站規(guī)模肯定也較大，抓取工作量也較大。

　　假設：1*重要性網(wǎng)站=2*普通網(wǎng)站=1*作弊網(wǎng)站，那么蜘蛛抓取工作量體系結(jié)構(gòu)類似于：

　　spider1抓取重要性高的域名A

　　spider2抓取普通網(wǎng)站B和C

　　spider3抓取作弊網(wǎng)站的域名D

　　則spider1為提權(quán)蜘蛛，spider3為降權(quán)蜘蛛。

　　因為蜘蛛不光要抓取，還要返回抓取的網(wǎng)頁結(jié)果和新的URL，而URL的重要度會影響URL的抓取優(yōu)先度，所以高權(quán)重網(wǎng)站上的URL是不能和普通網(wǎng)站、作弊網(wǎng)站上的URL放在一起的，因此為提高蜘蛛的工作效率，同一個蜘蛛肯定不會同時抓取不同重要度的網(wǎng)站。

　　至于考核蜘蛛(即沙盒蜘蛛)、劣質(zhì)文章蜘蛛等什么亂七八糟的蜘蛛，應該是不存在的。

　　谷歌的沙盒期是會對新網(wǎng)站正常抓取，只是不會放出或者不會給予好的排名罷了，不關(guān)人家蜘蛛的事情。

　　至于劣質(zhì)文章蜘蛛，蜘蛛是按照域名來劃分工作，那可能就是降權(quán)了，要不就是想多了。

　　如果百度真的存在提權(quán)蜘蛛和降權(quán)蜘蛛的話，谷歌應該也有，畢竟搜索引擎工作原理是一樣的。