做seo�┚褪菫榱巳�悅搜索引擎�┠敲椽┪覀儽仨氁�了解搜索引擎抓取頁面的方式�� 搜索引擎不可能一次性抓取到網(wǎng)站中所有的頁面�┒�且網(wǎng)站中頁面的數(shù)量也會(huì)不斷地變化�﹥�(nèi)容也在不斷地更新。因此�┧阉饕�擎還需要對已經(jīng)抓取的頁面進(jìn)行維護(hù)、更新�┮员隳芗皶r(shí)獲取頁面中最新的信息及抓取更多的新頁面。常見頁面維護(hù)方式包括��定期抓取、增量抓取及分類定位抓取。

　　●定期抓取 定期抓取也稱為周期性抓取�┘此阉饕�擎周期性地對網(wǎng)站中已收錄的頁面進(jìn)行全面更新。更新的時(shí)候�┌炎ト〉降男马撁嫣鎿Q原有的舊頁面�﹦h除不存在的頁面�┎⒋鎯�(chǔ)新發(fā)現(xiàn)的頁面。周期性更新針對的是全部已收錄的頁面�┮虼烁�新周期會(huì)比較長。例如�〨oogle-般是30��60天才會(huì)對已收錄的頁面進(jìn)行更新。 定期抓取算法的實(shí)現(xiàn)相對簡單。由于每次更新涉及到網(wǎng)站中所有已經(jīng)收錄的頁面�┮虼隧撁鏅�(quán)重的再分配也是同步進(jìn)行的。這種方式適用于維護(hù)頁面比較少、內(nèi)容更新緩慢的網(wǎng)站�├�如普通的企業(yè)網(wǎng)站。但是�┯捎诟�新周期十分漫長�┻@就導(dǎo)致不能及時(shí)向用戶反映更新其間頁面的變化情況。例如�┠硞�(gè)頁面的內(nèi)容更新以后�┲辽傩枰�30��60天才能在搜索引擎上有所體現(xiàn)。

　　●增量抓取 增量抓取是通過對已抓取的頁面進(jìn)行定時(shí)監(jiān)控��實(shí)現(xiàn)對頁面的更新及維護(hù)。但是��對網(wǎng)站中的每個(gè)頁面都進(jìn)行定時(shí)監(jiān)控的做法是不現(xiàn)實(shí)的�；�于重要頁面攜帶重要內(nèi)容的思想以及80/20法則�┧阉饕�擎只需對網(wǎng)站中部分重要頁面進(jìn)行定時(shí)的監(jiān)控�┘纯色@取網(wǎng)站中相對重要的信息。因此�┰隽孔ト≈会槍�網(wǎng)站中某些重要的頁面�┒�非所有已經(jīng)收錄的頁面�┻@也是為什么搜索引擎對重要頁面的更新周期會(huì)更短的原因。例如�﹥�(nèi)容經(jīng)常更新的頁面�┧阉饕�擎也會(huì)經(jīng)常對其進(jìn)行更新��從而可以及時(shí)發(fā)現(xiàn)新內(nèi)容、新鏈接�┎�刪除不存在的信息。 由于增量抓取是在原有頁面的基礎(chǔ)上進(jìn)行的�┮虼藭�(huì)大大縮減搜索引擎的抓取時(shí)間�┒�且還可以及時(shí)向用戶展示頁面中最新的內(nèi)容。

　　●分類定位抓取 與增量抓取由頁面重要性決定不同�┓诸惗ㄎ蛔ト∈侵父鶕�(jù)頁面的類別或性質(zhì)而制定相應(yīng)更新周期的頁面監(jiān)控方式。例如��對于“新聞資訊”與“資源下載”這兩類頁面�┬侣勝Y訊類頁面的更新周期可以精確到每分鐘�┒�下載類頁面更新周期就可以定為一天或更長。 分類定位抓取對不同類別的頁面進(jìn)行分開處理�┻@樣就可以節(jié)省大量的抓取時(shí)間�┎⒋蟠筇岣唔撁鎯�(nèi)容的實(shí)時(shí)性�┮苍鰪�(qiáng)頁面抓取的靈活性。但是�┌凑疹悇e而制定頁面更新周期的方式比較籠統(tǒng)�┖茈y跟蹤頁面的更新情況。因?yàn)榧词故窍嗤�類別的頁面�┰诓煌�的網(wǎng)站上內(nèi)容的更新周期也會(huì)存在很大的差別。例如新聞?lì)愴撁妾┰诖笮烷T戶網(wǎng)站中內(nèi)容的更新速度就會(huì)比其他小型網(wǎng)站快得多。

　　所以�┻�需要結(jié)合其他的方式�Ю�如增量抓取等�▽�頁面進(jìn)行監(jiān)控、更新。 實(shí)際上�┧阉饕�擎對網(wǎng)站中頁面的維護(hù)也是結(jié)合多種方式進(jìn)行�┫喈�(dāng)于間接為每一個(gè)頁面選擇最合適的維護(hù)方式。這樣�ゼ瓤梢詼p少搜索引擎的負(fù)擔(dān)�ビ挚梢詾橛脩籼峁┘皶r(shí)的信息。 例如在一個(gè)網(wǎng)站中��會(huì)存在多種不同性質(zhì)的頁面�コＲ姷陌�括首頁、論壇頁面、內(nèi)容頁面等。對于更新比較頻繁的頁面�＠�如首頁�おタ梢允褂迷隽孔ト》绞綄ζ溥M(jìn)行監(jiān)控�ミ@樣就可以對網(wǎng)站中相對重要的頁面進(jìn)行及時(shí)更新�Χ鴮τ趯�(shí)時(shí)性非常高的論壇頁面��則可以采用分類定位的抓取方式�Χ鵀榱朔乐惯z漏網(wǎng)站中的某些頁面�ミ�需要采用定期抓取的方式。