我經(jīng)常會遇到一些不知道 搜索引擎如何收集信息的人。他們知道什么是搜索引擎，而且也理解得到搜索引擎索引的重要性，盡管有些人知道一些，但當你開始談論諸如爬行程序之類的內(nèi)容時，他們就開始卡殼了?！〔灰俪霈F(xiàn)卡殼這樣的尷尬場面了。本文旨在幫你揭示一些你對搜索引擎還不是很肯定的東西。畢竟，如果你想通過得到搜索引擎的收錄而受益，你還是了解一下搜索引擎如何工作為好。 [URL=http://hxc888.cn]GOOGLE排名專家[/URL] 　　合三為一 　　基于爬行程序的搜索引擎是由三部分組成的：爬行程序、索引和軟件。每一部分都具有自己的功能并且三個部分一起產(chǎn)生了我們在搜索引擎結(jié)果頁面（SERPs）上所看到的內(nèi)容。饑餓的爬行程序 　　另一個廣為人知的名字是網(wǎng)絡爬行程序或者機器人，搜索引擎爬行程序就是能閱讀網(wǎng)頁和跟蹤站點內(nèi)到其它網(wǎng)頁任何鏈接的一個自動程序。我們經(jīng)常將一個稱為被“爬行”或“索引”。在網(wǎng)絡上有三種非常饑餓、非?；钴S的爬行程序。它們的名字為Googlebot（Google）、Slurp（ Yahoo！）和MSNBot（MSN 搜索）。 　　爬行程序會從先前添加到它們索引（數(shù)據(jù)庫）中的系列網(wǎng)頁URLs開始網(wǎng)絡之旅。在它們訪問這些網(wǎng)頁時，它們爬行編碼和副本，它將在網(wǎng)絡上找到的新網(wǎng)頁（鏈接）也添加到它的索引之中。對于這個過程，我們可以將爬行程序稱為是正在建立索引，稍后將進一步加以討論。 [URL=http://hxc888.cn]GOOGLE排名專家[/URL] 　　爬行程序會根據(jù)一個固定的周期回訪其目錄中的站點，尋找任何的更新。至于爬行程序回訪的頻率，這要由搜索引擎確定。網(wǎng)站擁有者通過采用一個名為robot.txt的文件確實能控制爬行程序訪問這個站點的頻率。搜索引擎在進一步爬行一個網(wǎng)站之前首先查看這個文件。 　　正在成長的索引 　　索引就像是一個包含爬行程序所找到網(wǎng)站每一個網(wǎng)頁和文件副本的巨大目錄或者詳細目錄。如果某一個網(wǎng)頁發(fā)生了變化，則會使用新的信息來更新這個目錄。為了能使一個數(shù)量的概念給你描述這些索引的大小，Google最新公布的數(shù)字是80億個網(wǎng)頁。 　　有時候需要一定的時間才能讓爬行程序找到新的網(wǎng)頁和更改并添加到自己的索引中。由此，一個網(wǎng)頁可能已被“爬行”但尚未“索引”。知道一個網(wǎng)頁被索引后——添加到索引中——此時在搜索引擎中是搜索不到這些被爬行過的網(wǎng)頁的。 　　[URL=http://hxc888.cn]搜索引擎的工作模式[/URL] 　　每天，搜索引擎都通過一個設(shè)計好的軟件來詳細審核其索引中的數(shù)十億的網(wǎng)頁索引，并找出哪些與搜索查詢最為匹配以及將其按最為相關(guān)的順序進行 排名。 　　搜索引擎面對的是數(shù)百億需要排序的網(wǎng)頁，它如何決定相關(guān)性呢？每一個搜索引擎都已形成了一套規(guī)則和數(shù)學公式，我們將其稱之為算法，用這種算法來決定網(wǎng)頁的排名。 　　至于每一家搜索引擎的算法是如何工作的這是一個秘密，但常常用來改進一個網(wǎng)站的排名性能的一般原則大家還是知道的，我們將其稱之為搜索引擎優(yōu)化。 　　搜索引擎不時簡單地采用網(wǎng)頁副本將相關(guān)的網(wǎng)頁根據(jù)一個垂直的主題進行分組。如果我們?nèi)〕鲆粋€與電影行業(yè)相關(guān)的網(wǎng)頁，這些主題或者組可能是娛樂、電影娛樂、電影明星娛樂等等。每一個主題都有描述這個組所包含網(wǎng)頁的公共字和短語。有些網(wǎng)頁可能不單單屬于一個組，例如：與電影利潤相關(guān)的一個網(wǎng)頁可能既屬于金融組又屬于娛樂組。 　　SERP（或搜索引擎結(jié)果頁） 　　將此算法應用于索引的站點后，根據(jù)所執(zhí)行的搜索，搜索引擎會給出一些最相關(guān)的搜索結(jié)果。 　　我們來簡化一個復雜的過程，當一位用戶輸入一個搜索查詢時，搜索引擎根據(jù)這個網(wǎng)頁對其認為相關(guān)的索引進行分析和檢索。如果它具有一個相關(guān)網(wǎng)頁的候選名單，它會依據(jù)另外的算法因素對這些列表進行進一步計算，以便決定以何種順序?qū)⑵湔故窘o用戶。這些因素或許是用戶的位置，當然了，甚至也可能是用戶的搜索歷史記錄。 　　每個搜索引擎所使用的算法是不同的，這就是為什么對于相同的查詢，每個搜索引擎所搜索到的結(jié)果不盡相同的原因。每一個搜索引擎都有自己的小生境，因此，對于一個用戶常常同時使用多個搜索引擎來搜索一個內(nèi)容并不少見。這進一步說明了網(wǎng)站擁有者將其網(wǎng)站在所有搜索引擎上獲得索引并得到較好的排名是非常重要的。 　　結(jié)論 　　搜索引擎的目標是如何適合用戶的口味。它們因此想在第一時間給用戶提供合適的、相關(guān)的、信息量大的站點來滿足他們。