搜索引擎技術核心揭密(PHP版)
2024-05-04 22:53:41
供稿：網友
談到網頁搜索引擎時，大多數人都會想到雅虎。的確，雅虎開創了一個互聯網絡的搜索時代。然而，雅虎目前用于搜索網頁的技術卻并非該公司原先自己開發的。2000年8月，雅虎采用了google（www.google.com）這家由斯坦福大學學生創建的風險公司的技術。理由非常簡單，google的搜索引擎比雅虎先前使用的技術能更快、更準確搜索到所需要的信息。
讓我們自己來設計、開發一個強勁、高效的搜索引擎和數據庫恐怕短時間內在技術、資金等方面是不可能的，不過，既然雅虎都在使用別人的技術，那么我們是不是也可以使用別人現成的搜索引擎網站呢？
剖析編程思路
我們可以這樣設想：模擬一個查詢，向某個搜索引擎網站發出相應格式的搜索命令，然后傳回搜索結果，對結果的html代碼進行分析，剝離多余的字符和代碼，最后按所需要的格式顯示在我們自己的網站頁面里。
這樣，問題的關鍵就在于，我們要選定一個搜索信息準確（這樣我們的搜索才會更有意義?。⑺俣瓤欤ㄒ驗槲覀兎治鏊阉鹘Y果并顯示需要額外的時間），搜索結果簡潔（便于進行html源代碼分析和剝離）的搜索網站，由于新一代搜索引擎google的各種優良特性，這里我們選擇它為例，來看看用php怎樣實現后臺對google(www.google.com)搜索、前臺個性化顯示這一過程。
我們先來看看google的查詢命令的構成。進入www.google.com網站，在查詢欄中輸入“abcd”，點擊查詢按鈕，我們可以發現瀏覽器的地址欄變成："http://www.google.com/search?q=abcd&btng=google%cb%d1%cb%f7&hl=zh-cn&lr="，可見，google是通過表單的get方式來傳遞查詢參數并遞交查詢命令的。我們可以使用php中的file()函數來模擬這個查詢過程。
了解file（）函數
語法: array file(string filename);
返回值為數組，將文件全部讀入數組變量中。這里的文件可以是本地的，也可以是遠程的，遠程文件必須指明所使用的協議。例如： result=file(“http://www.google.com/search?q=a ... mp;hl=zh-cn&lr=”)，該語句將模擬我們在google上查詢單詞“abcd”的過程，并將搜索結果以每行為元素，傳回到數組變量 result中。因為這里讀取的文件是遠程的，所以協議名“http://”不能缺少。
如果要讓用戶輸入搜索字符進行任意搜索，我們可以做一個輸入文本框和提交按鈕，并將上文中的被搜索字符“abcd”用變量替換：
echo '
'; file://沒有參數的form，默認提交方式為get，提交到本身
echo ''; file://構造一個文本輸入框
echo ''; file://構造一個提交查詢按鈕
echo '
';
if (isset( keywords)) file://提交后php會生成變量 kwywords,即要求下面的程序在提交后運行
{
urlencode( keywords); file://對用戶輸入內容進行url編碼
result=file("http://www.google.com/search?q=". keywords."&btng=google%cb%d1%cb%f7&hl=zh-cn&lr=");
file://對查詢語句進行變量替換,將查詢結果保存在數組變量 result中
result_string=join(" ", result); file://將數組$result合并成字符串，各數組元素之間用空格粘和
... file://進一步處理
}
?＞
上面的這段程序已經能按用戶輸入內容進行查詢，并將返回的結果合成一個字符串變量$result_string。請注意要使用urlencode()函數將用戶輸入內容進行url編碼，才可以正常地對輸入的漢字、空格以及其他特殊字符進行查詢，這樣做也是盡可能逼真地模擬google的查詢命令，保證搜索結果的正確性。
對google的分析
為了便于理解，現在假設我們所真正需要的東西是：搜索結果的標題。網址和簡介等，這是一個簡潔而典型的需求。這樣，我們所要做的便是：去除google搜索結果的臺頭和腳注，包括一個google的標志、再次搜索的輸入框和搜索結果說明等，并且在剩余的搜索結果各項條目中剝離原來的html格式標記，替換成我們想要的格式。
要做到這一點，我們必須仔細地分析google搜索結果的html源碼，找到其中的規律。不難發現，在google的搜索結果的正文總是包含在源碼的第一個
標記和倒數第二個
標記之間，并且倒數第二個
標記后緊跟table字符，而且這個組合“
以下所有程序均依次接續在上文程序的“進一步處理”處。
result_string = strstr( result_string, " ");
file://取 result_string從第一個開始后的字符串，以去除google臺頭
position= strpos( result_string," table符號的位置
result_string= substr( result_string,0, position);//截取第一個table符號之前的字符串,以去除腳注
應用與實現
現在我們已經得到有用的html源碼主干了，剩下的問題是如何自主地顯示這些內容。我們再分析一下這些搜索結果條目，發現每個條目之間也是很有規律的用分隔，也就是各成一個段落，按這個特點我們用explode()函數把每個條目切開：
語法：explode(string separator, string string);
返回一個數組，按separator切開后的各個小字串被保存在數組中。
于是：
result_array=explode(" ", result_string); file://用字串" "把結果切開
我們就得到一個數組 result_array，其中每個元素都是一個搜索結果條目。我們所要做的僅僅是研究每個條目及其html顯示格式代碼，然后按要求替換就行了。下面用循環來處理 result_array中的每個條目。
for( i=0; i {
... file://處理每個條目
}
對于每個條目，我們也很容易找到一些特點：每個條目都由標題、摘要、簡介、類別、網址等組成，每個部分都換行，即包含
標記，于是再次分割：（以下處理程序放在上文的循環中）
every_item=explode(" ", result_array[ i]);
這樣我們得到一個數組 every_item，其中 every_item[0]就是標題， every_item[1]和 every_item[2]兩行為摘要， every_item[3]和 every_item[4]等等的頭部如果包含“簡介:”、“＜ font size=-1 color=#6f6f6f＞類別:＜ /font＞”字符，則是簡介或類別（因為有的結果條目沒有該項），如果頭部包含“＜ font color=green＞”則肯定就是網址啦，這種對比判斷我們常使用正則表達式（略），如果要替換也很方便，比如包含標題的$every_item[0]，其本身是有鏈接的，我們希望修改這個鏈接屬性，讓它在新窗口打開鏈接：
echo eregi_replace(' {
... file://處理每個條目中除去第一項（第一項為標題，已經顯示）的每一項
... file://更多格式修改
}
這樣就修改了鏈接屬性，其余很多顯示格式的修改、剝離、替換都能用正則替換eregi_replace()來完成。
至此我們已經得到了每個搜索條目的每一項，并能任意修改每項的格式，甚至可以給他套上漂亮的表格。然而一個好的程序應該能適應各種運行環境的，這里也不例外，我們其實還只是討論了搜索結果的html剝離的一種框架方法，真正要做得完美，還要考慮很多內容，比如要顯示一共搜索出多少結果，分成多少頁等等，甚至還可以刨除與google相關的那些“類別”、“簡介”等代碼，讓客戶根本看不到原始網站。不過這些內容和要求我們都能通過分析html進行剝離得到?，F在大家完全能自己動手，做個極富個性化的搜索引擎啦。
