搜索引擎的工作原理
文章出自：西安同成網絡 ?? 更新日期： 2022-04-12 ??

搜索引擎工作過程大致可以分為三個階段：

1.爬行和抓?。?br> 搜索引擎蜘蛛通過跟蹤鏈接發(fā)現和訪問網頁，讀取頁面HTML代碼，存入數據庫。
2.預處理：
索引程序對蜘蛛抓取來的頁面數據進行文字提取，中文分詞、索引、倒排、索引處理等。以備排名調用
3.排名：
當有用戶輸入查詢詞后。排名程序調用索引數據，計算相關性，然后按一定的格式生成搜索結果頁面。

接下來我們詳細的介紹一下

一、爬行和抓取
1.搜索引擎用來獲取頁面和訪問頁面的程序被稱之為蜘蛛。蜘蛛向程序發(fā)出頁面訪問請求，服務器返回HTML代碼。蜘蛛程序把收到的代碼存入原始頁面數據庫。
2.跟蹤鏈接，為了盡可能多的抓取網上的頁面，搜索引擎蜘蛛會跟蹤頁面上的鏈接，從一個頁面爬行到另一個頁面。
蜘蛛爬行策略大致分為兩種：深度優(yōu)先、廣度優(yōu)先。
所謂的深度優(yōu)先指蜘蛛沿著一個頁面不停向前爬行，直到前面沒有鏈接后停止。
廣度優(yōu)先是指在一個頁面發(fā)現很多鏈接時，不是直接去爬行發(fā)現的鏈接頁面。而是先把當前頁面下所有鏈接收錄完成，跟著再去爬行發(fā)現的鏈接頁面。
3.吸引蜘蛛：
蜘蛛理論上是會爬行完所有頁面，但是實際上不是。搜索引擎也不會這么做，seo優(yōu)化人員要做的事情是讓蜘蛛來抓取自己的頁面。那么怎樣的網站搜索引擎蜘蛛會看重呢？
（1）網站和頁面權重高： 質量高的網站搜索引擎蜘蛛會去更多的收錄它。
（2）頁面更新度：蜘蛛每次爬行都會把頁面數據存起來，如果第二次爬行發(fā)現和第一次沒有變化，說明頁面沒有更新，蜘蛛也就沒有必要經常來抓取了。
（4）與首頁距離：一般來說網站上權重高的是首頁，大部分外部鏈接也都是指向首頁，蜘蛛訪問最頻繁的也是首頁。離首頁距離越近，頁面權重越高。
（5）導入鏈接：無論是外部鏈接還是內部鏈接，頁面要被搜索引擎蜘蛛抓取就必須要有導入鏈接進入頁面。否則蜘蛛根本沒有直到頁面存在的機會。
（6）URL結構：頁面權重是在收錄后進行迭代計算后才知道的，那么前面說也頁面權重高有利于收錄，但是搜索引擎蜘蛛還沒有爬行這個頁面怎么直到它的權重呢？蜘蛛主要會預判，根據鏈接的長短、與首頁的距離和歷史數據等來判斷的。
4.地址庫
為了避免重復爬行，搜索引擎會建立一個地址庫，記錄被發(fā)現的所有鏈接、但還沒有抓取的鏈接以及已經被抓取的頁面。
地址庫URL來源：
（1）人工錄入
（2）蜘蛛抓取
（3）自動提交機制

二、預處理
1.抓取頁面進行剝離代碼工作，HTML代碼對于搜索引擎來說是不需要要的，所以他們要先進行剝離。
2.中文分詞
將剝離好的語句按詞的形式進行劃分，分詞主要有兩種方法：一是基于詞典匹配，二是基于數據統(tǒng)計。
3.去停止詞
比如用戶搜索會有：的、得、地、啊、哈、呀、什么等字眼，這些對搜索引擎是無謂得。
4.消除噪音
絕大多數頁面上還有一部分對頁面主題沒有貢獻，比如版權文字、導航條、廣告等。
5.去重
搜索引擎不喜歡偽原創(chuàng)文章，如果頁面都收錄，那用戶搜索時會出現不同的網站同一篇文章展示，那樣用戶會很反感。
6.正向索引
通過以上步驟會得到以詞會索引的字符串，也就是關鍵詞集合頁面。搜索引擎將頁面得所有關鍵詞進行排列統(tǒng)計，統(tǒng)一排列在頁面之后。
7倒向排列
搜索引擎根據關鍵詞，進行表格布置。將所有出現這個關鍵詞得頁面進行排布。
8.鏈接關系
收錄一個頁面搜索引擎必須直到有哪些鏈接指向了這個頁面，這個頁面又出去哪些鏈接。并且每一個鏈接得錨文本要進行統(tǒng)計。
9.質量判斷
在預處理階段，搜索引擎會對頁面內容質量、鏈接質量等做出判斷。

三、排名
1.搜索詞處理
搜索引擎會對用戶得搜索語句進行分詞、去停止詞、指令處理、拼詞錯誤矯正、整合搜索觸發(fā)、搜索框提示等。
2.文件匹配
搜索詞進行處理后開始對搜索詞進行頁面匹配工作，當匹配出幾十萬甚至幾百萬詞后。但是搜索引擎只顯示幾十個結果，這里最主要時頁面權重。頁面權重越高，排名越好。
3.搜索緩存
2/8定律，20%得搜索詞占80%搜索量，搜索引擎不會每一次都進行處理，他會有排名緩存機制。