通過(guò)《SEO新手入門(mén)系列2022（二）：SEO 101》這篇文章已經(jīng)簡(jiǎn)單的簡(jiǎn)述及工介紹了什么是SEO，和搜索引擎，搜索索引這一篇文章來(lái)詳細的引擎介紹下搜索引擎的工作原理，搜索引擎的概念工作順序大致是：抓取網(wǎng)頁(yè)（Crawing），建立索引（Indexi??ng），作原作原排名顯示（Ranking）。理百理
就像在前一篇文章提到的度搜，搜索引擎就是擎工一個(gè)問(wèn)答機器，他們去挖掘，簡(jiǎn)述及工理解，搜索索引組織網(wǎng)上能(neng)發(fā)現的引擎任何信息，然后把他們以相關(guān)的概念方式組織(′▽?zhuān)?起來(lái)，再返回給使用者，作原作原為了能把你的理百理網(wǎng)站展現給用戶(hù)之前，最重要的度搜一件事就是你的網(wǎng)站能夠被搜索引擎發(fā)現 ，否則在SEPR??s（搜索引擎結果頁(yè)）是不會(huì )有你網(wǎng)站信息的。┐(′?｀)┌
就如SEO小也開(kāi)頭說(shuō)的，搜索引擎想把網(wǎng)站信息提供給用戶(hù)，需要完成三個(gè)主要任務(wù)：
當然其中的技術(shù)實(shí)現是非常復雜的，作一名(ming)SEO新人，可能占時(shí)不需要深究這些(′?ω?`)問(wèn)題，SEO小也在大學(xué)畢業(yè)的時(shí)候，作的畢業(yè)設計就是搜索引擎，當然那時(shí)候是使用第三方的索引分詞庫，我們大部分時(shí)間只要配置規則就可以，更深入的內容我會(huì )另寫(xiě)些篇文章來(lái)分享。
搜索引擎要想把相關(guān)內容展示給用戶(hù)，第一步做的就是派出他的小弟——搜索引擎爬蟲(chóng)（蜘蛛），他們會(huì )不停的抓取互聯(lián)網(wǎng)上新的內容，或者更新數據庫中舊的內容，內容的形式??多種多樣，有可能是網(wǎng)頁(yè)，PDF文件，MP3音頻文件，什么形式都有，但是他們都是通過(guò)URL去找到這些內容的。
搜索引擎一開(kāi)始會(huì )有一些種子URL，這些URL都是一些質(zhì)量比較高的鏈接地址，而且蜘蛛們就會(huì )順著(zhù)這些地址不斷的往下抓取，在這個(gè)過(guò)程中，新發(fā)現的鏈接又會(huì )被作為新一輪爬取任務(wù)的種子URL，直到?jīng)]有新的鏈接可以爬取。
建立索引是一個(gè)非常??復雜的過(guò)程，這個(gè)過(guò)程涉及的內容比較多的是計算機方面的內容，有算法，有地理環(huán)境，有社會(huì )學(xué)研究等等因素，搜索引擎會(huì )根據很多參數去控制這些內容的分類(lèi)，但是最重要的一點(diǎn)(dian)，就是這些內容的相關(guān)性，相關(guān)性越高，被分在(zai)同一個(gè)分類(lèi)的可能性就越高，建立索引是為??了后期能快速展現給用戶(hù)作準備，也是為排名提供數據基礎。
用戶(hù)在搜索引擎輸入框輸入他的關(guān)鍵詞，搜索引擎會(huì )用驚人的效率在他龐大的索引數據庫中找到相關(guān)的內容，并按內容的相關(guān)性和一些其它??的參數來(lái)對內容進(jìn)行排序，這個(gè)過(guò)程就(°ロ°) !是搜索引擎排名，靠前的內(′▽?zhuān)?容，在搜索引擎看來(lái)就是和用戶(hù)的問(wèn)題相關(guān)性越高的回答。
如果我們不想讓搜索引擎把一些內容展示給用戶(hù)，這也是可以辦到的，但是大多數情況下我們不會(huì )這么做，搜索引擎優(yōu)化的目的就是為了讓用戶(hù)看到我們，并能讓搜索引擎優(yōu)先展示我們想給用戶(hù)看的內容。
就像前面說(shuō)的，如果要讓自己的(de)網(wǎng)(⊙_⊙)站出現在SERPs中，那前提就是讓網(wǎng)站被搜索引擎蜘蛛爬取和索引，如果你已經(jīng)有了網(wǎng)站，你可以使用site命令來(lái)查看自己網(wǎng)站被收錄的情況。
可以看到SEO小也已經(jīng)有135個(gè)網(wǎng)頁(yè)已經(jīng)被??谷歌收錄，這個(gè)結果是經(jīng)常會(huì )變動(dòng)的，能看到一個(gè)大概的數據，并不是特別的精準，還有(you)很多沒(méi)有顯示的網(wǎng)頁(yè)，用一些關(guān)鍵詞也是能搜索到。如果想看更精準的結果，可以使用Google Search Console在收??錄功能中查看，這就相當于我(wo)們百度的站長(cháng)平臺，但是SEO小也個(gè)人覺(jué)得比百度站長(cháng)的作用要大的多，所以SEO小也一般只會(huì )看GSC的數據，很少去看百度站長(cháng)平臺的數據，以后也會(huì )專(zhuān)門(mén)寫(xiě)幾篇文章來(lái)介紹。
如果你使用site命令找不到網(wǎng)站的收錄，那有可能是下面幾種原因：
我們有時(shí)候把精力太多的放在如何讓搜索引擎抓取內容，卻忽略如何不讓搜索引擎不要爬取一些內容，比如說(shuō)一些重復的頁(yè)面，一些搜索參數，還有比如說(shuō)公(′；д；`)司的聯(lián)系方式，留言等，這些內容被收錄意義并不大，而且還會(huì )讓??搜索引擎不知道具體哪個(gè)界面是你最想展(′?_?`)示給用戶(hù)的，所以這時(shí)候我們就要告訴搜索引擎，哪些???資源他不要花時(shí)間去(′▽?zhuān)?爬取，這就要robots.txt文件出場(chǎng)了，這篇SEO教程先到這。
搜索引擎是(′?｀*)世界上最復雜的系統之一，其工作原理我們只需要了解即可，對于真正??的搜索引擎核心技術(shù)基本上是不會(huì )公布出來(lái)的，我們可以從信息檢索技術(shù)中窺探一二。SEO百科網(wǎng)帶來(lái)的是《搜索引擎的工作原理簡(jiǎn)介-什么(′▽?zhuān)?是搜索引擎》。希??望對大家有所幫助。
搜索引擎利用爬蟲(chóng)通過(guò)爬行頁(yè)面上的超鏈接來(lái)發(fā)現新的頁(yè)面，如果這些頁(yè)面已經(jīng)被收錄沒(méi)有任何更新則不會(huì )采取任???何行為，如果發(fā)現頁(yè)面已經(jīng)有些更新，則會(huì )重新對該頁(yè)面進(jìn)行收錄，如果這些頁(yè)面是未ヽ(′?｀)ノ被收錄的，則根據頁(yè)面的質(zhì)量與互聯(lián)網(wǎng)內容重復率來(lái)決定(ding)是否還要進(jìn)行收錄。
1）爬蟲(chóng)
在不同的搜索引擎中有不同的叫??法，百度稱(chēng)之為蜘蛛（spider(′?｀)），谷歌稱(chēng)之為機器人（Robot），當然比較傳統的叫法稱(chēng)ヽ(′▽?zhuān)?ノ之為網(wǎng)絡(luò )爬蟲(chóng)，或者簡(jiǎn)稱(chēng)為爬ヽ(′ー｀)ノ蟲(chóng)。搜索引擎的爬蟲(chóng)組件擔當著(zhù)搜索引擎用來(lái)發(fā)現、抓取并存??儲到數據庫的職責。而SEOer調整并讓網(wǎng)站更受爬蟲(chóng)的喜歡，簡(jiǎn)化爬蟲(chóng)的工作量，減少蜘蛛陷阱等不利于爬行的頁(yè)面設計。
2）信息源
有了爬蟲(chóng)，那么爬蟲(chóng)的爬行對象是什么呢？一般爬蟲(chóng)可以爬行(xing)并抓取的信息源類(lèi)型為RSS，RSS是一個(gè)信息源的標準，有了這個(gè)站長(cháng)都可以輕松轉載對方網(wǎng)站的文章。RSS采用的標準的XML數據格式。
3）轉化
爬蟲(chóng)會(huì )遇??到各種各樣??的問(wèn)題，可能會(huì )遇到一個(gè)html頁(yè)面，也可能會(huì )遇到一個(gè)word文檔，還可能是一(???)個(gè)txt文件，那么一般來(lái)講，搜索引擎會(huì )將這些轉化為統一的文本格式和文檔的元數??據格式。在轉化的過(guò)程中就需要對某些內容進(jìn)行刪減了。還有一個(gè)問(wèn)題就是網(wǎng)站的編碼的問(wèn)題，一般國內用的主要是GB2312或UT??F-8的字符編碼規范。
4）文檔數據庫
爬蟲(chóng)將抓取的這些頁(yè)面數據需要有序的存放到文檔數據庫中，需要保證效率為前提，然后(╯°□°）╯︵ ┻━┻還需要考慮壓縮、結構化數據、超級鏈接的提取等等才能夠存入到數據庫中。
二、文本轉換
1）解析器
搜索引擎中的解析器主要負責處理文檔中的文本詞素序列，這就涉及到中文分詞和英文分詞的問(wèn)題了，更好地理解詞與詞組的意思。提到“蘋(píng)果”這個(gè)詞，很多人的第一想法就是吃的一種水果，但也有不少人會(huì )聯(lián)想到蘋(píng)果公司生產(chǎn)“iPhone???”手機。這就是解析器需要??搞明白的事情，(′?｀)明確這篇提到蘋(píng)果的文章，到底是寫(xiě)水果了，還是在寫(xiě)蘋(píng)果手機。
這種(zhong)文檔結構通常是HTML或XML結構，HTML主要是定義網(wǎng)頁(yè)的結構的，XML就是數據上的存儲。且這兩種結構的文檔都是標簽語(yǔ)言，比如HT?ML中的?a標簽<a href=''></a>。
2）停止詞去除
有一些詞在句子中只是讓句子更通順，并非起著(zhù)非常重要的功能性上的作用，比如英文的“to”、“of”、“on”等，中文的“的”、“地”、“得”等。當然也可能存在實(shí)際的價(jià)值，如“大地”中的“地”就是有一定價(jià)值的(de)詞，不能當做停止詞而被去除。
3）詞干提取
針對于英文而言，需要提取詞的詞干，比如“fishing??”提取fish，但是中文卻幾乎不需要這做，因為做不了??。
4）超鏈接的提取與分析
對于文檔解析中的超鏈接的提取是非常方(fang)便的，畢竟很容易識別出來(lái)嘛，然后這些也會(huì )被記錄到文檔數據庫中，然后大量的超鏈接經(jīng)常搜索引擎算法的計算，會(huì )給予某些頁(yè)面非常高的信任度，也??可能會(huì )懲??罰那些惡意利用超鏈接作弊的頁(yè)面，這中間包括站內和站外。
5）信息的提取
對于頁(yè)面上到底是與哪些詞相關(guān)的，什么時(shí)間(′ω｀)發(fā)布的，誰(shuí)發(fā)布的，轉自哪里等等頁(yè)面信息都是需要搜索引擎來(lái)提取的。
6）分類(lèi)組件
分類(lèi)組件頁(yè)面??都打上歸屬標簽，比如是關(guān)于體ヽ(′▽?zhuān)?ノ育的，還是關(guān)于IT的，亦或者是娛樂(lè )的。
三、索引創(chuàng )建
1）文檔統計
文檔統計簡(jiǎn)單匯總和記錄詞、特征和文檔的統計信息。比如我們在搜??索引擎搜索后，搜索框下方會(huì )出現出現的相關(guān)結果數約多少個(gè)。
2）加權-正(??-)?向索引
加權是搜索引擎的排名非常重要，它是??搜索引擎對頁(yè)面???識別并處理后的初始權重，體現出了文檔中某些詞的相對重要性，而這個(gè)加權結果是通過(guò)搜索引擎檢索模型來(lái)確定下來(lái)的。被SEOer熟知的一種加權方法稱(chēng)??之為T(mén)F-IDF，該方法有很多變型，但都基于索引項在文檔(′?｀*)中出現的次數或頻率（詞頻 - TF）以及索引(′?ω?`)項在整個(gè)文檔集合中出現的頻率（反文件頻率 - IDF）。用比較簡(jiǎn)單話(huà)來(lái)描述??，就是當這個(gè)索引項出現在整個(gè)文檔集合（搜索引擎數據庫）中的數量小的時(shí)候，那么反文件頻率則會(huì )小，這樣的頁(yè)面(mian)更容易排名；文檔中的詞頻越大，頁(yè)面加權會(huì )越大。
3）倒排索引??
倒排索引組件是搜索引擎的核心組件，是將文檔對應多個(gè)索引項的形式，轉化成為索引項對應多個(gè)文檔的形式，這種做法稱(chēng)之為建立倒排索引。
4）索引分派
索引分派是將索引分發(fā)給多臺計算機，理論上就是多個(gè)網(wǎng)絡(luò )節點(diǎn)，分布式結構可(ke)以讓其更加有效率，同時(shí)可以降低其他節點(diǎn)出現問(wèn)題導致的時(shí)延。
四、用戶(hù)交互
查詢(xún)輸入組件提供了用戶(hù)接口和解析器，在用戶(hù)輸入并搜索之后，對該查詢(xún)內容進(jìn)行解析，??也可以理解為進(jìn)行分詞處理。
查詢(xún)轉化包括的內容很多，比如之前說(shuō)過(guò)的分詞技術(shù)、停止詞的去除和詞干的提取等等，然后生成可以查詢(xún)的索引詞。
在這里還會(huì )平時(shí)我們常見(jiàn)到的搜索引擎努力糾正拼寫(xiě)錯誤的詞匯，??比如“博人轉(?Д?)”會(huì )自動(dòng)顯示“博人傳”，輸入拼音“cuowu”，通常會(huì )顯示“錯誤”的相關(guān)(guan)搜索，而不是“錯悟”。同時(shí)還有一些相關(guān)建議，比如下(′；ω；`)拉詞和相關(guān)搜索詞的出現。
3）結果輸出
五、索引排序
1）查詢(xún)處理
查詢(xún)處理組件會(huì )(hui)在檢索模型的基礎上，采用排序算(suan)法來(lái)計算這些文檔的分值，也等于是第二次加權處理。這里的索引排序算法就是我們平時(shí)聽(tīng)到的那些了，比如百度的綠蘿算法、Google的企鵝算法等等。
2）性能優(yōu)化
優(yōu)化索引排序算法和索引表的設計，可以降低系統響應的時(shí)間，從而提升查詢(xún)的吞吐量。
3）分布式
六、評價(jià)與調整
1）日志
搜索引擎的點(diǎn)擊日志是調整和改善搜索引擎系統效果和效率的非常有價(jià)值(zhi)的信息源，通過(guò)用戶(hù)(′▽?zhuān)?查詢(xún)與搜索(?????)引擎交互的信息可以調整搜索算法的不足。就明顯的就是SEOer常說(shuō)的提升用戶(hù)友好度，方法??就是提高用戶(hù)在網(wǎng)站的停留時(shí)間和打開(kāi)的頁(yè)面數量，時(shí)間和(he)數量越大，說(shuō)明這個(gè)(ge)網(wǎng)站的用戶(hù)友好度就越高，提升這樣(yang)的頁(yè)面的排名，有利于提?升搜索友好度，對搜索引擎也是有著(zhù)極大好處的。
2）排序分析
擁有了日志之后，就需要對現有排序進(jìn)行分析了，比如給(gei)予初始排名比較高的頁(yè)面卻沒(méi)有點(diǎn)擊，或者又點(diǎn)擊跳出率卻非常高，降低這類(lèi)頁(yè)面的排名，對于翻了幾頁(yè)后，點(diǎn)擊多且用戶(hù)表現出來(lái)的行為非常好的情況，會(huì )提升這類(lèi)頁(yè)面的排名，當然，這種頁(yè)面很多的話(huà)，也會(huì )對整站排名有著(zhù)非常好的作用。
性能分析則是對搜索響應、吞吐量、網(wǎng)絡(luò )各個(gè)節點(diǎn)的使用情況進(jìn)行分析，從而更好地優(yōu)化搜索引擎的性能。
版權聲明：本文內容由互聯(lián)網(wǎng)用戶(hù)自(zi)發(fā)貢獻，該文觀(guān)點(diǎn)僅代表作者本人。本站僅提供信息存儲空間服(′▽?zhuān)?務(wù)，不擁有所有權，不承擔相關(guān)法律責任。如發(fā)現本站有涉嫌抄襲(′?｀*)侵權/違法違規的內容(╯°□°)╯， 請發(fā)送郵件至 [email protected]??om 舉報，??一經(jīng)查實(shí)，本站將立刻刪除。
