搜索引擎核心技術(shù)的演進

申請免費試用、咨詢電話：400-8352-114

● 上個世紀70年代，著名的信息檢索專家Gerald Salton提出了向量空間模型（Vector Space Model），從此，文本檢索引入了倒排索引（Inverted index）以及向量空間模型。另外，他還創(chuàng)立了基于貝葉斯統(tǒng)計（Bayesian statistics）的布爾方法（Boolean retrieval method）和簡單概率獲取模型（Simple probabilistic retrieval models）。雖然已經(jīng)經(jīng)過了近30年的歷史，這些技術(shù)至今仍然構(gòu)成當今信息檢索系統(tǒng)以及互聯(lián)網(wǎng)搜索引擎的理論基礎。

● 上個世紀80年代，在新的人工智能技術(shù)的發(fā)展同時，產(chǎn)生了一些模擬專業(yè)文獻搜集者和領域?qū)＜业膶＜蚁到y(tǒng)。使用了對用戶建模以及自然語言處理等技術(shù)來輔助對于用戶和文檔的表示。并且產(chǎn)生了一些供研究用的原型系統(tǒng)。

● 上個世紀90年代初期，當研究者們認識到了創(chuàng)建領域知識庫的困難之后，試圖采用新的機器學習技術(shù)用于信息分析。這些技術(shù)包括神經(jīng)網(wǎng)絡、遺傳算法、符號學習等。概念語義空間技術(shù)就是在這個年代提出的，但當時處于初步研究探索階段。

● 上個世紀90年代中期之后，隨著搜索引擎的普及以及網(wǎng)絡Spider（蜘蛛程序）超鏈分析等技術(shù)的發(fā)展，文本檢索系統(tǒng)已經(jīng)成為更新的并且更強大的用于網(wǎng)絡內(nèi)容的搜索工具。概念語義空間技術(shù)的研究取得突破，并在美國的數(shù)字圖書館領域得到應用。

● 在過去10來年，統(tǒng)計學習方法改變了手工建立語法和知識庫以及文本目錄索引的狀況，通過對大量已標注的和未標注的自然語料的訓練可以部分或全部自動地完成上述過程。 (ccw)