淺談搜索引擎如何判斷冗余內容并進行消重

作者：佚名   時間：2015-05-15   分享到：

　　我們要進行網站優化排名，就要了解搜索引擎，當然搜索引擎牽涉的內容很多，一些算法我們很多時候不一定要知道詳細的具體的算法，只需要知道原理就可以了，我們做網站的時候特別是在進行內容建設的時候，才能知道哪些是搜索喜歡的做法，今天主要簡單的說說搜索引擎消重方面的東西。

　　網絡冗余內容的產生

　　這里所謂的冗余數據是指網頁內容完全相同的數據或者在大文本字段非常相似的數據。出現這種情況往往是網站之間進行文章的相互轉載、發布者多次發布相同或者相似的內容造成的。特別是一些新聞，大家知道這類頁面來源于各個新聞網站，它們之間的相互轉載會導致大量的重復信息。或者文章的發布者在多個網站上發布同樣的信息，這樣也會出現重復內容。相信很多網站建設的新手朋友應該都有這樣的經歷，在自己網站剛建好的時候，為了讓內容豐富起來，會大量的采集別的網站的內容。

　　MD5數字指紋進行冗余數據的消重

　　針對這種情況搜索引擎會采取單MD5數字指紋技術進行數據清洗。往往很多時候，一些內容的發布者或者轉載者對文字內容進行再次的編輯改動，或者網站之間的格式不同等原因，造成這些內容在字面上很多時候也不一定完全一樣，由于MD5數字指紋技術的敏感性，只要原始字符串字符不完全一致，就會得到完全不同的MD5數字指紋，這時就需要考慮新的處理機制。這類信息都有明顯的特征，例如，對于重復的信息，雖然字面上并非完全一樣，但是內容大致相同；毫無意義的信息不是文字特別短、就是特別長等等，對這類信息的清理主要是通過將原始文本進行分詞，統計詞頻，重新按照詞頻高低排序，計算多重MD5數字指紋數組，比較多重MD5數字指紋數組前三位是否相同，如果相同則表示可能是相似數據，再計算多重MD5數字指紋數組相似度是否高于設定的閥值來決定是否是相似數據，將相似度過高的數據看作冗余數據，刪除這些冗余的信息就可以了。

　　相信大家了解了以上的內容，就知道自己做網站優化原創內容編輯的時候改如何處理了。如果我們的網站的內容做到讓搜索引擎認為是原創的不重復的，那么我們的排名就很有希望了。

　　本文由上海聯楷網絡科技有限公司（http://www.ktcbnqb.cn）原創編輯轉載請注明。