近十幾年來，隨著數據庫系統的廣泛流行以及計算機技術的快速發展，人們利用信息技術生產和搜集數據的能力大幅度提高。千萬個數據庫被用于商業管理、政府辦公、科學研究和工程開發等，特別是網絡系統的流行，使得信息爆炸性增長。這一趨勢將持續發展下去。大量信息在給人們帶來方便的同時也帶來了一大堆的問題：第一是信息過量，難以消化;第二是信息真假難以辨認;第三是信息安 全難以保證;第四是信息形式不一致，難以統一處理。面對這種狀況，一個新的挑戰被提出來：如何才能不被信息的汪洋大海所淹沒，從中及時發現有用的知識，提高信息利用率呢?這時出現了新的技術——數據挖掘(data mining)技術便應用而生了。

數據挖掘是為了解決傳統分析方法的不足,并針對大規模數據的分析處理而出現的。數據挖掘通過在大量數據的基礎上對各種學習算法的訓練,得到數據對象間的關系模式,這些模式反映了數據的內在特性,是對數據包含信息的更高層次的抽象。目前,在需要處理大數據量的科研領域中,數據挖掘受到越來越多的關注,同時,在實際問題中,大量成功運用數據挖掘的實例說明了數據挖掘對科學研究具有很大的促進作用。數據挖掘可以幫助人們對大規模數據進行高效的分析處理,以節約時間,將更多的精力投入到更高層的研究中,從而提高科研工作的 效率。

數據挖掘包括許多步驟：從大規模數據庫中(或從其他來源)取得數據;選擇合適的特征屬性;挑選合適的樣本策略;剔除數據中不正常的數據并補足不夠的部分;用恰當的降維、變換使數據挖掘過程與數據模型相適合或相匹配;辨別所得到的是否是知識則需將得到的結果信息化或可視化，然后與現有的知識相結合比較。這些步驟是從數據到知識的必由之路。每一步驟都可能是成功的關鍵或失敗的開始。

數據挖掘技術本身就是當前數據技術發展的新領域，文本挖掘則發展歷史更短。傳統的信息檢索技術對于海量數據的處理并不盡如人意，文本挖掘便日益重要起來，可見文本挖掘技術是從信息抽取以及相關技術領域中慢慢演化而成的。

北京理工大學大數據搜索與挖掘實驗室張華平主任研發的nlpir-parser大數據語義智能分析技術是對語法、詞法和語義的綜合應用。nlpir大數據語義智能分析平臺是根據中文數據挖掘的綜合需求,融合了網絡精準采集、自然語言理解、文本挖掘和語義搜索的研究成果,并針對互聯網內容處理的全技術鏈條的共享開發平臺。

nlpir-parser大數據語義智能分析平臺主要有精準采集、文檔轉化、新詞發現、批量分詞、語言統計、文本聚類、文本分類、摘要實體、智能過濾、情感分析、文檔去重、全文檢索、編碼轉換等十余項功能模塊，平臺提供了客戶端工具，云服務與二次開發接口等多種產品使用形式。各個中間件api可以無縫地融合到客戶的各類復雜應用系統之中，可兼容windows，linux， android，maemo5, freebsd等不同操作系統平臺，可以供java，python，c，c#等各類開發語言使用。

隨著云計算、移動互聯網以及物聯網等技術的發展和完善，相信大數據在各個領域的應用會越來越廣泛和深入，相關的研究也會越來越全面和深入，在信息管理領域，綜合應用數據挖掘技術和人工智能技術，獲取用戶知識、文獻知識等各類知識，將是實現知識檢索和知識管理發展的必經之路。