靈玖：Nlpir Parser智能語義平臺提升文本挖掘效果

時間：2017-06-19

　　大數(shù)據(jù)挖掘是伴隨者互聯(lián)網(wǎng)的普及應用和傳統(tǒng)信息檢索技術(shù)的不足提出并發(fā)展起來的。大數(shù)據(jù)挖掘是從大數(shù)據(jù)中發(fā)現(xiàn)有用的模式(其中的數(shù)據(jù)可以存放在數(shù)據(jù)庫、數(shù)據(jù)倉庫或其他信息庫中)，它旨在解決數(shù)據(jù)挖掘、信息檢索、知識抽取以及較廣泛的商業(yè)問題。
　　作為大數(shù)據(jù)挖掘領(lǐng)域中的一個重要研究分支，文本挖掘與處理主要研究從非結(jié)構(gòu)化及半結(jié)構(gòu)化的海量Web文本信息中挖掘有**的信息，處理其中可能隱藏著的概念及其聯(lián)系，并完成可能的知識發(fā)現(xiàn)。
　　文本挖掘與處理的主要對象是自然語言。自然語言的多樣性和復雜性決定了計算機往往很難實現(xiàn)對自然語言的完全理解。在語言的深層挖掘上，目前的語言學研究和計算語言學研究尚不能充分地理解語言的內(nèi)在含義，而精細語言分析也往往并不能充分解決復雜的現(xiàn)實問題。因此，淺層語言分析可能是目前可行的一條研究路線。一方面，它能夠針對需求抽取語言表層之下特定的關(guān)鍵信息;另外一方面，它兼顧了分析結(jié)果的準確性和系統(tǒng)的實用性?！　§`玖軟件Nlpir Parser智能語義平臺是針對互聯(lián)網(wǎng)內(nèi)容處理的需要，融合了自然語言理解、網(wǎng)絡搜索和文本挖掘的技術(shù)，提供了用于技術(shù)二次開發(fā)的基礎(chǔ)工具集。開發(fā)平臺由多個中間件組成，各個中間件API可以無縫地融合到客戶的各類復雜應用系統(tǒng)之中，也可以作為小規(guī)模數(shù)據(jù)的處理加工工具。
　　1、漢語詞法分析
　　漢語詞法分析中間件能對漢語語言進行拆分處理，是中文信息處理*的**部件。靈玖綜合了各家所長，采用條件隨機場(Conditional Random Field,簡稱CRF)模型，分詞準確率接近99%，具備準確率高、速度快、可適應性強等優(yōu)勢;特色功能包括：切分粒度可調(diào)整，融合20余部行業(yè)專有詞典，支持用戶自定義詞典等。
　　2、新語自動發(fā)現(xiàn)
　　靈玖采用基于語義的統(tǒng)計語言模型，所處理的文檔不受行業(yè)領(lǐng)域限制，能夠有效地挖掘出新出現(xiàn)的特征詞匯，所輸出的詞匯可以配以權(quán)重。
　　3、文本內(nèi)容去重
　　文本內(nèi)容去重中間件能夠?qū)ξ谋具M行查重處理，同時能找出所有的重復文件。能夠快速準確地判斷文件集合或數(shù)據(jù)庫中是否存在相同或相似內(nèi)容的記錄。靈玖采用高效的文章指紋算法，能夠在較短的時間內(nèi)與歷史指紋庫進行對比，從而發(fā)現(xiàn)重復記錄。
　　4、文本分類過濾
　　文本過濾功能能夠從大量文本中快速識別和過濾出符合特殊要求的信息，可應用于品牌報道監(jiān)測、垃圾信息屏蔽、敏感信息審查等領(lǐng)域。
　　5、文本聚類
　　文本聚類是基于相似性算法的自動聚類技術(shù)，自動對大量無類別的文檔進行歸類，把內(nèi)容相近的文檔歸為一類，并自動為該類生成標題和主題詞。適用于自動生成熱點輿論專題、重大新聞事件追蹤、情報的可視化分析等諸多應用。
　　6、文檔關(guān)鍵詞提取
　　采用基于語義的統(tǒng)計語言模型，所處理的文檔不受行業(yè)領(lǐng)域限制，且能夠識別出較新出現(xiàn)的新詞語，所輸出的詞語可以配以權(quán)重。
　　7、文本摘要
　　自動摘要中間件不僅可以針對一篇文檔生成連貫流程的摘要，還能夠?qū)⒕哂邢嗤黝}的多篇文檔去除冗余、并生成一篇簡明扼要的摘要;用戶可以自由設定摘要的長度、百分比等參數(shù);處理速度達到每秒鐘20篇。
　　8、網(wǎng)頁正文提取
　　靈玖基于統(tǒng)計分布規(guī)律模型判定網(wǎng)頁的特征，所適用的網(wǎng)頁不受類型和領(lǐng)域的限制，不需要配置抽取規(guī)則，能夠全自動地對海量互聯(lián)網(wǎng)頁信息進行高效處理。
　　9、全文搜索
　　全文搜索中間件內(nèi)核經(jīng)過精心設計，具有高擴展性和高通用性。可支持文本、數(shù)字、日期、字符串等各種數(shù)據(jù)類型的高效索引，支持豐富的查詢語言和查詢類型，支持少數(shù)民族語言的搜索。
　　Nlpir Parser智能語義平臺涉及到的文本挖掘與處理技術(shù)也多是以自然語言表示的文本信息，從中挖掘出諸如新特征詞、有意義串、關(guān)鍵詞等，并在此基礎(chǔ)上完成對文本信息的信息抽取、分類、聚類、檢索、話題跟蹤等處理工作。

詞條
詞條說明
NLPIR大數(shù)據(jù)處理技術(shù)實現(xiàn)多種類智能挖掘
當今,信息技術(shù)為人類步入智能社會開啟了大門,帶動了互聯(lián)網(wǎng)、物聯(lián)網(wǎng)、電子商務、現(xiàn)代物流、網(wǎng)絡金融等現(xiàn)代服務業(yè)發(fā)展,催生了車聯(lián)網(wǎng)、智能電網(wǎng)、新能源、智能交通、智能城市、**裝備制造等新興產(chǎn)業(yè)發(fā)展.現(xiàn)代信息技術(shù)正成為各行各業(yè)運營和發(fā)展的引擎.但這個引擎正面臨著大數(shù)據(jù)這個巨大的考驗.各種業(yè)務數(shù)據(jù)正以幾何級數(shù)的形式爆發(fā),其格式、收集、儲存、檢索、分析、應用等諸多問題,不再能以傳統(tǒng)的信息處理技術(shù)加以解決,對
靈玖軟件：NLPIR文本智能挖掘提速2.0
隨著中國互聯(lián)網(wǎng)新一輪的技術(shù)浪潮的到來，大數(shù)據(jù)已然從云端深入到社會的方方面面，并通過對數(shù)據(jù)的動態(tài)分析及洞察預測，發(fā)揮著為企業(yè)決策提供*依據(jù)的積極作用。大數(shù)據(jù)不僅變革了互聯(lián)網(wǎng)行業(yè)本身，同時也引發(fā)了互聯(lián)網(wǎng)相關(guān)產(chǎn)業(yè)鏈的重構(gòu)。隨著數(shù)字化技術(shù)的創(chuàng)新與應用，行業(yè)運作模式也被大數(shù)據(jù)悄然改寫。互聯(lián)網(wǎng)進入Web2. 0時代以來，社交媒體成為傳播主流，著重內(nèi)容的分享、互動。傳播內(nèi)容經(jīng)歷了文字、圖文、音頻、短視頻、
Nlpir Parser智能語義平臺全文搜索
全文索引用于處理大文本集合,利用它人們可以在海量文本中快速獲取需要的信息。全文檢索系統(tǒng)是按照全文檢索理論建立起來的用于提供全文檢索服務的軟件系統(tǒng)。一般來說，全文檢索需要具備建立索引和提供查詢的基本功能，此外現(xiàn)代的全文檢索系統(tǒng)還需要具有方便的用戶接口、面向WWW的開發(fā)接口、二次應用開發(fā)接口等等。功能上，全文檢索系統(tǒng)**具有建立索引、處理查詢返回結(jié)果集、增加索引、優(yōu)化索引結(jié)構(gòu)等等功能，外圍則由各種不
大數(shù)據(jù)LJParser文本語義分析系統(tǒng)
隨著計算機技術(shù)和網(wǎng)絡技術(shù)的*發(fā)展，互聯(lián)網(wǎng)上共享的文本呈海量趨勢增長，包括各種環(huán)境下的大文本和社交媒體文本等。如何有效存儲、管理、檢索和使用這些文本數(shù)據(jù)，是擺在人們面前巨大的挑戰(zhàn)和亟待解決的研究問題。文本語義分析與挖掘是解決上述問題的基礎(chǔ)。互聯(lián)網(wǎng)大環(huán)境下的共享文本具備特殊的屬性:1)半結(jié)構(gòu)化;2)多尺度;3)海量;4)復雜關(guān)聯(lián);5)多樣化。LJParser文本語義分析系統(tǒng)結(jié)合人工智能、統(tǒng)計分析