后端識別處理,具有對大詞匯量、獨立于說話人的健壯識別功能,簡單來說,就是能夠滿足大詞匯量,并能適應不同年齡、不同地域、不同人群、不同信道、不同終端和不同噪聲環(huán)境的應用環(huán)境。
1、語義置信度
在語音識別領域一個很重要的因素是置信度輸出,在限定詞匯量的條件下,如果客戶的提問或回答不**出限定的詞匯,ASR識別后文本的正確率可以達到95%以上。但是,一旦問題**出限定的領域或者出現集外詞,ASR的識別性能就會嚴重下降。因此,對ASR識別結果的可信度進行度量就顯得非常重要,它可以降低集外詞(OOV)帶來的不利影響。
采用的方法是利用統(tǒng)計語言模型衡量ASR識別所得到的整個句子的可信度。如果一個句子的詞誤識率比較低,構成這個句子的眾多三元短語(W1W2,W3),會比較多的出現在統(tǒng)計語言模型Trigram中,如圖9所示;反之,如果出現較多的識別錯誤,那么句子*部分的詞W1和元短語(W1,W2)將出現在Unigram或Bigram中,很少有三元短語*Trigram,如圖10所示;對于一個由若干詞W1,W2,……,Wi,……,Wn構成的句子,可根據各個詞及它所構成的短語在統(tǒng)計語言模型中出現的情況對其中每個詞打分。出現在Trigram中的可信度高,因而得分較高,出現在Bigram或Unigram中的可信度低,因而得分較低。再在各個詞得分的基礎上得到整個句子的可信度得分。若得分**某個門限,則認為句子中包含較多的識別錯誤或者集外詞,可信度較低,應當被拒識。
ASR識別后文本是由一個個詞構成的詞序列,其中某些詞對于理解整個句子有著非常重要的作用,這就是所說的關鍵詞。在這一步要做的就是提取出這些關鍵詞,形成一個關鍵詞串,作為下一步“問題理解”的輸入,這種處理同時也是為了降低“問題理解”時的難度,如圖11所示。可以把特定的對話節(jié)點看作一個問題域,針對該問題域設計關鍵詞表,預先規(guī)定在這一問題域內的關鍵詞。這個關鍵詞表是ASR系統(tǒng)中相應問題域下的詞匯表的子集,記錄了每個關鍵字的漢字串,類標識和詞序號等信息。在提取關鍵詞時,只需要在句子中進行搜索,檢測到出現在關鍵表的關鍵詞,記錄它們出現的位置和次序。比如一個句子“你好,我想問一下,我那個嗯,快遞是不是寄錯地址了?”,這里可以提取出關鍵漢字串“問一下”、“快遞”、“寄錯地址”。對于不包含關鍵詞的句子,例如“啊,可以說給我打了,里頭哭了?!保砂阉曌鳠o效或者錯誤的輸入,給出相應的提示。
以對話節(jié)點來分類語料,可較好的捕獲用戶說話的習慣和領域用語,某一節(jié)點場景下機器人與客戶的對話可限定在某個問題域內進行。對句子進行準確的理解,并不需要考慮句子中的每個詞,只需對幾個蘊含關鍵概念的關鍵詞匯進行理解就能把握句子的意義。關鍵詞識別技術從語句中抽取用戶關心的關鍵信息,能夠降低對識別系統(tǒng)和環(huán)境噪聲的要求。
2、語料統(tǒng)計分析
利用日志數據,學習用戶的語言使用習慣,從日志中自動抽取語意標注數據和構建領域語言模型。以對話節(jié)點來分類語料,基于不同典型節(jié)點的語料進行詞表抽取。
針對每個問題域,需要確定有限大小的“詞匯表”,并通過大量的訓練語料訓練出相應的基于詞類的統(tǒng)計“語言模型”。“關鍵詞表”可以從“詞匯表”中提煉得到,它記錄的是對于理解問題有實質作用的詞匯及其相關信息。此外還要在“關鍵詞表”的基礎上形成“關鍵詞類型組合模板庫”,其中每個模板代表問題域內的一類具體問題,此模板庫在“問題理解”過程中使用。
以快遞物流領域的對話語料為基礎。對話過程是兩個人通過電話以一問一答的形式進行的,電話一端代表客戶,另一端是智能語音客服機器人,客戶端說話方式完全是自由的和隨意的。
為了表述方便,我們首先給出如下定義:
定義1 對話語句(Utterance) 從對話者一方開始講話到講完停下或被對方強行打斷為止,所說的全部內容稱作一個對話語句。
定義2 對話子句(Dialog sentence) 一個對話語句中所包含的分句,稱作對話子句。
例如: 嗯|你好/我想查|一下/我|那個|快遞|什么|時候|能|到/現在|還|沒|送來
這一段文字從開始到結束是一個對話語句,在這個對話語句中包含有4個對話子句(由“/”隔開),每一個子句中包含多個詞(由“|”隔開)。
其中,詞典標注采用人工方式,語料標注采用機器自動標注與人工核對相結合的方法。當**次收集語料時,詞典是不存在的,我們只需要對整理的語料進行分詞,然后提取所有的詞匯,并依據這些詞匯建立相應的詞典。詞典一旦建立之后,當領域轉移或擴展時,系統(tǒng)只需將新收集的語料中在詞典中沒有的所有新詞提取出來,然后在人的輔助下決定是否將這些新詞添加到詞典中去。這樣,對于應用領域接近或同一領域擴展時,只需要處理少數新的詞匯即可,而避免了大量的重復工作。
長沙朗深信息技術有限公司專注于智能電話機器人,呼叫中心中間件,跨界呼叫中心等, 歡迎致電 13973187797