科大訊飛榮獲OpenASR國際低資源多語種語音識別挑戰賽冠軍
來源：中金在線
?
2021-11-18 15:04:09
11月10日，由美國國家標準與技術研究院NIST發起的OpenASR挑戰賽落下帷幕，科大訊飛-中科大語音及語言信息處理國家工程實驗室聯合團隊參加了所有15個語種受限賽道和7個語種非受限賽道，全部取得第一。
繼前不久榮獲多語言理解評測XTREME冠軍之后，科大訊飛在多語種領域再次取得突破，在探索人機交互更自然、人人溝通無障礙的征程中又邁出了堅實的一步，也為中國多語種語音語言技術趕超國際先進水平、中國智能制造的全球化奠定了堅實的基礎。
從大語種向低資源多語種拓展
近年來，隨著深度學習技術的進步，漢語、英語等大語種語音識別技術日趨成熟，并獲得廣泛的應用。
相比之下，小語種語音識別因其語音數據資源難以獲取、難以標注、難以評估、語言專家稀缺等原因，已經成為世界性的研究難題，距離實用門檻仍有較大差距。
與NIST此前組織的其他賽事相比，OpenASR更加關注小語種語音技術，探索如何使用少量的數據達到較好的效果，同時考察低資源語音識別基礎算法在多個語種上的推廣性。自2020年啟動以來，吸引了加拿大蒙特利爾信息科技研究中心、新加坡科技研究局、清華大學、騰訊等國內外知名研究機構和企業參與其中。
本次比賽共包含15個語種，涵蓋受限賽道、受限附加賽道和非受限賽道。
表1：15個語種信息
其中受限賽道為各參賽單位必選項，每個語種只能使用組委會提供的10小時標注語音識別數據，受限附加賽道在受限賽道的基礎上允許使用開源的預訓練模型，而非受限賽道可以使用受限數據以外的數據。
科大訊飛-中科大聯合團隊在比賽中提出了基于語音和文本統一空間表達的半監督語音識別框架(UnifiedSpatialRepresentationSemi-supervisedASR，USRS-ASR)，獲此佳績也驗證了該算法良好的推廣性。
圖1：聯合團隊全部15個語種受限賽道成績
圖2：聯合團隊參加的7個語種非受限賽道成績
領先技術亮相國際賽場
對于低資源語種而言，除了語音數據量較小外，其發音詞典大小、語料豐富性、標注準確度都遠不及常規水平。本次比賽中各個語種數據主要來自電話信道，口語化特征十分明顯，對話風格非常自由，也使得語音識別難上加難。
在受限賽道上，由于每個語種只有10小時語音數據，如何使用少量文本數據，利用無監督的方法增加語音訓練數據的多樣性至關重要。
科大訊飛-中科大聯合團隊創新運用Flow-TTS語音合成進行訓練數據擴增，并使用語音屬性解耦技術保證合成語音的多樣性。結果顯示，使用上述無監督數據擴增方案，能夠穩定、顯著地提升低資源語音識別任務的效果。
而在非受限賽道上，雖然參賽者可以利用公開的語音數據，但數據總量仍只有數百小時，而且語音數據和文本數據的量級差距十分明顯，這對于端到端識別框架來說，弊端更為明顯。
為了在端到端統一框架下，充分使用少量語音數據和海量文本數據，科大訊飛-中科大聯合團隊提出了基于語音和文本統一空間表達的半監督語音識別框架USRS-ASR。
首先，對于海量文本數據的使用，創新設計了文本掩碼語言模型任務、合成數據語音識別兩個目標，兩個任務聯合訓練以充分利用海量無監督文本；其次，設計了共享語言解碼模塊，實現了語音和文本隱層表達空間的統一，大大緩解了低資源語種的數據稀疏問題。
圖3：USRS-ASR框架示意圖
為全球提供多語種智能語音解決方案
就在不久前，工信部正式批復同意成立國家智能語音創新中心、國家高端智能化家用電器創新中心，科技創新正不斷引領產業升級。
值得注意的是，在這兩家國家級創新中心依托公司的股東名單中，“科大訊飛”均赫然在列。
持續致力于打造源頭技術創新策源地，科大訊飛正不斷追尋“頂天立地”的產業夢想。
多語種語音語言技術是萬物互聯時代實現人機交互的關鍵技術，也是實現“一帶一路”語言大互通的基礎技術。
從2014年開始，科大訊飛就一直在該方向的源頭技術創新及產業化應用上持續投入，并不斷挑戰實際應用中的技術難題。
經過多年的技術積累，除了中英以外，科大訊飛還具備了69種語言的語音識別能力(其中35個語種準確率已超過90%)，并已在新加坡、俄羅斯、印度、日本等國家部署了海外站點，為各地開發者提供語音識別、語音合成、機器翻譯、圖文識別等語音語言服務，所有服務均在科大訊飛開放平臺開放。
多語種技術有力支撐了科大訊飛智能硬件產品創新。在翻譯終端方面，2016年11月發布的科大訊飛智能翻譯硬件，開創了AI翻譯機新品類；在會議同傳方面，2016年11月推出的訊飛聽見多語種字幕同傳系統，支持日韓法西等多國語言的同聲傳譯；在錄音筆方面，科大訊飛于2019年5月發布智能錄音筆，次年升級支持8種語言轉寫能力，2021年日本版智能錄音筆VOITER系列在日本一經上線，就取得單月銷售破千臺的亮眼成績。
除自身產品以外，科大訊飛也積極為“中國制造”出海產品提供自主可控解決方案。
在手機、家電方面，為國內眾多手機廠商提供包括中英在內的多語種語音識別、語音合成能力解決方案，并聯合海爾研發多語種識別系統，助力其拓展東南亞市場；在車載交互方面，與上汽、長安、奇瑞等國內主要出海汽車提供商，以及俄羅斯汽車工程研究院(NAMI)等海外車廠開展多語種項目合作，覆蓋英語、俄語、日語、泰語、西班牙語、意大利語等數十個語種。
此外，科大訊飛的多語種相關技術能力也已應用于北京2022年冬奧會官方APP(冬奧通)，助力冬奧信息溝通無障礙。
作為人工智能國家隊，科大訊飛將繼續堅持源頭核心技術創新，聯合國內眾多研究機構與企業，構建多語言技術的系統性創新研發生態，共同推動我國多語言技術進步與應用落地。
