谷歌開源Live Transcribe語(yǔ)音引擎:為長(zhǎng)對(duì)話提供字幕
原標(biāo)題:Google開源Live Transcribe的語(yǔ)音引擎,為長(zhǎng)篇對(duì)話提供字幕
8月18日,谷歌宣布開源Android語(yǔ)音識(shí)別轉(zhuǎn)錄工具Live Transcribe的語(yǔ)音引擎。
這家公司希望這樣做可以讓任何開發(fā)人員為長(zhǎng)篇對(duì)話提供字幕,減少因網(wǎng)絡(luò)延遲,斷網(wǎng)等問題導(dǎo)致的溝通障礙。源代碼現(xiàn)在可以在GitHub上獲得。這意味著無(wú)論你是出國(guó)或是與新朋友見面,Live Transcribe都可以幫助你進(jìn)行溝通。
谷歌于今年2月發(fā)布了Live Transcribe。該工具使用機(jī)器學(xué)習(xí)算法將音頻轉(zhuǎn)換為實(shí)時(shí)字幕,與Android即將推出的Live Caption功能不同,Live Transcribe是一種全屏體驗(yàn),使用智能手機(jī)的麥克風(fēng)(或外接麥克風(fēng)),并依賴于Google Cloud Speech API。Live Transcribe可以用70多種語(yǔ)言和方言標(biāo)題實(shí)時(shí)口語(yǔ)。另一個(gè)主要區(qū)別是Live Transcribe可在18億臺(tái)Android設(shè)備上使用(當(dāng)Live Caption在今年晚些時(shí)候推出時(shí),它只適用于部分Android Q設(shè)備)。
在云上工作
谷歌的Cloud Speech API目前不支持發(fā)送無(wú)限長(zhǎng)的音頻流。此外,依賴云意味著網(wǎng)絡(luò)連接,數(shù)據(jù)成本和延遲方面都有潛在問題。
結(jié)果,語(yǔ)音引擎在達(dá)到超時(shí)之前關(guān)閉并重新啟動(dòng)流請(qǐng)求,包括在長(zhǎng)時(shí)間靜默期間重新開始會(huì)話并且每當(dāng)語(yǔ)音中檢測(cè)到暫停時(shí)關(guān)閉。在會(huì)話之間,語(yǔ)音引擎還在本地緩沖音頻,然后在重新連接時(shí)發(fā)送它。因此,谷歌避免了截?cái)嗟木渥踊騿卧~,并減少了會(huì)話中丟失的文本量。
為了降低帶寬需求和成本,谷歌還評(píng)估了不同的音頻編解碼器:FLAC,AMR-WB和Opus。FLAC(無(wú)損編解碼器)可以保持準(zhǔn)確性,不會(huì)節(jié)省太多數(shù)據(jù),并且具有明顯的編解碼器延遲。AMR-WB可以節(jié)省大量數(shù)據(jù),但在嘈雜的環(huán)境中準(zhǔn)確度較低。
與此同時(shí),Opus允許數(shù)據(jù)速率比大多數(shù)音樂流媒體服務(wù)低許多倍,同時(shí)仍保留音頻信號(hào)的重要細(xì)節(jié)。谷歌還會(huì)在長(zhǎng)時(shí)間的靜音期間使用語(yǔ)音檢測(cè)來(lái)關(guān)閉網(wǎng)絡(luò)連接。
總體而言,該團(tuán)隊(duì)能夠?qū)崿F(xiàn)“在不影響準(zhǔn)確性的情況下,將數(shù)據(jù)使用量減少10倍”。
為了比Cloud Speech API更進(jìn)一步減少延遲,Live Transcribe使用自定義Opus編碼器。編碼器恰好提高了比特率,使“延遲在視覺上無(wú)法區(qū)分發(fā)送未壓縮的音頻”。
Live Transcribe語(yǔ)音引擎功能
谷歌列出了語(yǔ)音引擎的以下功能(不包括說話人識(shí)別):
無(wú)限流媒體。
支持70多種語(yǔ)言。
可以簡(jiǎn)化網(wǎng)絡(luò)丟失(在網(wǎng)絡(luò)和Wi-Fi之間切換時(shí))。文字不會(huì)丟失,只會(huì)延遲。
強(qiáng)大的擴(kuò)展網(wǎng)絡(luò)損耗。即使網(wǎng)絡(luò)已經(jīng)停電數(shù)小時(shí),也會(huì)重新連接。當(dāng)然,中國(guó)+藝術(shù)+都市網(wǎng)沒有連接就不能進(jìn)行語(yǔ)音識(shí)別。
可以輕松啟用和配置Opus,AMR-WB和FLAC編碼。
包含文本格式庫(kù),用于可視化ASR置信度,發(fā)言人ID等。
可離線模型擴(kuò)展。
內(nèi)置支持語(yǔ)音檢測(cè)器,可在延長(zhǎng)靜音期間用于停止ASR,中國(guó)+藝術(shù)+都市網(wǎng)以節(jié)省資金和數(shù)據(jù)。
內(nèi)置支持揚(yáng)聲器識(shí)別,可根據(jù)揚(yáng)聲器編號(hào)標(biāo)記或著色文本。
該文檔指出這些庫(kù)與生產(chǎn)應(yīng)用程序Live Transcribe中運(yùn)行的庫(kù)“幾乎相同”。谷歌已對(duì)其進(jìn)行了“廣泛的現(xiàn)場(chǎng)測(cè)試和單元測(cè)試”,但測(cè)試本身并非開源。但谷歌確實(shí)提供了APK,因此開發(fā)者可以在不構(gòu)建任何代碼的情況下試用該庫(kù)。(雷鋒網(wǎng)(公眾號(hào):雷鋒網(wǎng))雷鋒網(wǎng)雷鋒網(wǎng))
via:android.com venturebeat
- ·產(chǎn)業(yè)互聯(lián)網(wǎng)落地最佳實(shí)踐案例:慧聰集團(tuán)的“垂..
- ·2019中國(guó)100大跨國(guó)公司榜單:騰訊第5 跨國(guó)指數(shù)..
- ·倪飛:紅魔5G游戲手機(jī)全系標(biāo)配LPDDR5
- ·舊款蘋果 iPod Video 播放器“受熱捧”,定價(jià)..
- ·OPPO Reno3 5G跑分曝光 天璣1000L成績(jī)亮眼
- ·十分“優(yōu)惠” 全新豐田威爾法皇冠運(yùn)損車現(xiàn)身..
- ·德意志戰(zhàn)車凱颯提前卸任 西門子新任CEO明夏揭曉
- ·10萬(wàn)出頭買帶大梁的大型SUV!新一代哈弗H5將..
- ·ChatGPT Plus上調(diào)GPT-4使用量限制
- ·蔚來(lái)汽車美國(guó)繼續(xù)裁員62人 涉及多個(gè)部門





