南順網絡

解決這4個難題，IoT低(dī)功耗設備也能有高(gāo)清視(shì)頻通話

解決這4個難題,IoT低(dī)功耗設備也能有高(gāo)清視(shì)頻通話

如(rú)果有人跟你聊“實時音視(shì)頻通話功能”,你會想起什麽?視(shì)頻聊天、在線課堂,還是朋(péng)友之間的(de)遊戲開黑?其實,還有一(yī)個複雜且巨大的(de)領域,有着旺盛的(de)“互動”需求,那就是 IoT 領域。

不少大廠商都紛紛布局推出了相應産品,例如(rú)在去(qù)年(nián)由“能打電話的(de)智能手表”變為(wèi)“能視(shì)頻的(de)電話手表”的(de)小天才手表;在今年(nián)2019 CES 上,多家廠商都推出了支持實時視(shì)頻的(de)智能門禁。

總體來講,希望集成實時音視(shì)頻功能的(de)低(dī)功耗智能設備有以下幾類:

▪智能手表:“能打電話”已成很多兒童智能手表的(de)标配,而“能視(shì)頻通話”的(de)智能手表已經紛紛出現在海內(nèi)外市場上。

▪智能眼鏡:基于實時音視(shì)頻與後處理(lǐ)技術(如(rú) AR、計算機視(shì)覺算法)可(kě)以實現多種場景

▪智能攝像頭:安防監控、視(shì)頻交互一(yī)直是智能攝像頭的(de)重要功能

▪機器人:家庭機器人及少數公共場所的(de)機器人,需要實時音視(shì)頻功能

▪智能門禁:通過實時音視(shì)頻實現遠程安防、通話

低(dī)功耗設備上視(shì)頻通話的(de)難點

事實上,利用WebRTC方案是可(kě)以在手機上實現實時音視(shì)頻通話的(de),但如(rú)果将這套方案照搬到低(dī)功耗設備,則無法做(zuò)到。這是由于低(dī)功耗智能設備在硬件、軟件方面都與手機不同,所以對實時音視(shì)頻通信的(de)要求也有所不同,這導緻了手機的(de)方案無法直接拿來套用。

以智能手表為(wèi)例,如(rú)果要實現實時音視(shì)頻,需要滿足以下要求:

1. 功耗要低(dī)

很多低(dī)功耗智能設備的(de)電池容量,以及可(kě)支持的(de)功率有限。另一(yī)方面,很多智能設備采用的(de) CPU 性能有限,在進行音視(shì)頻通話的(de)同時,還要支持系統、常駐功能的(de)運轉。一(yī)般的(de)解決方案,無法做(zuò)到稍長(cháng)時間的(de)視(shì)頻通話,最大的(de)障礙就在于能耗。随着通話時長(cháng)的(de)積累,高(gāo)負荷運轉的(de)設備會發熱。所以低(dī)功耗十分必要。

2. 實時音視(shì)頻不可(kě)占用過多內(nèi)存

智能設備的(de)內(nèi)存有的(de)高(gāo),有的(de)低(dī),要看是什麽類型的(de)設備。但智能手表這類産品的(de)內(nèi)存一(yī)般都不高(gāo)。在這樣的(de)背景下,如(rú)果要在設備上進行實時音視(shì)頻通話時,不能占用太多內(nèi)存資源,否則會影響設備的(de)正常使用。

3. 跨平台、跨設備的(de)通話支持

智能設備并不像手機這樣普及,所以當你在通過智能手表、智能眼鏡與他人通話時,對方所使用的(de)可(kě)能是手機或 Web 浏覽器。所以還需要支持智能設備與其它平台的(de)通話。

4. 提供高(gāo)音質高(gāo)畫質體驗

音視(shì)頻通話的(de)質量始終是關鍵,畫面的(de)卡頓、模糊,聲音出現回聲、噪聲都是用戶無法接受的(de)。但是,一(yī)套音視(shì)頻方案在别人的(de)智能手表上跑通了的(de)時候,并不意味着完全能用于你的(de)設備。

還是以 WebRTC 為(wèi)例,它本身具備回聲消除模塊,但一(yī)個回聲消除算法的(de)設計實現與設備、系統狀态緊密相關。 聲音經過揚聲器傳導到麥克風,經過了多少路徑就被處理(lǐ)多少次。不同的(de)設備材質,甚至設備發熱,都會導緻聲傳導特性不一(yī)樣,都會導緻回聲消除算法不一(yī)樣。這是設備的(de)差異帶來的(de)影響。

另一(yī)方面,回聲消除裏有兩大模塊,自(zì)适應濾波和(hé)非線性處理(lǐ)。自(zì)适應濾波前置第一(yī)個模塊就是延時搜索。延時估計要在一(yī)定範圍內(nèi)估計,就是要有一(yī)個預先設計的(de)delay值,如(rú)果在一(yī)個很大的(de)範圍內(nèi)搜索,會極大消耗CPU資源。而Android系統的(de)線程調度設計存在特殊性,一(yī)旦資源搶占,會在Android底層buffer産生延時,可(kě)能會導緻之前預設的(de)delay值不準。而低(dī)功耗智能設備的(de)系統存在很多細微差異,就更需要有針對性地(dì)優化算法了。

所以,在低(dī)功耗智能設備上實現視(shì)頻通話,并不是用一(yī)套通用的(de) demo,通過短(duǎn)短(duǎn)幾步的(de)配置、接口調用就能實現的(de)。想要好的(de)通話體驗,都需要圍繞你的(de)設備進行調優。這也是難點之一(yī)。

聲網Agora低(dī)功耗智能設備場景方案

而針對以上大部分問題,尤其是針對低(dī)功耗設備的(de)硬件、軟件系統的(de)特點,聲網對 Agora SDK 進行了多方面的(de)優化,包括編碼算法、降噪算法,幀率和(hé)分辨率的(de)優化算法,推出了低(dī)功耗版本 Agora SDK ,支持低(dī)功耗智能設備與其它設備與平台進行視(shì)頻通話。

聲網低(dī)功耗智能設備場景方案的(de)特點:

1. 跨平台實時語音通話

聲網Agora創建了基于UDP協議的(de)軟件定義實時網絡SD-RTN™,并在全球部署的(de)近200個數據中心。通過 Agora SD-RTN™虛拟通信網絡,集成聲網方案的(de)低(dī)功耗設備,可(kě)以與 Web 浏覽器、手機端進行實時的(de)音視(shì)頻通話。

2. 低(dī)功耗、低(dī)內(nèi)存占用

占用的(de)內(nèi)存小,正常通話發熱量小,可(kě)以保證用戶之間的(de)較長(cháng)時間的(de)正常通話,經測試在小天才智能手表上可(kě)進行15分鍾的(de)長(cháng)時間視(shì)頻通話。 

3. 支持主流軟硬件平台

該方案适用于基于 ARM 架構、Android 系統平台的(de)低(dī)功耗智能設備,隻需要在集成後調優setVideoProfile、setAudioProfile參數即可(kě)正常通話。

目前,聲網智能設備低(dī)功耗 SDK 已經應用于多類智能硬件産品上,包括智能手表、智能眼鏡、智能音箱、智能攝像頭、機器人、智能門禁等 IoT 設備,被集成于小天才、亮(liàng)亮(liàng)視(shì)野、小米等多個品牌的(de)産品中。

編輯:--史志成