BIGO從2014年創立至今一直聚焦在全球范圍提供音視頻服務，短短五年時間已穩定進入全球App收入排行榜前十。旗下全球視頻直播社區Bigo live，短視頻內容創作平臺Likee，音視頻通訊imo服務于全球150個國家的4億多用戶，已形成了涵蓋「實時多人語音/視頻+直播+點播」全面完善的音視頻產品矩陣。
BIGO能在全球音視頻業務領域高歌猛進，與在音視頻技術領域多年的深厚積累是密不可分的。回顧過去十年，YY一直都是國內互聯網業界音視頻技術的開拓者與領軍者。2008年YY語音的巨大成功，2010年開創音視頻直播，2017年YY Live贏得移動音視頻直播的千播大戰，再到2018年孵化的游戲直播“虎牙”在紐交所上市，到2020年海外直播BigoLive持續進入全球App收入排行榜前十，Likee成為全球用戶規模第二的短視頻平臺，都離不開音視頻技術強大的支撐。BIGO音視頻技術從創立初就站在YY行業領先的音視頻技術的基礎之上，針對全球復雜多樣的終端分布與網絡環境，經過多年三大超大規模核心業務在真實場景下的千錘百煉，進一步沉淀出了針對全球當地環境極致優化的BIGO音視頻技術整體解決方案。
BIGO全球音視頻技術整體解決方案的核心能力包括：
a>超大服務規模：單月服務的音視頻時長超過100,000,000,000分鐘，在全球范圍內數一數二
b>支持海量用戶同時在線：提供千萬人同時在線的實時視頻互動服務
c>優質服務能力：在全球復雜網絡環境下提供QoE/QoS行業領先的優質音視頻服務
d>高性價比：相同服務條件下，平均成本僅為業界通用水平的50%
接下來將從「音視頻編解碼」，「音視頻傳輸介紹」和「音視頻基礎設施」三個角度深入剖析BIGO音視頻的十年技術積累。
BIGO音視頻編解碼技術
首先音視頻編解碼技術對于獲得清晰、流暢的互動體驗非常關鍵。編解碼算法通過去除音視頻內容的時域、空域、感知域等冗余，在低帶寬的情形下使視頻也能達到較高的清晰度，但是編解碼算法在實用時，也面臨著一些挑戰：1、如何用有限的計算資源，及時處理千萬級別視頻的編碼;2、視頻內容千差萬別，如何適應不同的內容，以發揮編碼算法的最大效用。
Bigo通過自研編碼器、自適應編碼、自適應降噪等技術，有效應對了上述挑戰，提升了相關產品的音視頻基礎體驗。在此，重點介紹自研編碼器與自適應編碼技術。
1、自研編碼器技術
在全球復雜的網絡環境下，用戶對視頻畫質提升的需求日益增加，如何以更低的碼率更快的速度提供更高的畫質，這對編碼器技術提出了挑戰，x265編碼器是業界公認的優秀HEVC開源編碼器，相對于上一代編碼器x264，其在同等編碼速度及畫質條件下能夠節約40+%的碼率，因此被大量音視頻業界公司集成，以大幅改善視頻基礎體驗。作為一種視頻基礎技術，BIGO技術認為x265的編碼性能并未發揮HEVC標準的壓縮極致，因此，我們自主研發了Bigo265編碼器。 以下是Bigo265在不同類型測試序列上的編碼表現，與x265的veryslow檔相比，在5倍加速的情況下，平均可以節省15%的碼率，達到業界領先水平。
我們在Bigo Likee測試集上對比了Bigo265 與其它標準編碼器的壓縮性能，如下表所示，平均情況下，Bigo265可以節省37%的碼率，同時加速1.6倍。
除此之外，我們在MSU編碼器大賽的測試條件下對Bigo265進行了評估，如下圖所示，可以看出Bigo265 已經達到了近年MSU編碼器大賽的top級別。
這里的測試集共三類，包含了不同的分辨率和內容復雜度，覆蓋多種視頻場景;其中Likee是業務側的相關視頻，JCTVC是HM官方測試集，MSU是莫斯科大學提供的復雜混合的測試集，以上可見，Bigo265在各類測試視頻上的編碼效果均具有較大優勢。下圖是測試序列的時間和空間復雜度：
1)Bigo265技術介紹
Bigo265在H265內核的基礎上，基本上支持了HEVC標準全部的編碼工具。另外它添加了數十種高效的快速算法，在很小畫質損失的條件下極大提高了編碼速度。碼率控制方面，支持包括ABR，CBR，VFR, 多PASS，CRF等在內的多種碼率控制方法。預處理部分也做了大量的優化，可以根據視頻內容自適應來提高編碼效率。下面簡要介紹一下高性價比快速算法技術及自適應碼率控制技術。
高性價比快速算法技術，為了適應不同業務對于速度及質量的不同要求，Bigo265提供了八個編碼檔位，每個檔位快速算法性價比保持一致，如下圖速度質量曲線所示，與x265相比，Bigo265速度質量曲線近似是一條直線，且斜率遠低于x265，因此Bigo265在面對不同業務需求時，可以提供更加平滑的速度及質量，并且在相同速度下，如果編碼速度要求越快，Bigo265相比x265的優勢就越大。
自適應碼率控制技術，Bigo265可以根據視頻場景特征、內容復雜度、幀類型自適應進行碼率控制，同時通過AQ/CUTREE技術針對塊級權重調整QP，除此之外，還提供了ROI接口，可以根據用戶的ROI區域自適應調節QP，以達到碼率穩定的目的。
2)與業務側結合
Bigo265已經在Likee和BigoLive的業務上進行了部署，在節約20+%的帶寬同時獲得了更優質的用戶觀看體驗。 目前編碼器可以配置多個速度和畫質級別，并針對不同的應用場景進行了優化，適用于直播、點播、零延遲、云游戲等多種業務下的編碼;另外還提供了豐富的接口，業務部門可以很方便的進行調整和適配，以滿足自己的需求。Bigo的編解碼團隊除了專注于Bigo265編碼效率和速度的改進之外， 同時也開始進行AV1、VVC、AVS3等新一代標準編碼器的研發。
2、自適應編碼技術(BigoCAE)
傳統轉碼服務采用固定的編碼參數進行轉碼，無法根據視頻內容的復雜度自適應地選擇最佳編碼參數，造成簡單視頻的碼率浪費和復雜視頻的質量不足。BigoCAE致力于自動識別視頻內容的復雜度從而選擇合理的編碼策略，達到質量和碼率的最佳平衡，全局上節約碼率，平衡畫質。
BigoCAE在現有業務中，目標vmaf分 [-2,+2] 范圍內的編碼預測準確度可以達到93%+。在涵蓋多個分辨率、幀率的3000個測試集上，質量方差明顯變好，減少了低質case，平均碼率節省40%+。
BigoCAE內容自適應轉碼策略立足于我們的自研Bigo265編碼器，集成了內容分析(遷移學習，編碼特征分析等)、AI編碼參數預測、細粒度的碼率控制(幀級碼控、ROI碼控)等技術，達到質量平穩，碼率節省的目的。
其中內容分析，采用了編碼特征與遷移學習特征。其中編碼特征采用原始碼流與pass1快速編碼的信息，如下圖所示：
遷移學習采用經典的圖像分類網絡，使用已訓練好的用于cv應用的圖像分類網絡，提取其分類之前的fc層作為AI編碼預測的輸入特征。
為了加快預測速度，滿足業務實時需求，AI編碼預測采用一個簡單的淺層神經網絡，如下圖所示：
碼控層面，對ROI區域的內容做了自適應調整，如面部區域是大家比較感興趣的焦點，對此區域我們做了編碼增強，整體碼率不變的情況下，使ROI區域比其他區域更清晰一些。
BigoCAE隨著業務的進化而不斷進化，我們會不斷引入新的特征、新的網絡、新的碼控算法改善BigoCAE算法的內容自適應效果。
BIGO音視頻傳輸技術
構建工業級「高可用」，「高通用」，「高質量保障」的音視頻傳輸技術對于音視頻產品非常關鍵，而且不同業務場景，對于傳輸技術的優化側重點有很大差別：
另外不同國家、地區網絡特性差異很大;跨國家、跨洲的路由和鏈路質量及收費方式也有很大差別。不同網絡類型有各自的行為模式和管道特征，需要適配不同的傳輸控制策略。
最后，不同地區用戶的網絡接入類型和方式差別巨大，用戶對于網絡流量費用的偏好也不盡相同。
因此，在制定傳輸策略過程中，需要對業務場景的側重點、不同國家、地區網絡特性以及用戶對于體驗質量和網絡付費偏好等多維度情況進行綜合考量和優化設計。
面對上述音視頻傳輸關鍵挑戰，BIGO音視頻傳輸技術從設計之初到實際落地，經過持續不斷的演進，構建了完整的傳輸技術基礎體系，包含以下4個關鍵技術方向：
這四個關鍵技術在整個音視頻解決方案中，占據了重要的位置，下面我們一一介紹。
1、網絡傳輸擁塞控制技術
如果將互聯網想象成為公路系統，每一條互聯網路徑就像一條公路。當過多的數據進入網絡，就會像公路系統中由于某些節點的運輸能力不足產生堵塞。這種數據堵塞我們通常稱為鏈路擁塞。
擁塞控制研究已經歷經30余年，涌現了眾多擁塞控制算法，一些有代表性的算法如圖所示。
1.1BTP擁塞控制系統
在BigoLive直播系統，針對直播的卡頓、清晰度敏感，延時相對不敏感的特點，BIGO技術積累了一套完整的擁塞控制方案——BTP擁塞控制系統，在線上達到了平均零卡頓率超過94%，720p占比超30%，平均延時低于2s，在業界位于頂尖水平。
BTP擁塞控制系統是一個分場景控制系統，它的主算法是TFRC。TFRC基于速率發送，過程平穩，更適合流媒體傳輸，但是它具有隨機丟包下吞吐率低，以及小帶寬場景下延時高等不足之處。
隨機丟包下吞吐率低：以丟包為擁塞信號的擁塞算法，當遇到無線網絡Wifi/2G/3G/4G時，會因為無線信道本身可能的信道衰落、信號干擾特性產生一些隨機丟包，這種丟包會使得這一類算法誤判擁塞，導致吞吐率變低。為解決隨機丟包場景的問題，我們前置了一個隨機丟包過濾器，它能夠在混合了各種不同的隨機丟包分布下的限速網絡下(如10%服從高斯分布的隨機丟包+800kbps限速)，準確過濾出隨機丟包，保留擁塞丟包作為擁塞控制信號。
小帶寬場景延時高：對于600kbps以下的小帶寬網絡，它的典型特點是路由buffer隊列長，當檢測到丟包擁塞時，buffer里堆積的數據等待時間可以高達10s以上，嚴重影響直播體驗。為此，我們引入輔助算法slops，它是一種基于延時的擁塞控制算法，能夠準確推斷延時類型和網絡狀態從而實施相應得擁塞控制輸出。
在上述多個算法的共同作用下，BTP擁塞控制系統在實驗室仿真環境的驗證下：具有超過40%的隨機丟包抗性，帶寬低至300kbps依然可用，網絡抖動1200ms仍然工作正常。
構建系統仿真平臺：以Pantheon + mahimahi平臺為依托，我們擴展豐富了網絡trace的輸入類型、完善CC算法性能分析工具，形成一套完整的系統仿真及分析平臺。
線上閉合驗證：我們以某國家為切入點，開展對該國用戶網絡trace的數據分析，以及與不同擁塞控制算法的仿真對比，結果如下2圖，吞吐率和時延的綜合收益排名在各個對比CC算法中排名靠前。
同時，在線上進行ab實驗后，獲得吞吐率+0.74%，卡頓率-0.38%的技術指標收益，與線下評估一致。基于大數據驅動算法優化系統，我們上線了數項優化項，取得了顯著的收益。
2、弱網對抗技術
用戶接入網絡形態復雜(特別是無線信道本身存在明顯的信道衰落、信號干擾特性)、承載的業務多樣，傳輸過程中會經歷網絡條件的大幅突變、惡化。從網絡傳輸能力指標上來表征，即可用帶寬低、端到端時延大、丟包率高，極大的影響用戶的傳輸性能，現有技術可能無法保證最低質量的QoS要求。
借助于網絡trace采集系統，我們對BIGO全球用戶網絡特征進行了不同維度的分析。以某地區用戶網絡為例，從帶寬指標來看，平均帶寬低于500kbps的占比約1%;從丟包率指標來看，總體平均丟包率7.2%，連接丟包率高于20%的占比約10%，隨機丟包類型占比約66%;從時延指標來看，平均RTT高于380ms的連接占比約30%。因此，弱網對抗技術從方法上主要可以分成抗丟包技術和抗抖動技術。
2.1抗丟包技術
眾所周知的兩種抗丟包技術是主動重傳請求(ARQ)和前向糾錯(FEC)。ARQ和FEC分別有各自得優缺點：ARQ能最大化帶寬利用率，但需要引入額外延時，而FEC通過增加信息冗余(犧牲帶寬利用率)得方式避免增加額外延時。
針對ARQ與FEC兩種抗丟包方法的特點，我們采用了揚長避短的策略，盡可能發揮各自的優勢，這就是HARQ(Hybric ARQ)。整體思路是，HARQ在RTT較小的網絡中，主要采用ARQ，減少冗余流量;在RTT較大的場景中，主要使用FEC，降低恢復延時。
我們通過在不同場景下HARQ和ARQ+FEC各自處理的效果對比，可以看到，限速場景HARQ恢復率提升明顯;另外引入流量指標降低明顯，HARQ統一決策有效降低流量代價。
我們通過音頻傳輸質量MOS的評價方式，測試HARQ技術的實際抗丟包效果。根據對比結果，抗丟包模塊明顯提升了MOS，丟包率40%以下MOS分均能保持在4分以上，音質平穩度較高，有效地提升用戶體驗。
FEC技術前沿探索：在音視頻傳輸中，Reed-Solomon(RS)作為常見地編碼方式將視頻的若干幀組合成為一個FEC編碼塊進行編碼——在相同冗余度下較長的FEC編碼塊可以容忍更多的丟包，但是以視頻播放延時為代價。BIGO技術提出新的解決思路(RE-RS)，使用滑動窗口掃過視頻連續若干幀，窗口每擴張或移動一幀相應生成一組冗余包，在常見網絡丟包分布下RE-RS可以及時有效地恢復數據。
圖：滑動窗口編碼示意圖
我們通過控制隨機丟包的丟包率實驗來檢驗RE-RS編碼方式的效果，如下表所示，在不同的丟包率配置實驗中，RE-RS能獲得比RS更高的恢復率。
2.2抗抖動技術
為了適應多變的網絡和用戶場景需求，我們設計了BigoJitter，其主體包括語音包緩沖區，網絡抖動估算器，播放延時估算器，播放決策器，解碼器，變速器，解碼數據緩沖區等模塊，核心算法在于網絡抖動程度估算，播放延時估算以及播放策略制定，BigoJitter使用歷史抖動范圍和自回歸算法來估算播放延時，從而可以快速適應網絡的抖動變化。
我們再次以音頻傳輸質量MOS的評估方式，下圖所示，BigoJitter在各種弱網條件下的抗性都表現得很出色。
3、自適應碼率播放控制技術
為了應對全球各區域用戶巨大的帶寬能力差異，Bigo自研了實時按需轉碼和自適應碼率控制的功能。如圖中示例，根據觀眾端觀看碼率的匯總情況，在云端按需轉碼和分發，達到節省轉碼計算資源和網絡傳輸資源的目標。
3.1直播/視頻點播自適應碼率控制
在直播和視頻點播場景中，我們研發落地了基于MPC模型預測的自適應碼率算法，它通過分析用戶特征和偏好、預測下載帶寬信息和緩存長度變化狀態，將選擇分辨率/碼率問題建模成一個求解動態最優化問題，優化的目標就是用戶的觀看體驗指標QoE(Quality of Experience)。
從框架圖中可以看出，如何準確有效預測QoE是影響整個自適應碼率算法效果得最關鍵因素。因此，BIGO技術經過不斷努力，自研和落地了基于User Engagement的QoE預測模型。
3.2 基于User Engagement的QoE預測模型
我們提出將播放技術指標同用戶參與度相結合的觀看體驗指標QoE，從而進一步縮小QoE模型與用戶實際主觀體驗的差距。
特征選取：和傳統的QoE公式不同，除傳輸技術指標外，我們還使用了包括用戶地理位置信息、手機軟硬件屬性、用戶-視頻互動等多方面的原始特征，通過特征工程生成的有顯著意義的新特征，以及特征交叉生成的新特征。然后根據相關性和特征重要性，逐輪篩選生成新的特征子集。下圖展示了若干主要特征和目標用戶參與度的皮爾遜相關系數(PCC，左圖)，以及在提升樹模型中的特征重要性(以增益衡量，右圖)。
參數調整：在選定的特征集上，我們采用貝葉斯優化、K折交叉驗證搜索提升樹模型的最優超參數。貝葉斯優化假設被優化函數為黑盒函數且來自高斯過程，每輪通過優化采集函數 a(x) 確定下一組嘗試的超參數 xnext = arg maxx a(x)，其中 a(x) 為改善期望，
a(x) = s(x) (b(x) F(b(x)) + N(b(x)))
其中 N(x), F(x) 為標準高斯分布的密度和累積分布函數， m(x), s(x) 為高斯過程根據現有觀測值均值、方差的估計， b(x) = (f(xbest) - m(x)) / s(x) 為當前最優參數。
超參數優化一般會選取較為激進的參數生成復雜的樹模型，帶來額外的部署成本。因而我們綜合考慮模型的擬合精度、模型大小和調用時間，生成帕累托前沿(Pareto frontier)的一系列模型，并根據實際上線需要部署。下圖展示了一個帕累托有效的壓縮模型的前3棵提升樹結構。
模型應用和收益：我們利用QoE擬合模型對Bigo Likee短視頻清晰度選檔算法進行優化，在提升用戶觀看滿意度的同時節省了Bigo服務器的帶寬消耗。
4、接入路由策略優化技術
Bigo用戶覆蓋全球上百個國家和地區，不同國家和地區的用戶的網絡條件和網絡質量的差異性很大，依托Bigo全球幾十個數據中心和Bigo強大的AI技術、大數據分析能力的支持，我們實現了完整的"實時智能路由調度"：
a)從海量的歷史傳輸數據中提取多維傳輸質量指標，結合不同形態產品對QoS、QoE的不同需求，將多維傳輸質量指標映射為質量得分，最終生成一個細化到運營商的基準路由表;
b)通過統計不同時間粒度的網絡質量的變化，不斷更新及動態調整基準路由表;
c)實時監控傳輸路徑質量，對于突發的網絡擁塞和網絡故障及時動態切換中間轉發節點，降低網絡問題對傳輸質量的影響。
通過“實時智能路由調度“，我們為媒體數據傳輸尤其是跨國、洲際數據傳輸提供了穩定的高質量路徑。
BIGO全球網絡基礎設施建設
從BIGO技術多年大規模業務沉淀的技術經驗來看，高質量的音視頻技術服務能力離不開基礎設施的深度定制，BIGO選擇全自建了全球的網絡基礎設施，提供給業務端到端的turnkey技術解決方案能力。
結合音視頻業務業務場景來看，組建一個優質的全球RTN網絡面臨的挑戰可以拆成兩個部分：(1)如何保證海量用戶到各個機房的接入質量;(2)如何保證分布全球的各個DC之間的通信質量。下面分別介紹BIGO在這兩塊的建設情況。
1、用戶接入網質量優化
不論是主播還是觀眾端，用戶接入都是影響服務質量最重要的環節，也面臨最復雜多樣的網絡環境。BIGO在全球各大洲和重點國家選擇運營商資源最豐富的城市來構建BIGO的Internet接入的節點， 通過BIGO互聯網交換平臺(BIGO Internet eXchange，簡稱BIX)來管理。主要從以下三個方面來優化。
BIX = Bigo Internet eXchange，IPT = IP Transit Provider，IX = Internet eXchange
Peer = BGP Private Peer
(a)貼近用戶，連通世界。 在最接近用戶的城市，自建優質BGP出口網絡，與大量本地ISP對等互聯，對接方式包括IPT、IX、Peer等。目前與全球運營商建立Peer數量已達到170+，與2W多家ISP開展深度技術合作。
(b)DC到用戶，智能路由。 實時分析機房到用戶的網絡質量，包括丟包、抖動、RTT、連接成功率等關鍵指標，同時根據Internet路由變化，實時繪制出口可用路徑。通過智能調度控制器，確保到用戶網絡擁有最佳路由。
(c)用戶到DC，動態優選。 實時分析用戶訪問不同機房的質量，結合機房負載、用戶質量等指標，動態調整機房分配策略，確保每個地區每個運營商的用戶接入綜合得分最優機房, 提升用戶體驗。
2、DC之間的通信質量優化，提供99.99%優質傳輸率
(a)同城互聯，高速可靠。 在歐洲，美洲，東南亞，印度等歐洲自建多張城域網，通過波分復用技術深度利用物理光纖資源，為同城數據中心互聯提供超大帶寬與高可靠DC間通信網絡。
(b)全球物理專線互通，智能調度。 在全球數據中心間，以及各地區到各大洲的數據中心，通過海纜自建一張全球骨干網，連通全球各大城域網;并且通過SDN控制器實現擁塞控制，流量調度，故障自愈，實現全球數據中心穩定高速互聯。為保證質量，海纜一般都會在物理上冗余，比如同時使用兩條不同的海纜。
(c)虛擬光纖，公網專線。即使海纜做了物理上的冗余，但在流量突發、海纜維護、業務爆炸式增長、新節點快速上線等場景，還是有風險導致上層業務不可用。BIGO自研“公網專線”(BVTS)系統，解耦網絡對物理專線的依賴，并加入抗丟包、TCP壓縮、加密等技術。實現專線極速開通，業務快速上線，提升骨干網絡可靠性。
(d)除了底層鏈路的質量保證，在上應用層也增加一層優化：多維分析，構建智能路由。 自研全球DC間IP到IP的(點到點)智能選路系統，根據實時網絡狀態、網絡路徑負載、可用帶寬、成本等因素綜合自動決策，并且可以根據不同的業務需求來選擇最佳傳輸路徑，比如音視頻服務要求是低延遲，可接受少量丟包;而信令業務對丟包敏感度高，但可以接收稍高延遲。
經過多年的積累和發展，目前BIGO在亞洲, 歐洲, 美洲等全球各地建了近百個IDC，出口容量達到40T，與2W多家ISP開展深度的技術合作，覆蓋全球150個國家和地區。為全球DC間提供99.99%優質傳輸率。
總結
本文從音視頻編解碼、音視頻傳輸、基礎設施建設的三個主要視角介紹了BIGO音視頻技術解決方案十年的技術沉淀。技術無止境，BIGO技術還持續在音視頻技術進行技術研究以保持在行業中的領先性，譬如網絡質量智能定位能力，精細化的網絡類型切分與場景化算法優化能力，用戶主觀體驗的理解和評估，基于AI的編解碼算法，HDR10和4K技術優化，新一代編解碼標準等等。
站在2020年的時間點上，BIGO已經做到了從歐洲到亞洲，從美洲到非洲，把最好的視聽服務傳遞到世界的每一個角落，傳遞給每一個熱愛生活的人。在這個過程中，音視頻核心技術能力和BIGO業務增長多年來相互成就，通過在真實市場大規模應用的千錘百煉，最終鍛造成堅如磐石的BIGO音視頻技術解決方案。
推薦閱讀
一個主管指派工作給下屬時，是否在一開始就把目的交代清楚，將決定那會成為一項工作，還是成為一項作業。 工作中，時常看到這樣一種現象，一些主管尤其喜歡不明目的地指使下屬或指派工作。下屬需要進一步指導>>>詳細閱讀
地址：http://m.ssyurd.com/diaocha/41131.html
1/2 1
網友點評
精彩導讀
科技快報
品牌展示