音視頻技術(shù)有哪些？（分享一個(gè)最基本的架構和流程）

在當今的音視移動(dòng)ヽ(′ー｀)ノ互聯(lián)網(wǎng)時(shí)代，直播類(lèi)產(chǎn)品我們再熟悉不過(guò)了，頻技比如看游戲直播、分享給(╯°□°）╯︵ ┻━┻美女主播打賞、個(gè)最構和聽(tīng)直播課程等?；敬送?，流程伴隨著(zhù)抖音、音視快手等短視頻類(lèi)應用的頻技爆發(fā)，視頻類(lèi)產(chǎn)品更是分享時(shí)刻充斥著(zhù)我們的生活。那么，個(gè)最構和直播類(lèi)或者視頻的基本產(chǎn)品背后涉及到的音視頻技術(shù)知識都有哪??些呢？本文將從直播類(lèi)產(chǎn)品的基礎架構??出發(fā)，闡述一些基?礎的流程音視頻技術(shù)知識。

一、直播的基礎架構

如下圖，是一個(gè)APP直播功能的架構：

從上圖中我們可以看到，每一個(gè)部分都有各自要處理的一些工作。

總體來(lái)說(shuō)，視頻直播類(lèi)功能的整體流程包括以下內容：

音視頻采集音視頻處理音視頻編碼和封(╬ ò﹏ó)裝推流流媒體服務(wù)器??處(chu)理拉流音視頻解碼音視頻播放

在具體了解每個(gè)流程之前，我們先??從音視頻的基本知識入手。

二、音視頻技術(shù)基礎1. 音頻

聲音：

我們平時(shí)在手機或電腦里聽(tīng)到的音頻，是已經(jīng)數字化┐(′д｀)┌了的音頻模擬信號。最初，這些音頻都是始于物理的聲音。

中學(xué)物理(li)都學(xué)過(guò)，聲音是波，是通過(guò)物體的振動(dòng)產(chǎn)生的。

聲波具有三要素：

音調：也叫音頻，頻率越高，波長(cháng)就會(huì )越短，而低頻聲ヾ(?■_■)ノ響的波??長(cháng)則較長(cháng)。所以這樣的聲音更容易繞過(guò)障礙物。能量衰減就越小，聲音就會(huì )傳播的越遠；音量：就是┐(′ー｀)┌振動(dòng)的幅度。用不同的力度敲打桌面，聲音的大小勢必發(fā)生變換。在生活中，我們(???)用分(fen)貝描述(′▽?zhuān)?聲音的響度；音色：在??同樣的頻率和響度下，不同的物體發(fā)出的聲音不一樣。波形的形狀決定了聲音的音色。因為不同的介質(zhì)所產(chǎn)生的波形不同，就會(huì )產(chǎn)生不一樣的音色。

模擬信號的(′?_?`)數字化過(guò)程：

我們可以通過(guò)下圖理解這一過(guò)程：

采樣：可以理解為在時(shí)間軸上對信號進(jìn)行數字化。通常用采樣率來(lái)保證一定頻率范圍內的聲音可以被數字化成功，比如：采樣頻率一般是44.1KHZ，指的就是1秒(?????)會(huì )采樣44100(//ω//)次。量化：指的是在幅度軸上對信號進(jìn)行數字化，就是聲音波形的數據是多少位的二進(jìn)制數據，單位是bit。比如：常用16bit的二進(jìn)制信號來(lái)存放一個(gè)采樣，這又叫做量化級。量化級是數字聲音質(zhì)量的重要指標，通常將聲音描述為24bヽ(′▽?zhuān)?ノit（量化級）、48KHZ（采樣率）。編碼：按照一??(′?_?`)定的格式記錄采樣和量化后的數據。音頻編碼的格式有??很多種，通常??所說(shuō)的音頻裸數據指的是脈沖編碼調制(???PCM)數據。PCM音頻流的碼率可以用來(lái)描述PCM數據，它的計算公式是：采樣頻率*采樣大?。?liang)化級）*聲道數（單聲道、雙聲道和多聲道）。

通過(guò)上述的流程，就實(shí)現(⊙_⊙)了音頻信號的數字化過(guò)程(′?｀)。轉為數字信號之后，就可以對這些數據進(jìn)行存儲、播放、復制獲取等其他操作(′?｀*)了。

音頻編碼：

采集和量化后的數據是非常大的，從存儲或者網(wǎng)絡(luò )實(shí)時(shí)傳播的角度來(lái)說(shuō)，這個(gè)數據量都太大了。對于存儲和(he)傳輸都是非常具有挑戰的，所以我們需要通過(guò)編碼來(lái)進(jìn)行壓縮。

壓縮編碼的指標是壓縮比，壓縮比通常是小于1的。

壓縮編碼算法分為2種：有損壓縮和無(wú)損壓縮。

無(wú)損壓縮：解壓(ya)后的數據可以完全復原。在常用的壓縮格式。用的較多的都是有損壓縮。有損壓縮：解壓后的數據不能完全復原，會(huì )丟失一部分信息。壓縮比越小，丟失的信息就(jiu)會(huì )越多，信號還原的失真就會(huì )越大。(?????)

壓縮編碼的實(shí)質(zhì)就是壓縮冗余的信號，冗余信號就是指不能被人耳感知的信號，包括：人耳聽(tīng)覺(jué)范圍之(zhi)外的音頻信號以及被掩蓋掉的音頻信號。信號的掩蔽可以分為頻域掩蔽和時(shí)域掩蔽，關(guān)于信號的掩蔽大家可以自行百度一下，這里就不做過(guò)多闡述了。

那么，音頻壓縮編碼的常用格式都有哪些呢？

主要包括：WMA編碼；MP3編碼；AAC編碼，這個(gè)是現在比較熱門(mén)的有損壓縮編碼技術(shù)，也是??目前在直播或小??視頻中常用的編碼格式；OGG編碼等。

2. 視頻

數字視頻：

我們平時(shí)在手機或PC上看到的?視頻，是由內容元素、編碼格式和封裝容器構成的。

內容元素：包括圖像（Image）、音頻（Audio）和元信息（Metadata）。編碼格式：包括視頻常用編碼格式H264，和音頻常用編碼格式AAC。封裝容器(╯°□°）╯︵ ┻━┻：??這就是常見(jiàn)的??文件格式，如MP4、MOV、FLV、RMVB、AVI等等。

圖像：

圖像是人對視覺(jué)感知的物質(zhì)重現。三維圖像的對象包括：深度、紋理和(?_?;)亮度信息，二維??圖像包括紋理和亮度信息，我們可以簡(jiǎn)單的把紋理就理解為圖像。

說(shuō)了圖??像的概念，現在來(lái)說(shuō)下視頻：視頻是由多幅圖像構成的，是一組連續的圖像。一個(gè)基本的數字視頻，基本是通過(guò)“采集——處理——顯示”形成的。

編(′?｀)碼格式：

上面我們說(shuō)到了音頻的編碼，視頻同樣是存在編碼的過(guò)程的。視頻編解碼的(de)過(guò)程是指對數字視頻進(jìn)行壓縮或解壓???縮的過(guò)程。

在進(jìn)行視頻的編解碼時(shí)，ヾ(＾-＾)ノ需要考慮以下因素的平衡：視頻的質(zhì)量、用來(lái)表示視頻所需要的數據量（通常稱(chēng)之為碼率）、編碼算法和解碼算法的復雜度、針對數據丟失和錯誤的魯棒性、編輯的方便性、隨機訪(fǎng)問(wèn)、編碼算法設計的完美性、端到端的(de)延時(shí)以及其它一些因素。

常用的視頻編解??碼方式有H.26X系(xi)列和MPEG系列，而目前最常用的ヽ(′ー｀)ノ視頻編碼格式??是H.264，它的優(yōu)點(diǎn)是(shi)低碼率、圖像質(zhì)量高、容錯能力強、網(wǎng)絡(luò )適應性更強，并且已被廣泛應用于實(shí)時(shí)視頻應用中。

再介紹一些關(guān)于H.264的知識：

在H.264中，圖像是包括幀、頂場(chǎng)和底場(chǎng)┐(′д｀)┌的，一副完整的圖像就是一幀。

當采集視頻信號時(shí)，如果采用逐行掃描，則每次掃描得到的信號就是一副圖像，也就是一幀。如果采用隔行掃描（奇、偶數行），則掃描下來(lái)的一幀圖像就被分為了兩個(gè)部分，這每一部分就(jiu)稱(chēng)為場(chǎng)，根據次序分為：頂場(chǎng)???（也成為偶數場(chǎng)）和底場(chǎng)（也成為奇數場(chǎng)）。

幀和場(chǎng)的概念又帶來(lái)了不同的編碼方式：幀編碼和場(chǎng)編碼。逐行掃描適合于運動(dòng)圖像，所以對于運動(dòng)圖像采用幀編碼更好；而隔行掃描適合于非運動(dòng)圖像，所以對于非運動(dòng)圖像采用場(chǎng)編碼更(geng)理想。

此外，每一幀圖像可以分為多個(gè)片，每一個(gè)片由宏塊(′▽?zhuān)?構成，而每個(gè)宏塊又是由子塊所構成的。

封裝格式：

視頻的封裝格式可以看成是一個(gè)裝載著(zhù)視頻、音頻、視頻編解碼方式等信息的容器。一種視頻封裝格式可以支持多種的視頻編解碼方式，??比如(′?｀)：QuickTi(′▽?zhuān)?)me（.MOV）支持幾乎所有的編解碼方式，MPEG（.MP4）也支持大部分的編解碼方式。

在PC上，我們經(jīng)常會(huì )使用.MOV的視頻文??件。通過(guò)以上的介紹，我們就知道了，這個(gè)視頻的文件格式是.MOV，封(′ω｀*)裝(′?_?`)格式是Quick(°□°)Time File Format，但是我們無(wú)法知道它的視頻編解碼方式。如果我們想要專(zhuān)業(yè)的去描述一個(gè)視頻，可以描述成：H.264/MOV的視頻文件，這就是說(shuō)它的封裝方式是QuickTime File Format，文件(?⊿?)格式是.MOV，編碼方式是H.264。

H.??264：

H.(′▽?zhuān)?264是一種高性能的視頻編解碼技術(shù)，是由“國際電聯(lián)”和“國際標準化組織ISO”聯(lián)合組建的聯(lián)合??視頻組共同制定的新的數字視頻編碼標準。

我們首先要知道，無(wú)論是視頻(???)或音頻編碼，其目的都是壓縮。視頻編碼的目的，是抽取出冗余信息，這些冗余信息包括：空間冗余、時(shí)間冗余、編碼冗余、視覺(jué)冗余和知識冗余。

基于此，H.264的壓縮ヽ(′ー｀)ノ技術(shù)涉及：

幀內壓(′ω｀)縮對應的是I幀——即關(guān)鍵幀。那么什么??是I幀呢？網(wǎng)上教程(cheng)中有一個(gè)經(jīng)典的例子，如果攝像頭對著(zhù)你拍攝，1秒之內實(shí)際你發(fā)生的變化是非常少(shao)的。攝像機一般1秒鐘會(huì )抓取幾十幀的數據，比如像動(dòng)畫(huà)，就是25幀/s，一般視頻文(wen)件都是在30幀/s左右。那些對于一組幀來(lái)說(shuō)變化很小的，為了便于壓縮數據，就將第一幀完整的保存下來(lái)。如果沒(méi)有這個(gè)關(guān)ヽ(′▽?zhuān)?/鍵幀后面解碼數據是完成不了的，所以I幀是特別關(guān)鍵的。

b）幀間預測壓縮，解決的是時(shí)間數據冗余問(wèn)題。在上面的例子中，攝像頭在一段時(shí)間內所捕捉的數據沒(méi)有較大的變化(hua)，我們(′?_?`)針對這一時(shí)間內的相同的數據壓縮掉，這就是??時(shí)間??數據壓縮。

幀間壓縮對應的是P幀和B幀。P幀是向前參考幀，壓縮時(shí)只參考前一個(gè)幀。而B(niǎo)幀是雙向參考幀，壓縮時(shí)即參考前一幀也???參考后( ?ω?)一幀。

c）整數離散余弦變換（DCT），將空間上的相關(guān)性變?yōu)轭l域上無(wú)關(guān)的數(shu)據然后進(jìn)行量化。

H.264除了上述的關(guān)鍵技術(shù)，還有幾個(gè)重要的概念需要了解：

GOF：一組幀，就是一個(gè)I幀到下一個(gè)I幀，這一組的數據。包括B幀/P幀，我們稱(chēng)為GOF。SPS和PPS：SPS??和PPS是GOF的參數，SPS是存放幀數，參考幀數目，解碼圖(╬?益?)像尺寸，幀場(chǎng)編碼模式選擇標識等。而PPS是??存放熵編碼模式選擇標識，片組數目，初始量化參??數和去方塊濾波系數調整標識等。

在進(jìn)行視頻解碼的時(shí)候，接收到一組幀GOF之前，我們首先收到的是SPS/PPS數據，如(ru)果沒(méi)有這組參數的話(huà)，是無(wú)法進(jìn)??行解碼的。

因此，如果在??解碼時(shí)發(fā)生錯誤，首先要檢查是否有SPS/PPS。如果沒(méi)有，就要檢查是因為對端沒(méi)有發(fā)送過(guò)來(lái)還是因為對端在發(fā)送過(guò)程中丟失了。

更加詳細的H.264編碼原理這里就不做介紹了，大(da)家感興趣的可以上網(wǎng)查閱一下資料，比如：(?Д?)宏塊分組劃分、宏塊查找、幀內預測、DCT壓縮以及H.??264的碼流結構等知識。??

三、直播流程詳述

通過(guò)上ヽ(′▽?zhuān)?ノ面的介紹，我們已經(jīng)了解音視頻一些基本的知識。接下來(lái)，我們一起再描述一遍直播類(lèi)應用的整體(ti)流程。

1. 音視頻采集

在音視頻采集階段會(huì )包括：音頻采集和圖像采集。

在音頻采集時(shí)，除了上面我們說(shuō)到的采樣率、量化級數和聲道數參數外，還需要音頻幀。

音頻跟視頻很不一樣，視頻每一幀就是一張圖像，而從聲音的正玄波可以看出：音頻數據(ju)是流式的，沒(méi)有明確的一幀幀的概念。在實(shí)際的應( ???)用中，為了音頻算法處理/傳輸的方便，一般約定俗ヽ(′ー｀)ノ成取 2.5ms~60ms 為單位的數據量為一幀音頻。

如果某音頻信號是采樣率為 8kHz、雙通道、量化級數是16bit，采樣時(shí)間是20ms，則一幀音頻數據的大小為：8000 * 2 * 16bit * 0.02s = 5120 bit = 640 byte

在圖像采集中，采集的圖片結果會(huì )組合成一組連續播放的動(dòng)畫(huà)，即構成視頻中可肉眼(′?ω?`)觀(guān)看的內容(′?｀)。

圖像的采集過(guò)程主要由攝像頭等設備拍攝成 YUV 編碼的原始數據(ju)，然后經(jīng)過(guò)編碼壓縮成 H.264 等格式的數據分發(fā)出去。在圖像采(′▽?zhuān)?)集階段，涉及(╬?益?)的主要技術(shù)參數包括：圖像┐(′ー｀)┌傳輸格式、圖像格式、傳輸通道、分辨率以及(ji)采樣率。

2. 音視頻處理

音視頻處理會(huì )分為：視頻處理和音頻處理。

視頻處理包括：美顏、濾鏡、面部識別、水印、剪輯拼接等。音頻處理包括：混音、降噪、聲音特效等。

下面我們簡(jiǎn)要描述一下??美顏和視頻水印的基本原(°□°)理：

視頻水印包括播放器水印和視頻內嵌水印兩種方式。對于播放器水印來(lái)說(shuō)，如果沒(méi)有有效的防盜措施，對于沒(méi)有播放鑒權的推流，客戶(hù)端拿到直播流之后可以在任何一個(gè)不?帶水印的播放器里面??播放，因此也就失去了視頻保護的能力。所以，一般來(lái)說(shuō)會(huì )選擇視頻內嵌水印的方式打水印，這樣，水印就會(huì )內嵌(/ω＼)到視頻之內，在視頻播放的過(guò)程中持續顯示。

再多聊一些，視頻內嵌水印也會(huì )應用在軟件中，軟件中播出企業(yè)(???)內部版權保護的動(dòng)畫(huà)段視頻時(shí)，會(huì )應用到內嵌水印的(′；ω；`)技術(shù)。

3. 音視頻編碼和封裝

音視頻的編碼以及視頻的封裝在上述基礎知識部分已經(jīng)介紹過(guò)了??，這里不再贅述。

在這里說(shuō)一下編碼器的知識。上文中我們了解了H.264的編碼技??術(shù)，編碼流??程是要基于編碼器進(jìn)行的。

編碼器的主要流程是：幀內預測（去除(//ω//)空間(jian)冗余）/幀間預測（去除時(shí)間冗余）——變換（去除空間冗余）——量化（去除視覺(jué)冗余）——熵編碼（去除編碼冗余）。通過(guò)該流程，即可完成音視頻的編碼步驟。

4. 推流

推流就是將處理過(guò)的(′-ι_-｀)音頻和視頻數據通過(guò)流媒體協(xié)議發(fā)送到流媒體服務(wù)器。??

推流協(xié)議：

RTMP協(xié)議是基于(????)TCP協(xié)議的，RTMP 是目前主流的流媒體傳輸協(xié)議，廣泛用于直播領(lǐng)域，市面上絕大多數的直播產(chǎn)品都采用了這個(gè)協(xié)議。但是，由于┐(′д｀)┌基于TCP協(xié)議，傳輸成本高，在弱網(wǎng)環(huán)境下丟包率高，不支持瀏覽器推送。WebRTC是一個(gè)支(zhi)持網(wǎng)頁(yè)瀏覽器進(jìn)行實(shí)時(shí)語(yǔ)音對話(huà)或視頻對話(huà)的 API，主要應用(yong)于視頻會(huì )議。它的主流瀏覽器支持度高，并且底層基于SRTP和UDP，弱網(wǎng)情況優(yōu)(′-ι_-｀)化空間大?；赨DP的私有協(xié)議。有些???直播應用會(huì )使用 UDP 做為底ヾ(′▽?zhuān)??層協(xié)議開(kāi)發(fā)自??己的私有協(xié)議，因ヽ(′ー｀)ノ為 UDP在弱網(wǎng)環(huán)境下??的優(yōu)勢通??過(guò)一些定制化的調優(yōu)可以達到比較好的弱網(wǎng)優(yōu)化效果，但是開(kāi)發(fā)成過(guò)高。

推出去的流媒體要給各個(gè)地理位(wei)置的觀(guān)眾看，那么這里就需要CDN網(wǎng)絡(luò )了。CDN就是為了解決用戶(hù)訪(fǎng)問(wèn)網(wǎng)絡(luò )資源慢而產(chǎn)生的技術(shù)。

CDN包括邊緣節??點(diǎn)、二級節點(diǎn)和源站。內容提供方可以將內容放到源站上，用戶(hù)從??邊緣節點(diǎn)獲取數據，而CDN的二級節點(diǎn)則用于緩存，減輕源站壓力。

在直播領(lǐng)域中，CDN要支(zhi)持的服務(wù)如下：

流媒(′?ω?`)體協(xié)議的支持。比如RTMP等；首屏秒??開(kāi)。從用戶(hù)點(diǎn)擊??到播放控制在秒級以?xún)龋?~3 延遲控制。從推流端到播放端，延遲控制在 1~3 秒之間；全球全網(wǎng)智能路由?？梢岳谜麄€(gè)CDN網(wǎng)絡(luò )內的所有節點(diǎn)為某一??單一用戶(hù)服務(wù)，不受地域限制。5. 流媒體服務(wù)器處理

流媒體服務(wù)器要做的事情包括：數據分發(fā)（CDN）、支持上述CDN的一些服務(wù)、實(shí)時(shí)轉碼以及內容的檢測（鑒黃）等?。

6. 拉流

拉流就是客戶(hù)端從流媒體服務(wù)器上拉取獲得上述步驟中的音視頻數據。同理，這個(gè)過(guò)程也是要基于上述的協(xié)議和CDN。

7. 音視頻解碼

在上述H.264編碼的介紹中，說(shuō)到了SPS/PPS是解碼必備的數據。此步驟就是需要對拉流下來(lái)已編碼的音視頻數據進(jìn)行解碼。

解碼過(guò)程就是編(╥_╥)碼的逆過(guò)程，這(zhe)個(gè)過(guò)程(cheng)包括：熵解碼、變換解碼、預測解碼。

這里要說(shuō)明的是：如果H264碼流中I幀錯誤或丟失，就會(huì )導致錯誤傳遞，單獨的??P幀或B幀是完成不了解碼工作的。I幀所保留的是??一張完(wan)整的視頻幀，是解碼的關(guān)鍵所在。

8. 音視頻播放

在完成了音視頻數據的解碼后，就可以通過(guò)硬件設備（手機或PC）上的播放器對音視頻文件進(jìn)行渲染播放了。

——信令服務(wù)器是用來(lái)處理主播端和用戶(hù)端的一些信令指令的。

在網(wǎng)絡(luò )中傳輸著(zhù)???各種信號，其中一部分是我們需要的（例如：打電話(huà)的語(yǔ)音，上網(wǎng)的數據包等等），而另外一部分是我們不需要的（只能說(shuō)不是直接需要）它用??來(lái)專(zhuān)門(mén)控制(′?_?`)電路的，這一類(lèi)型的信號我們就稱(chēng)之為信令（摘自百度百科）。也就是說(shuō)，信令是指通信系統中的控制指令。

我們基于此，再來(lái)描述一下這整個(gè)的流(′?ω?`)程：

主播共享端發(fā)起一個(gè)信令，比如：創(chuàng )建房間（或聊天、發(fā)送禮物等），到達信令服務(wù)器；信令服務(wù)器處理并且創(chuàng )建一個(gè)房間，同時(shí)返回給主播共享端一個(gè)流媒體云的地址。接下來(lái)，主??播共享端采集數據（音視頻的采集、處理以及編碼封裝流程）形成RTMP流推送到CDN網(wǎng)絡(luò )（推流）。觀(guān)眾要進(jìn)行觀(guān)看時(shí)，客戶(hù)端會(huì )發(fā)送信令到信令服務(wù)器，信??令服務(wù)器將該觀(guān)眾加入到主播的房間中，同時(shí)也會(huì )返回一個(gè)流媒體云的地址（該地址就是之前主播端的流媒體云地址）?？蛻?hù)端拿到此流媒體云地址后，ヽ(′?｀)ノ就會(huì )( ???)到流媒體云服務(wù)器拉取到該媒體流（拉流和解碼），從而看到要觀(guān)看的直播節目（播放器播放）。

好了，以(yi)上就是直播類(lèi)應用的一個(gè)最基(′ω｀*)本的架構和流程了??。

四、總結

本文通過(guò)直播??類(lèi)應用的架構(?Д?)，介紹了一些音視頻技術(shù)方面的知識，并且詳述了直播類(lèi)功能的整體流程。

音視頻技術(shù)是一個(gè)高深的領(lǐng)域，本文只是做了一些基礎知識的總結，如果大家想要深入了解更多的音視頻技術(shù)，(′?｀)我推薦大家可以學(xué)習一下雷神（雷霄驊??）的博客。