HLS,Http Live Streaming 是由Apple公司定義的用于實(shí)時(shí)流傳輸?shù)膮f(xié)議,HLS基于HTTP協(xié)議實(shí)現(xiàn),傳輸內(nèi)容包括兩部分,一是M3U8描述文件,二是TS媒體文件。
1、M3U8文件
用文本方式對(duì)媒體文件進(jìn)行描述,由一系列標(biāo)簽組成。
#EXTM3U
#EXT-X-TARGETDURATION:5
#EXTINF:5,
./0.ts
#EXTINF:5,
./1.ts
#EXTM3U:每個(gè)M3U8文件第一行必須是這個(gè)tag。
#EXT-X-TARGETDURATION:指定最大的媒體段時(shí)間長度(秒),#EXTINF中指定的時(shí)間長度必須小于或等于這個(gè)最大值。該值只能出現(xiàn)一次。
#EXTINF:描述單個(gè)媒體文件的長度。后面為媒體文件,如./0.ts
2、ts文件
ts文件為傳輸流文件,視頻編碼主要格式h264/mpeg4,音頻為acc/MP3。
ts文件分為三層:ts層Transport Stream、pes層 Packet Elemental Stream、es層 Elementary Stream. es層就是音視頻數(shù)據(jù),pes層是在音視頻數(shù)據(jù)上加了時(shí)間戳等對(duì)數(shù)據(jù)幀的說明信息,ts層就是在pes層加入數(shù)據(jù)流的識(shí)別和傳輸必須的信息

注: 詳解如下
(1)ts層 ts包大小固定為188字節(jié),ts層分為三個(gè)部分:ts header、adaptation field、payload。ts header固定4個(gè)字節(jié);adaptation field可能存在也可能不存在,主要作用是給不足188字節(jié)的數(shù)據(jù)做填充;payload是pes數(shù)據(jù)。
ts header
| sync_byte | 8b | 同步字節(jié),固定為0x47 |
| transport_error_indicator | 1b | 傳輸錯(cuò)誤指示符,表明在ts頭的adapt域后由一個(gè)無用字節(jié),通常都為0,這個(gè)字節(jié)算在adapt域長度內(nèi) |
| payload_unit_start_indicator | 1b | 負(fù)載單元起始標(biāo)示符,一個(gè)完整的數(shù)據(jù)包開始時(shí)標(biāo)記為1 |
| transport_PRiority | 1b | 傳輸優(yōu)先級(jí),0為低優(yōu)先級(jí),1為高優(yōu)先級(jí),通常取0 |
| pid | 13b | pid值 |
| transport_scrambling_control | 2b | 傳輸加擾控制,00表示未加密 |
| adaptation_field_control | 2b | 是否包含自適應(yīng)區(qū),‘00’保留;‘01’為無自適應(yīng)域,僅含有效負(fù)載;‘10’為僅含自適應(yīng)域,無有效負(fù)載;‘11’為同時(shí)帶有自適應(yīng)域和有效負(fù)載。 |
| continuity_counter | 4b | 遞增計(jì)數(shù)器,從0-f,起始值不一定取0,但必須是連續(xù)的 |
ts層的內(nèi)容是通過PID值來標(biāo)識(shí)的,主要內(nèi)容包括:PAT表、PMT表、音頻流、視頻流。解析ts流要先找到PAT表,只要找到PAT就可以找到PMT,然后就可以找到音視頻流了。PAT表的PID值固定為0。PAT表和PMT表需要定期插入ts流,因?yàn)橛脩綦S時(shí)可能加入ts流,這個(gè)間隔比較小,通常每隔幾個(gè)視頻幀就要加入PAT和PMT。PAT和PMT表是必須的,還可以加入其它表如SDT(業(yè)務(wù)描述表)等,不過hls流只要有PAT和PMT就可以播放了。
PAT表:他主要的作用就是指明了PMT表的PID值。
PMT表:他主要的作用就是指明了音視頻流的PID值。
音頻流/視頻流:承載音視頻內(nèi)容。
adaption
| adaptation_field_length | 1B | 自適應(yīng)域長度,后面的字節(jié)數(shù) |
| flag | 1B | 取0x50表示包含PCR或0x40表示不包含PCR |
| PCR | 5B | Program Clock Reference,節(jié)目時(shí)鐘參考,用于恢復(fù)出與編碼端一致的系統(tǒng)時(shí)序時(shí)鐘STC(System Time Clock)。 |
| stuffing_bytes | xB | 填充字節(jié),取值0xff |
自適應(yīng)區(qū)的長度要包含傳輸錯(cuò)誤指示符標(biāo)識(shí)的一個(gè)字節(jié)。pcr是節(jié)目時(shí)鐘參考,pcr、dts、pts都是對(duì)同一個(gè)系統(tǒng)時(shí)鐘的采樣值,pcr是遞增的,因此可以將其設(shè)置為dts值,音頻數(shù)據(jù)不需要pcr。如果沒有字段,ipad是可以播放的,但vlc無法播放。打包ts流時(shí)PAT和PMT表是沒有adaptation field的,不夠的長度直接補(bǔ)0xff即可。視頻流和音頻流都需要加adaptation field,通常加在一個(gè)幀的第一個(gè)ts包和最后一個(gè)ts包里,中間的ts包不加。

PAT格式
| table_id | 8b | PAT表固定為0x00 |
| section_syntax_indicator | 1b | 固定為1 |
| zero | 1b | 固定為0 |
| reserved | 2b | 固定為11 |
| section_length | 12b | 后面數(shù)據(jù)的長度 |
| transport_stream_id | 16b | 傳輸流ID,固定為0x0001 |
| reserved | 2b | 固定為11 |
| version_number | 5b | 版本號(hào),固定為00000,如果PAT有變化則版本號(hào)加1 |
| current_next_indicator | 1b | 固定為1,表示這個(gè)PAT表可以用,如果為0則要等待下一個(gè)PAT表 |
| section_number | 8b | 固定為0x00 |
| last_section_number | 8b | 固定為0x00 |
| 開始循環(huán) | ||
| program_number | 16b | 節(jié)目號(hào)為0x0000時(shí)表示這是NIT,節(jié)目號(hào)為0x0001時(shí),表示這是PMT |
| reserved | 3b | 固定為111 |
| PID | 13b | 節(jié)目號(hào)對(duì)應(yīng)內(nèi)容的PID值 |
| 結(jié)束循環(huán) | ||
| CRC32 | 32b | 前面數(shù)據(jù)的CRC32校驗(yàn)碼 |
PMT格式
| table_id | 8b | PMT表取值隨意,0x02 |
| section_syntax_indicator | 1b | 固定為1 |
| zero | 1b | 固定為0 |
| reserved | 2b | 固定為11 |
| section_length | 12b | 后面數(shù)據(jù)的長度 |
| program_number | 16b | 頻道號(hào)碼,表示當(dāng)前的PMT關(guān)聯(lián)到的頻道,取值0x0001 |
| reserved | 2b | 固定為11 |
| version_number | 5b | 版本號(hào),固定為00000,如果PAT有變化則版本號(hào)加1 |
| current_next_indicator | 1b | 固定為1 |
| section_number | 8b | 固定為0x00 |
| last_section_number | 8b | 固定為0x00 |
| reserved | 3b | 固定為111 |
| PCR_PID | 13b | PCR(節(jié)目參考時(shí)鐘)所在TS分組的PID,指定為視頻PID |
| reserved | 4b | 固定為1111 |
| program_info_length | 12b | 節(jié)目描述信息,指定為0x000表示沒有 |
| 開始循環(huán) | ||
| stream_type | 8b | 流類型,標(biāo)志是Video還是Audio還是其他數(shù)據(jù),h.264編碼對(duì)應(yīng)0x1b,aac編碼對(duì)應(yīng)0x0f,mp3編碼對(duì)應(yīng)0x03 |
| reserved | 3b | 固定為111 |
| elementary_PID | 13b | 與stream_type對(duì)應(yīng)的PID |
| reserved | 4b | 固定為1111 |
| ES_info_length | 12b | 描述信息,指定為0x000表示沒有 |
| 結(jié)束循環(huán) | ||
| CRC32 | 32b | 前面數(shù)據(jù)的CRC32校驗(yàn)碼 |
(2)pes層
pes層是在每一個(gè)視頻/音頻幀上加入了時(shí)間戳等信息,pes包內(nèi)容很多,我們只留下最常用的。

| pes start code | 3B | 開始碼,固定為0x000001 |
| stream id | 1B | 音頻取值(0xc0-0xdf),通常為0xc0視頻取值(0xe0-0xef),通常為0xe0 |
| pes packet length | 2B | 后面pes數(shù)據(jù)的長度,0表示長度不限制,只有視頻數(shù)據(jù)長度會(huì)超過0xffff |
| flag | 1B | 通常取值0x80,表示數(shù)據(jù)不加密、無優(yōu)先級(jí)、備份的數(shù)據(jù) |
| flag | 1B | 取值0x80表示只含有pts,取值0xc0表示含有pts和dts |
| pes data length | 1B | 后面數(shù)據(jù)的長度,取值5或10 |
| pts | 5B | 33bit值 |
| dts | 5B | 33bit值 |
pts是顯示時(shí)間戳、dts是解碼時(shí)間戳,視頻數(shù)據(jù)兩種時(shí)間戳都需要,音頻數(shù)據(jù)的pts和dts相同,所以只需要pts。有pts和dts兩種時(shí)間戳是B幀引起的,I幀和P幀的pts等于dts。如果一個(gè)視頻沒有B幀,則pts永遠(yuǎn)和dts相同。從文件中順序讀取視頻幀,取出的幀順序和dts順序相同。dts算法比較簡單,初始值 + 增量即可,pts計(jì)算比較復(fù)雜,需要在dts的基礎(chǔ)上加偏移量。
音頻的pes中只有pts(同dts),視頻的I、P幀兩種時(shí)間戳都要有,視頻B幀只要pts(同dts)。打包pts和dts就需要知道視頻幀類型,但是通過容器格式我們是無法判斷幀類型的,必須解析h.264內(nèi)容才可以獲取幀類型。
舉例說明:
I P B B B P
讀取順序: 1 2 3 4 5 6
dts順序: 1 2 3 4 5 6
pts順序: 1 5 3 2 4 6
點(diǎn)播視頻dts算法:
dts = 初始值 + 90000 / video_frame_rate,初始值可以隨便指定,但是最好不要取0,video_frame_rate就是幀率,比如23、30。
pts和dts是以timescale為單位的,1s = 90000 time scale , 一幀就應(yīng)該是90000/video_frame_rate 個(gè)timescale。
用一幀的timescale除以采樣頻率就可以轉(zhuǎn)換為一幀的播放時(shí)長
點(diǎn)播音頻dts算法:
dts = 初始值 + (90000 * audio_samples_per_frame) / audio_sample_rate,audio_samples_per_frame這個(gè)值與編解碼相關(guān),aac取值1024,mp3取值1158,audio_sample_rate是采樣率,比如24000、41000。AAC一幀解碼出來是每聲道1024個(gè)sample,也就是說一幀的時(shí)長為1024/sample_rate秒。所以每一幀時(shí)間戳依次0,1024/sample_rate,...,1024*n/sample_rate秒。
直播視頻的dts和pts應(yīng)該直接用直播數(shù)據(jù)流中的時(shí)間,不應(yīng)該按公式計(jì)算。
(3)es層
es層指的就是音視頻數(shù)據(jù),我們只介紹h.264視頻和aac音頻。
h.264視頻:
打包h.264數(shù)據(jù)我們必須給視頻數(shù)據(jù)加上一個(gè)nalu(Network Abstraction Layer unit),nalu包括nalu header和nalu type,nalu header固定為0x00000001(幀開始)或0x000001(幀中)。h.264的數(shù)據(jù)是由slice組成的,slice的內(nèi)容包括:視頻、sps、pps等。nalu type決定了后面的h.264數(shù)據(jù)內(nèi)容。

| F | 1b | forbidden_zero_bit,h.264規(guī)定必須取0 |
| NRI | 2b | nal_ref_idc,取值0~3,指示這個(gè)nalu的重要性,I幀、sps、pps通常取3,P幀通常取2,B幀通常取0 |
| Type | 5b | 參考下表 |
| nal_unit_type | 說明 |
| 0 | 未使用 |
| 1 | 非IDR圖像片,IDR指關(guān)鍵幀 |
| 2 | 片分區(qū)A |
| 3 | 片分區(qū)B |
| 4 | 片分區(qū)C |
| 5 | IDR圖像片,即關(guān)鍵幀 |
| 6 | 補(bǔ)充增強(qiáng)信息單元(SEI) |
| 7 | SPS序列參數(shù)集 |
| 8 | PPS圖像參數(shù)集 |
| 9 | 分解符 |
| 10 | 序列結(jié)束 |
| 11 | 碼流結(jié)束 |
| 12 | 填充 |
| 13~23 | 保留 |
| 24~31 | 未使用 |
紅色字體顯示的內(nèi)容是最常用的,打包es層數(shù)據(jù)時(shí)pes頭和es數(shù)據(jù)之間要加入一個(gè)type=9的nalu,關(guān)鍵幀slice前必須要加入type=7和type=8的nalu,而且是緊鄰。

轉(zhuǎn)自:http://my.oschina.NET/u/727148/blog/666824
M3U8的簡單介紹和在Android中使用的思路
(在項(xiàng)目中有用到m3u8,現(xiàn)在寫篇博文,算是簡單的總結(jié)
首先是名詞介紹,什么是m3u8。m3u8是m3u的一種,不過是utf-8格式的,我記憶中說m3u8是蘋果公司搞出來的一種播放的標(biāo)準(zhǔn)吧,其實(shí)簡單來說就是把整個(gè)視頻切成一段一段的,然后呢用一個(gè)m3u8格式來存這些個(gè)小段視頻們的地址??赡艽蠹揖鸵獑柫?,這么麻煩干嘛。其實(shí)m3u8是為了碼率適配而生,而怎樣去適配碼率呢,這個(gè)下面介紹格式的時(shí)候會(huì)介紹到。
上兩個(gè)m3u8文件的例子地址,大家能有直觀的認(rèn)識(shí),這是我從Vitamio的官網(wǎng)上扒的。
http://devimages.apple.com/iphone/samples/bipbop/bipbopall.m3u8http://devimages.apple.com/iphone/samples/bipbop/gear1/prog_index.m3u8
我總結(jié)了一下我遇到的m3u8格式,雖然不能說涵蓋了全部的情況,但是也差不多了:
1、一級(jí)目錄(我覺著一級(jí)的目錄沒有適配碼率的功能)
1.1、打開第一級(jí)m3u8文件,能找到真正的視頻地址
1.2、第一級(jí)m3u8文件中,沒有真正的視頻地址,需要拼接才能找到真正的視頻地址
2、二級(jí)目錄
2.1、二級(jí)地址在一級(jí)文件中直接能看到
2.2、二級(jí)地址在一級(jí)文件中不能直接看到,需要拼接一級(jí)鏈接的地址才能找到二級(jí)文件的地址
2.2、打開二級(jí)目錄,能找到整整的視頻地址
2.3、沒有真正的視頻地址,需要拼接才能找到真正的視頻地址
篇幅關(guān)系我不能給大家全部列舉出這些全部的可能性。我就拿最麻煩的舉個(gè)例子,其他的大家自行腦補(bǔ)吧,原理都是一樣的,怎么樣都跑不出協(xié)議的范疇之外。
我們在瀏覽器中輸入http://devimages.apple.com/iphone/samples/bipbop/bipbopall.m3u8,會(huì)得到一個(gè)名為bipbopall.m3u8的文件,此文件的內(nèi)容如下:
#EXTM3U
#EXT-X-STREAM-INF:PROGRAM-ID=1,BANDWIDTH=200000
gear1/prog_index.m3u8
#EXT-X-STREAM-INF:PROGRAM-ID=1,BANDWIDTH=311111
gear2/prog_index.m3u8
#EXT-X-STREAM-INF:PROGRAM-ID=1,BANDWIDTH=484444
gear3/prog_index.m3u8
#EXT-X-STREAM-INF:PROGRAM-ID=1,BANDWIDTH=737777
gear4/prog_index.m3u8
這就符合上面的2.2種情況,這四種碼率的m3u8的地址你都不能直接得到,那怎么辦呢,我們用得到這個(gè)文件的鏈接地址的前半段http://devimages.apple.com/iphone/samples/bipbop/拼接上二級(jí)文件的相對(duì)地址gear1/prog_index.m3u8得到一個(gè)地址http://devimages.apple.com/iphone/samples/bipbop/gear1/prog_index.m3u8。
把此地址放到瀏覽器中,我們又會(huì)得到一個(gè)同樣名為prog_index.m3u8的文件,內(nèi)容如下:
#EXTM3U
#EXT-X-TARGETDURATION:10
#EXT-X-MEDIA-SEQUENCE:0
#EXTINF:10, no desc
fileSequence0.ts
#EXTINF:10, no desc
fileSequence1.ts
#EXTINF:10, no desc
fileSequence2.ts
#EXTINF:10, no desc
fileSequence3.ts
#EXTINF:10, no desc
fileSequence4.ts
#EXTINF:10, no desc
fileSequence5.ts
#EXTINF:10, no desc
.
.
.
#EXTINF:10, no desc
fileSequence179.ts
#EXTINF:1, no desc
fileSequence180.ts
#EXT-X-ENDLIST
我們很開心的發(fā)現(xiàn),這設(shè)計(jì)簡直是巧(sang)奪(xin)天(bing)工(kuang),我們還是沒有得到真正的視頻地址,老辦法拼接后我們得到這么一段鏈http://devimages.apple.com/iphone/samples/bipbop/gear1/fileSequence179.ts,這就是真正的視頻地址。
我舉的這個(gè)例子是最復(fù)雜的情況,一般的情況對(duì)于這個(gè)來說都是相對(duì)簡單的。就跟軟件設(shè)計(jì)一樣,我們先考慮到最難得情況,簡單的來說就迎刃而解了
此篇博文沒有具體介紹m3u8的格式,各位看管不了解的話還請(qǐng)自行Google之。
此篇博文完全是作者的經(jīng)驗(yàn)之談,可能有不確切的地方還請(qǐng)見諒,轉(zhuǎn)載請(qǐng)貼原文地址。
新聞熱點(diǎn)
疑難解答
圖片精選
網(wǎng)友關(guān)注