解密FFmpeg播放狀態控制內幕

2024-06-28 13:20:57

字體：大中小

來源：轉載

供稿：網友

解密FFmpeg播放狀態控制內幕

上一篇文章(http://my.oschina.net/u/2336532/blog/400790)我們解決了在FFmpeg下如何處理H264和AAC的擴展數據，根據解出的NALU長度恢復了H264的起始碼和AAC的ADTS頭，這樣一般來說播放是沒有問題。本篇文章來談談如何實現基于FFmpeg的track mode控制，也就是如何用FFmpeg提供的功能來實現基本的seek、快進、快退。好了，廢話少了，下面開始基于FFmpeg的track mode之旅。

FFmpeg提供了一個seek函數，原型如下：

int av_seek_frame(AVFormatContext *s, int stream_index, int64_t timestamp,int flags);

參數說明：

s：操作上下文；

stream_index：基本流索引，表示當前的seek是針對哪個基本流，比如視頻或者音頻等等。

timestamp：要seek的時間點，以time_base或者AV_TIME_BASE為單位。

Flags：seek標志，可以設置為按字節，在按時間seek時取該點之前還是之后的關鍵幀，以及不按關鍵幀seek等，詳細請參考FFmpeg的avformat.h說明。基于FFmpeg的所有track mode幾乎都是用這個函數來直接或間接實現的。

文件的seek功能實現

要轉跳到視頻100秒（100 000毫秒）處的第一個I幀（如果沒有則向前找第一個）：

av_seek_frame(pFormatCtx, vid_index, 100000*vid_time_scale/time_base, AVSEEK_FLAG_BACKWARD);

跳到音頻80秒（80 000毫秒）處的幀（采樣）：

av_seek_frame(pFormatCtx, aud_index, 80000*aud_time_scale/ time_base, AVSEEK_FLAG_BACKWARD);

跳到文件開始的地方開始播放：

av_seek_frame(pFormatCtx, vid_index, 0, AVSEEK_FLAG_BACKWARD);

上面的time_scale、time_base都能通過流信息獲取到，請參考前面的文章。有的文件不一定能seek成功，可以考慮在失敗的情況下將AVSEEK_FLAG_BACKWARD改為AVSEEK_FLAG_ANY再次seek，不過seek到的視頻幀可能不是I幀。

這個函數不管你當前在什么時間點上，都可以seek到任何合理位置。比如要實現在當前的基礎上向后或向前跳轉10秒，我們可以在av_read_frame函數拿到的包中含有當前時間戳的基礎上增加或較少一個10000（換算成播放時間單位）再seek即可。所以這個函數可以用做進度的拖放、前進/后退一定時間、循環播放等功能。

快進快退

對于快進來說，一般解碼器能實現2倍甚至再高倍速的播放，這種情況直接按照上一篇文章的基本播放流程就可以了。但對于4倍、8倍、16倍、32倍等高速播放，一般不能像傳統播放那樣一幀一幀的送數據，不只是解碼能力問題，數據讀取也可能因為帶寬不夠跟不上，我們只能提取其中的I幀進行播放，將B幀和P幀丟掉。下面我們就來討論這個過程的實現流程。

快進時，通過當前數據包獲得當前的時間PTS，將該PTS換算成時間再加上一小段時間，作為seek時間點向后找關鍵幀，此時flags可設置為AVSEEK_FLAG_FRAME。之后用av_read_frame獲取到該關鍵幀。完成該幀解碼顯示后，再在該幀的PTS時間上增加一小段時間后seek，這樣一直重復上述過程，流程如下圖：

快退時，通過當前數據包獲得當前的時間PTS，將該PTS換算成時間再減去一小段時間，作為seek時間點向前找關鍵幀，此時flags可設置為AVSEEK_FLAG_BACKWARD。之后用av_read_frame獲取到該關鍵幀。完成該幀解碼顯示后，再在該幀的PTS時間上減去一小段時間后seek，這樣一直重復上述結果，過程如下圖：

這樣，我們通過以上對av_seek_frame函數的運用，即可完成文件playback的各種track mode實現，其實理解了這個函數后，你還會有很多其他辦法來實現，這里只是提供了一種簡單且占內存少的辦法。在特定的情況下還可以先全部走一遍所有幀，并記錄下全部的I幀的時間戳、幀編號、位置信息等需要的信息，然后直接從該表里面獲取信息后進行seek和讀取這些關鍵幀進行快速播放。

想第一時間獲得更多原創文章，請關注個人微信公眾平臺：程序員互動聯盟(coder_online)，掃一掃下方二維碼或者搜索微信號coder_online即可關注，里面有大量Android，Chromium，linux，編程技巧等相關文章等著您，我們還可以在線交流。