基于FFmpeg的高清视频编辑模块的设计方案

1 相关背景

视频分析在体育领域中的应用非常广泛，教练员和运动员可以通过控制比赛录像分割、回放、暂停等操作，仔细研究比赛细节，并对运动员的技战术特点进行分析和总结，作为第一手资料指导运动员日常训练及比赛。随着多媒体技术以及视频编解码技术的不断发展，高清视频作为一种可以为研究运动员技战术水平提供强力支持的重要工具，越来越受到各国教练团队的重视。

MTS 视频格式是一种新兴的高清视频格式， 其视频编码通常采用H264 格式，音频编码采用AC-3 格式，分辨率为全高清标准1920*1080.由于MTS 视频格式采用的H264 编码的复杂性，决定了解码MTS 对硬件的兼容能力的高要求，高清片源在许多现有的播放器上播放会出现停顿、失帧的现象，因此有必要转化为兼容性更强的MPEG 格式。使用原来基于DrectShow 技术开发的国家击剑队视频管理系统进行MTS 格式视频编码时会出现无法识别视频格式的问题，并且由于DrectShow 进行视频编码的效率过低，导致处理高清视频时间过长，影响了系统工作效率。

为解决此问题，本文在原视频管理系统的基础上，利用在Windows 环境下编译FFmpeg 产生的二进制库，对原有的视频编辑模块进行改进，实现了MTS 格式高清视频源的剪切和向MPEG 格式的压缩转换，并利用XML Parser 组件将剪辑完成视频的时间线信息保存到XML 文档，实现高清体育视频的编辑、储存和管理。

2 FFmpeg 编码

2.1 FFmpeg 简介

FFmpeg 是一款强大的开源免费跨平台音视频编码器与解码器的集合，属于自由软件，采用GPL 或LGPL 许可证，支持MPEG、MTS、MPEG4 等40 多种编码， MPEG、Matroska、OGG 等90 多种解码，是一个集录制、转换、音/ 视频编解码功能为一体的、完整的开源解决方案。FFmpeg 的开发基于Linux 操作系统， 也可在大多数操作系统中编译和使用， 并且编码效率很高，因此基于以上优点，本系统选择FFmpeg 作为实现视频编辑模块的基础。

2.2 FFmpeg 在Windows 环境下的编译

FFmpeg 是一款基于Linux 系统的跨平台开源项目，采用gcc编译器，在Windows 环境下编译FFmpeg 不能使用BCB 或VC++ 等专用编译器，需要先下载编译工具链mingw 安装包，并配置相应的环境变量。此外还需安装Msys 来模拟Linux 环境，并安装yasm.

exe 的32.bit 版本(对应自己的操作系统)来编译FFmpeg 里面的汇编代码。

安装完毕之后编辑C :\MinGW\msys\1.0\msys.bat 文件，在最后一行加入VS2010 的相对路径，加入这行后编译FFmpeg 时会多出windows 下调用dll 对应的lib,其中常用的有四个库文件：libavcodec、libavformat、libavutil 和libswscale.其中libavcodec 库中存放的是用于音视频解码和编码的decode/encode 模块，libavformat 库中存放的是用于合并/ 分离音频和视频流的muxer/demuxer 模块，libavutil 库中存放的是内存操作等辅助性模块。

2.3 FFmpeg 编码的实现

本视频编辑模块主要是调用音频/ 视频编解码库libavcodec中的相应函数来实现格式转换与剪切功能。在使用FFmpeg 编码之前， 首先需要初始化libavcodec 库，注册所有的编解码器以及文件格式，导入编码器码率、帧速率、编码像素格式等参数，然后寻找编码器并打开进行编码。通过用预设的视频参数为结构体AVCodecContext 中的各个成员参数来赋值，实现编码参数的设置。编码的核心函数是avcodec_encode_video( )。系统每采集一帧的数据， 就送给avcodec_encode_video( ) 函数编码成H.264 视 频流。编码过程中详细的函数和编码流程如图1 所示。

3 基于FFmpeg 的视频编辑模块的实现

改进之后的高清视频编辑模块的结构如图2 所示。

FFmpeg 采用了主程序+ 核心库的编程模式。FFmpeg 核心库隐藏了其内部各种函数的具体格式的实现， 对外提供了统一的调用方法。针对此设计模式的特点，本视频编辑模块具有以下设计特点：通过直接调用FFmpeg 核心库中的函数来实现对视频的编辑操作，同时还对libavformat 库中的MPEG 文件格式处理部分的代码进行了修改，使之实现按固定码率的输出。系统的视频编辑界面采用非线性布局，操作时间轴上需要记录的信息有视频剪辑的入点时间和出点时间( 精确到秒)， 每次在进行视频文件处理时，中间层会首先判断用户是否时间线有改动，若有改动则执行剪切部分代码，将时间轴上的入点信息和出点信息作为调用核心库函数的参数导入结构体AVCodecContext.系统调用avcodec_encode_video() 等相关函数对视频进行编码，若用户勾选了需要格式转换则转换为MPEG 格式，否则按原格式输出。转换完成之后还需将生成的新文件的句柄替换到有关的数据结构之中，最后再将编辑的详细信息通过XML Parser 组件生成XML 文档。具体过程如图3所示。

4 高清视频分析系统

加入高清视频编辑模块之后的国家击剑队视频分析系统如图4 所示。

本文使用了击剑队标准高清测试视频中的一段长4 分05秒的片段对视频编辑模块进行了测试，该片源的图像分辨率为1920*1080,码率为12414kbps, 帧率25 帧/ 秒，源文件大小为363MB,使用本系统截取了一段2 分钟的视频进行格式转换，编码系统正确识别了源文件，并输出了一个138MB 的MPEG 文件。播放器上实际的播放效果表明，改视频编辑模块能正确的将高清MTS格式源文件按用户要求剪切并压缩转换为可流畅播放的MPEG 格式，基本符合了设计要求。

5 结束

本文详细阐述了基于FFmpeg 的高清视频编辑模块的设计和实现，在分析了原有基于DrectShow 技术开发的编辑模块存在的不足的基础上，分析和提出了基于FFMpeg 的改进方案，并介绍了该方案的具体实现，该解决方案在保持了FFmpeg 高效的编码速率、较好的编码质量的同时，做到了与原有系统其他模块的兼容，剪辑出来的视频符合国家击剑队训练使用的各项要求。