Qt/C++编写全能播放组件(支持ffmpeg2/3/4/5/6/Qt4/5/6)_qt ffmpeg 播放器

一、前言

从代码层面以及自由度来说，用ffmpeg来写全能播放组件是最佳方案（跨平台最好最多、编解码能力最强），尽管已经有优秀的vlc/mpv等方案可以直接用，但是vlc/mpv对标主要是播放器应用层面，其他层面比如视频监控行业领域就比较鸡肋，所以还是从底层一点一滴做解码编码会让自己更熟练。关于网上很多ffmpeg的示例，尤其是播放的示例，数不胜数，比较适合用来入门学习，问题是随着ffmpeg官方不断的迭代更新，很多代码都不可用，因为api变了，尤其是最近5年迭代的特别快，从2017年开始直接猛飚版本，现在直接干到了ffmpeg6版本，一般在安排取消或者改动某些api接口前几个版本，都会打上对应的标记，既有新方法，也兼容旧的api，一般会放在下一个大版本将旧的api接口移除，以便减轻历史包袱，在核心功能编解码这块，一直是兼容的，不会说新版本不兼容以前旧版本的一些编解码格式。

编写这个全能播放组件，面对用户各种各样的需求，当然需要从ffmpeg2兼容到ffmpeg6以及后续的版本，现在用的最多的还是ffmpeg4版本，目测三五年后会陆续切换到ffmpeg5/ffmpeg6，主要是支持的格式多了，尤其是某些新标准的编解码的效率更高。在ffmpeg提供的头文件接口中，并没有提供ffmpeg的大版本号，只提供了字符串版本，所以需要通过子库的主版本号来定义一个ffmpeg的版本号，比如编解码库LIBAVCODEC_VERSION_MAJOR，56=ffmpeg2/57=ffmpeg3/58=ffmpeg4/59=ffmpeg5/60=ffmpeg6，这个编解码库就是ffmpeg的核心，看家的本领都在里面，个人觉得ffmpeg最牛逼的就是编解码和滤镜。在兼容各个版本的这条路上，大致整理了以下几条：

1. 以前AVStream带了解码器参数，stream->codec，现在去掉了，对应放在stream->codecpar中。
2. 拷贝上下文参数以前是avcodec_copy_context，现在对应avcodec_parameters_copy。
3. 参数拷贝以前是avcodec_copy_context，现在对应avcodec_parameters_from_context/avcodec_parameters_to_context。
4. 编码以前是avcodec_encode_video2/avcodec_encode_audio2，现在对应avcodec_send_frame后avcodec_receive_packet（视音频步骤一样）。
5. 解码以前是avcodec_decode_video2/avcodec_decode_audio4，现在对应avcodec_send_packet后avcodec_receive_frame（视音频步骤一样）。
6. 打印解码编码器名称以前是av_codec_next，现在对应av_codec_iterate。
7. 获取和设置旋转角度以前是av_dict_get(stream->metadata, “rotate”, NULL, 0)/av_dict_set(&stream->metadata, “rotate”, “90”, 0)，现在对应av_stream_get_side_data后av_display_rotation_get/av_stream_new_side_data后av_display_rotation_set。

公众号：Qt实战，各种开源作品、经验整理、项目实战技巧，专注Qt/C++软件开发，视频监控、物联网、工业控制、嵌入式软件、国产化系统应用软件开发。

公众号：Qt入门和进阶，专门介绍Qt/C++相关知识点学习，帮助Qt开发者更好的深入学习Qt。多位Qt元婴期大神，一步步带你从入门到进阶，走上财务自由之路。

二、效果图

三、体验地址

1. 国内站点：https://gitee.com/feiyangqingyun
2. 国际站点：https://github.com/feiyangqingyun
3. 个人作品：https://blog.csdn.net/feiyangqingyun/article/details/97565652
4. 体验地址：https://pan.baidu.com/s/1d7TH_GEYl5nOecuNlWJJ7g 提取码：01jf 文件名：bin_video_demo。

四、相关代码

//通过avcode版本定义对应主版本
#if (LIBAVCODEC_VERSION_MAJOR == 56)
#define FFMPEG_VERSION_MAJOR 2
#elif (LIBAVCODEC_VERSION_MAJOR == 57)
#define FFMPEG_VERSION_MAJOR 3
#elif (LIBAVCODEC_VERSION_MAJOR == 58)
#define FFMPEG_VERSION_MAJOR 4
#elif (LIBAVCODEC_VERSION_MAJOR == 59)
#define FFMPEG_VERSION_MAJOR 5
#elif (LIBAVCODEC_VERSION_MAJOR == 60)
#define FFMPEG_VERSION_MAJOR 6
#endif

int FFmpegHelper::getRotate(AVStream *stream)
{
    int rotate = 0;
    //测试发现ffmpeg2不支持旋转滤镜
#if (FFMPEG_VERSION_MAJOR < 3)
    return rotate;
#endif

#if (FFMPEG_VERSION_MAJOR < 5)
    AVDictionaryEntry *tag = NULL;
    tag = av_dict_get(stream->metadata, "rotate", NULL, 0);
    if (tag) {
        rotate = atoi(tag->value);
    }
#else
    //从ffplay源码中找到的方法
    double theta = 0;
    quint8 *displaymatrix = av_stream_get_side_data(stream, AV_PKT_DATA_DISPLAYMATRIX, NULL);
    if (displaymatrix) {
        theta = -av_display_rotation_get((qint32 *) displaymatrix);
        theta -= 360 * floor(theta / 360 + 0.9 / 360);
        rotate = theta;
    }
#endif
    return rotate;
}

void FFmpegHelper::setRotate(AVStream *stream, int rotate)
{
#if (FFMPEG_VERSION_MAJOR < 5)
    av_dict_set(&stream->metadata, "rotate", QString::number(rotate).toUtf8().constData(), 0);
#else
    quint8 *sidedata = av_stream_new_side_data(stream, AV_PKT_DATA_DISPLAYMATRIX, sizeof(qint32) * 9);
    if (sidedata) {
        av_display_rotation_set((qint32 *)sidedata, rotate);
    }
#endif
}

void FFmpegHelper::getStreamInfo(AVStream *stream, int &id, int &width, int &height, qint64 &bitrate, int &sampleRate, int &channelCount, int &profile)
{
#if (FFMPEG_VERSION_MAJOR < 3)
    id = stream->codec->codec_id;
    width = stream->codec->width;
    height = stream->codec->height;
    bitrate = stream->codec->bit_rate;
    sampleRate = stream->codec->sample_rate;
    channelCount = stream->codec->channels;
    profile = stream->codec->profile;
#else
    id = stream->codecpar->codec_id;
    width = stream->codecpar->width;
    height = stream->codecpar->height;
    bitrate = stream->codecpar->bit_rate;
    sampleRate = stream->codecpar->sample_rate;
    channelCount = stream->codecpar->channels;
    profile = stream->codecpar->profile;
#endif
}

int FFmpegHelper::copyContext(AVStream *streamIn, AVStream *streamOut)
{
    int result = -1;
    //设置 codec_tag = 0 这个很关键(不加保存的数据可能不正确)
#if (FFMPEG_VERSION_MAJOR < 3)
    result = avcodec_copy_context(streamOut->codec, streamIn->codec);
    streamOut->codec->codec_tag = 0;
#else
    result = avcodec_parameters_copy(streamOut->codecpar, streamIn->codecpar);
    streamOut->codecpar->codec_tag = 0;
#endif
    return result;
}

int FFmpegHelper::copyContext(AVCodecContext *avctx, AVStream *stream, bool from)
{
    int result = -1;
#if (FFMPEG_VERSION_MAJOR < 3)
    if (from) {
        result = avcodec_copy_context(stream->codec, avctx);
    } else {
        result = avcodec_copy_context(avctx, stream->codec);
    }
#else
    if (from) {
        result = avcodec_parameters_from_context(stream->codecpar, avctx);
    } else {
        result = avcodec_parameters_to_context(avctx, stream->codecpar);
    }
#endif
    return result;
}

int FFmpegHelper::decode(FFmpegThread *thread, AVCodecContext *avctx, AVPacket *packet, AVFrame *frame, bool video)
{
    int result = -1;
#ifdef videoffmpeg
    QString flag = video ? "视频解码" : "音频解码";
#if (FFMPEG_VERSION_MAJOR < 3)
    if (video) {
        avcodec_decode_video2(avctx, frame, &result, packet);
        if (result < 0) {
            thread->debug(result, flag, "avcodec_decode_video2");
            return result;
        }
    } else {
        avcodec_decode_audio4(avctx, frame, &result, packet);
        if (result < 0) {
            thread->debug(result, flag, "avcodec_decode_audio4");
            return result;
        }
    }
    goto end;
#else
    result = avcodec_send_packet(avctx, packet);
    if (result < 0 && (result != AVERROR(EAGAIN)) && (result != AVERROR_EOF)) {
        //if (result < 0) {
        thread->debug(result, flag, "avcodec_send_packet");
        return result;
    }

    while (result >= 0) {
        result = avcodec_receive_frame(avctx, frame);
        if (result == AVERROR(EAGAIN) || result == AVERROR_EOF) {
            break;
        } else if (result < 0) {
            thread->debug(result, flag, "avcodec_receive_frame");
            break;
        }
        goto end;
    }
#endif
    return result;

end:
    //调用线程处理解码后的数据
    if (video) {
        thread->decodeVideo2(packet);
    } else {
        thread->decodeAudio2(packet);
    }
#endif
    return result;
}

int FFmpegHelper::encode(FFmpegSave *thread, AVCodecContext *avctx, AVPacket *packet, AVFrame *frame, bool video)
{
    int result = -1;
#ifdef videosave
    QString flag = video ? "视频编码" : "音频编码";
#if (FFMPEG_VERSION_MAJOR < 3)
    if (video) {
        avcodec_encode_video2(avctx, packet, frame, &result);
        if (result < 0) {
            thread->debug(result, flag, "avcodec_encode_video2");
            return result;
        }
    } else {
        avcodec_encode_audio2(avctx, packet, frame, &result);
        if (result < 0) {
            thread->debug(result, flag, "avcodec_encode_audio2");
            return result;
        }
    }
    goto end;
#else
    result = avcodec_send_frame(avctx, frame);
    if (result < 0) {
        thread->debug(result, flag, "avcodec_send_frame");
        return result;
    }

    while (result >= 0) {
        result = avcodec_receive_packet(avctx, packet);
        if (result == AVERROR(EAGAIN) || result == AVERROR_EOF) {
            break;
        } else if (result < 0) {
            thread->debug(result, flag, "avcodec_receive_packet");
            break;
        }
        goto end;
    }
#endif
    return result;

end:
    thread->writePacket2(packet, video);
#endif
    return result;
}
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120
121
122
123
124
125
126
127
128
129
130
131
132
133
134
135
136
137
138
139
140
141
142
143
144
145
146
147
148
149
150
151
152
153
154
155
156
157
158
159
160
161
162
163
164
165
166
167
168
169
170
171
172
173
174
175
176
177
178
179
180
181
182
183
184
185
186
187
188
189
190
191
192
193
194
195
196
197
198
199
200
201
202
203

五、功能特点

1. 支持各种音视频文件、本地摄像头设备，各种视频流网络流。
2. 支持开始播放、暂停播放、继续播放、停止播放、设置播放进度、倍速播放。
3. 可设置音量、静音切换、抓拍图片、录像存储。
4. 自动提取专辑信息比如标题、艺术家、专辑、专辑封面，自动显示专辑封面。
5. 完美支持音视频同步和倍速播放。
6. 解码策略支持速度优先、质量优先、均衡处理、最快速度。
7. 支持手机视频旋转角度显示，比如一般手机拍摄的视频是旋转了90度的，解码显示的时候需要重新旋转90度才是正的。
8. 自动转换yuv420格式，比如本地摄像头是yuyv422格式，有些视频文件是xx格式，统一将非yuv420格式转换，然后再进行处理。
9. 支持硬解码dxva2、d3d11va等，性能极高尤其是大分辨率比如4K视频。
10. 视频响应极低延迟0.2s左右，极速响应打开视频流0.5s左右，专门做了优化处理。
11. 硬解码和GPU绘制组合，极低CPU占用，比海康大华等客户端更优。
12. 支持视频流中的各种音频格式，AAC、PCM、G.726、G.711A、G.711Mu、G.711ulaw、G.711alaw、MP2L2等都支持，推荐选择AAC兼容性跨平台性最好。
13. 视频存储支持yuv、h264、mp4多种格式，音频存储支持pcm、wav、aac多种格式。默认视频mp4格式、音频aac格式。
14. 支持分开存储音频视频文件，也支持合并到一个mp4文件，默认策略是无论何种音视频文件格式存储，最终都转成mp4及aac格式，然后合并成音视频一起的mp4文件。
15. 支持本地摄像头实时视频显示带音频输入输出，音视频录制合并到一个mp4文件。
16. 支持H264/H265编码（现在越来越多的监控摄像头是H265视频流格式）生成视频文件，内部自动识别切换编码格式。
17. 自动识别视频流动态分辨率改动，重新打开视频流。
18. 支持用户信息中包含特殊字符（比如用户信息中包含+#@等字符）的视频流播放，内置解析转义处理。
19. 纯qt+ffmpeg解码，非sdl等第三方绘制播放依赖，gpu绘制采用qopenglwidget，音频播放采用qaudiooutput。
20. 同时支持ffmpeg2、ffmpeg3、ffmpeg4、ffmpeg5、ffmpeg6以及后续版本，全部做了兼容处理。如果需要支持xp需要选用ffmpeg3或ffmpeg2。
21. 支持滤镜，源头带各种水印及图形效果，可以将OSD标签信息和各种图形信息写入到MP4文件。