阅读量:0
文章目录
前言
Qt 6版本中，视频播放能力得到了质的飞越，相对于qt5，变化也很多，具体变化可以看官方说明 https://www.qt.io/blog/qt-multimedia-in-qt-6
在Qt5版本中，如果需要播放一个视频，由于后端的解码能力很弱，绝大多数需要写解码的代码，但是在Qt6中，后端加入了ffmpeg，解码已经不是我们所需解决的问题，Qt Multimedia 可以很好的去播放视频
但是，在项目中大家可能不止会播放本地视频，很多情况下需要播放在线视频，比较低延时的rtsp流，udp裸流等等。对于需要实时性高的同学来说，qt的后端能力还是没有做好。这时还是需要自己处理视频流。
在Qt5时代，要播放一个低延时视频流，通常是使用ffmpeg自己解封装，解码视频流后，再将yuv/nv12等视频数据交给qt去渲染，问题是qt渲染能力低，很早大家使用sdl等工具去渲染视频，但由于sdl和qt各自使用自己的渲染事件，常会导致闪烁等问题，后来开始使用opengl,手写shader自己处理yuv数据，这个方案确实可行，效率也很高，但是得学习opengl相关知识。
但到了Qt6,新的QVideoSink，完全具备各视频的渲染，yuv，nv12等常见格式一点都不在话下，而且支持多种渲染方式，比如opengl和d3d11，d3d9等等，它主要是使用了Qt6的QRHI技术，有兴趣的同学可以去了解了解。
我这里主要讲讲如何使用ffmpeg解码+QVideoSink进行视频渲染播放
一、先上代码
1.将yuv/nv12等解码后的视频数据放入QVideoSink内
class VideoSourceRenderer : public QObject { Q_OBJECT Q_PROPERTY(QVideoSink* videoSink READ videoSink WRITE setVideoSink NOTIFY videoSinkChanged) public: VideoSourceRenderer() { } QVideoSink* videoSink() const { return m_videoSink.get(); } void setVideoSink(QVideoSink* videoSink) { if (m_videoSink == videoSink) return; m_videoSink = videoSink; emit videoSinkChanged(); } signals: void videoSinkChanged(); private: QPointer<QVideoSink> m_videoSink; QVideoFrameFormat m_videoFrameFormat; public: bool init(int width, int height,QVideoFrameFormat::PixelFormat fmt) { QSize _size(width, height); m_videoFrameFormat = QVideoFrameFormat(_size, fmt); m_videoSink->setVideoFrame(m_videoFrameFormat); return true; } // 这里怎么操作都可以，只要将解码后的yuv或者nv12等格式的数据放入QVideoFrame内，再设置给videoSink即可 bool draw(const unsigned char* y, int y_pitch, const unsigned char* u, int u_pitch, const unsigned char* v, int v_pitch) { bool re = false; QVideoFrame frame(QVideoFrameFormat(QSize(m_width, m_height), m_videoFrameFormat.pixelFormat())); if (!frame.isValid() || !frame.map(QVideoFrame::WriteOnly)) { return false; } if (y && y_pitch > 0) memcpy(frame.bits(0), y, y_pitch * m_height); if (u && u_pitch > 0) memcpy(frame.bits(1), u, u_pitch * m_height / 2); if (v && v_pitch > 0) memcpy(frame.bits(2), v, v_pitch * m_height / 2); frame.setStartTime(0); frame.unmap(); m_videoSink->setVideoFrame(frame); return re; } }; 2.将AVFrame数据保存进QVideoSink
我这里是从项目中摘出来的代码,如果有同学在使用中,可不必这样,原则上只是拷贝AVFrame的数据
class TiVideoEngineManager : public QObject{ Q_OBJECT public: Q_PROPERTY(VideoSourceRenderer* videoRenderer READ videoRenderer CONSTANT) TiVideoEngineManager() { m_videoRenderer = new VideoSourceRenderer(); startTimer(1); } protected: void timerEvent(QTimerEvent* event) override { //Get AVFrame from ffmpeg decodec, AVFrame* frame = m_decodec.getFrame(); if (frame && m_videoRenderer) { m_videoRenderer->draw(frame->data[0], frame->linesize[0], frame->data[1], frame->linesize[1], frame->data[2], frame->linesize[2]); } } private: VideoSourceRenderer* m_videoRenderer = nullptr; }; 3.在qml中的显示
在QML中,使用VideoOutput即可完美显示
在qml中时,需要提前进行注册TiVideoEngineManager ,VideoSourceRenderer 不然qml会无法访问
// in qml VideoOutput { id:videoutput Component.onCompleted: { //需要提前注册好TiVideoEngineManager TiVideoEngineManager.videoRenderer.videoSink = videoutput.videoSink } } 4.同理,在widget中也可显示
widget中我并未测试，但是QVideoWidget内也同样有videoSink，要在QVideoWidget显示视频，只需将yuv数据设置进videoSink后即可。
二、QVideoFarme支持的格式
可以查看官方手册https://doc.qt.io/qt-6/qvideoframeformat.html
它格式很多，不确实是否都可以使用，但是常见的yuv数据格式都是支持的
三、说说渲染效率问题
我在渲染YUV数据时，界面使用的是qml，会发现渲染会比纯使用opengl慢100ms，找了找发现，在Windows上，Qt6.5后，Qt整个界面的渲染默认是根据系统平台决定的，在win11上默认使用的是D3D11,这会导致QVideoSink也是使用D3D11进行yuv的渲染，在理想中，windows中d3d11渲染yuv视频应该会更快才对，但实际并没有。
在尝试将Qt整个界面的渲染改为Opengl后，整个渲染速度即可手写的opengl渲染速度一样。
所以我认为是Qt的RHI中,d3d11的视频渲染没有写好，在Qt官方提交过bug，官方人员只说是关注，不知道后续能不能解决
如果真的需要关心这100ms的渲染效率，可以尝试在main函数的第一行设置
QQuickWindow::setGraphicsApi(QSGRendererInterface::OpenGL); 