从零开始学习音视频编程技术(八) FFMPEG Qt视频播放器之音视频同步
时间:2016年09月12日 人气:...

前面分别讲解了:

  1. 用FFMPEG和Qt解码视频并显示到界面上。

  2. 用FFMPEG+SDL解码播放音频




现在我们就将视频和音频合并,并让声音和画面同步。


加入音频的部分就不做讲解了,这里主要讲下声音和视频同步的步骤。


首先刚开始播放的时候通过av_gettime()获取系统主时钟,记录下来。

以后便不断调用av_gettime()获取系统时钟 减去之前记录下的差值,便得到了一个视频播放了多久的实际时间。


对于视频的同步我们这样做:

从视频读取出的数据中包含一个pts的信息(每一帧图像都会带有pts的信息,pts就是播放视频的时候此图像应该显示的时间)。 这样只需要使用pts和前面获取的时间进行对比,pts比实际时间大,就调用sleep函数等一等,否则就直接播放出来。这样就达到了某种意义上的同步了。


而对于音频:

从前面使用SDL的例子,其实就能够发现一个现象:我们读取音频的线程差不多就是瞬间读完放入队列的,但是音频播放速度却是正常的,并不是一下子播放完毕。因此可以看出,在音频播放上,SDL已经帮我们做了处理了,只需要将数据直接交给SDL就行了。


视频部分同步代码大致如下:

    int64_t start_time = av_gettime();    \n    int64_t pts = 0; //当前视频的pts\n\n    while (1)\n    {\n        if (av_read_frame(pFormatCtx, packet) < 0)\n        {\n            break; //这里认为视频读取完了\n        }\n\n        int64_t realTime = av_gettime() - start_time; //主时钟时间\n\n        while(pts > realTime)\n        {\n            SDL_Delay(10);\n            realTime = av_gettime() - start_time; //主时钟时间\n        }\n\n        if (packet->stream_index == videoStream)\n        {\n            ret = avcodec_decode_video2(pCodecCtx, pFrame, &got_picture,packet);\n            if (packet->dts == AV_NOPTS_VALUE && pFrame->opaque&& *(uint64_t*) pFrame->opaque != AV_NOPTS_VALUE)\n            {\n                pts = *(uint64_t *) pFrame->opaque;\n            }\n            else if (packet->dts != AV_NOPTS_VALUE)\n            {\n                pts = packet->dts;\n            }\n            else\n            {\n                pts = 0;\n            }\n\n            pts *= 1000000 * av_q2d(mVideoState.video_st->time_base);\n            pts = synchronize_video(&mVideoState, pFrame, pts);\n\n            if (got_picture) {\n                sws_scale(img_convert_ctx,\n                        (uint8_t const * const *) pFrame->data,\n                        pFrame->linesize, 0, pCodecCtx->height, pFrameRGB->data,\n                        pFrameRGB->linesize);\n\n                //把这个RGB数据 用QImage加载\n                QImage tmpImg((uchar *)out_buffer,pCodecCtx->width,pCodecCtx->height,QImage::Format_RGB32);\n                QImage image = tmpImg.copy(); //把图像复制一份 传递给界面显示\n                emit sig_GetOneFrame(image);  //发送信号\n            }\n\n            av_free_packet(packet);\n        }


synchronize_video函数是根据解码后的视频数据 计算出视频的pts:

static double synchronize_video(VideoState *is, AVFrame *src_frame, double pts) {\n    double frame_delay;\n\n    if (pts != 0) {\n        /* if we have pts, set video clock to it */\n        is->video_clock = pts;\n    } else {\n        /* if we aren't given a pts, set it to the clock */\n        pts = is->video_clock;\n    }\n    /* update the video clock */\n    frame_delay = av_q2d(is->video_st->codec->time_base);\n    /* if we are repeating a frame, adjust clock accordingly */\n    frame_delay += src_frame->repeat_pict * (frame_delay * 0.5);\n    is->video_clock += frame_delay;\n    return pts;\n}



到此,播放器已经有点样子了,已经可以播放大部分的视频了,是的,我说的是大部分,还有些特别的视频,播放的时候音视频同步有问题,后面再来完善它。



完整工程下载地址:

http://download.csdn.net/detail/qq214517703/9628842



======BUG修复  Begin =======

2017-11-28更新:

此程序在Qt5下使用的时候会有一个bug,既播放器后打开后是黑屏的,原因是文件没有正常打开,当时用的是Qt4测试的,所有木有发现。

解决方法其实很简单:

void VideoPlayer::run()里面的

char *file_path = mFileName.toUtf8().data();

修改成如下即可:

char file_path[512] = {0};    \nstrcpy(file_path, mFileName.toUtf8().data())

======BUG修复  End =======


学习音视频技术欢迎访问 http://blog.yundiantech.com  

音视频技术交流讨论欢迎加 QQ群 121376426