上一节,我们采集了屏幕图像 并且转换成YUV420P写入了文件中。
既然得到了yuv420p数据,那么接下来的操作就是编码了。
在开始编码之前,我们先发点时间了解下YUV420P这种格式,当然,不了解这个对我们开发录屏软件是没有影响的。
不过既然要做视频开发,不了解YUV420P似乎有点说不过去吧。
那么,下面就开始讲解YUV420P吧。
说到图像大家比较熟悉的估计还是RGB吧,即使不懂RGB的细节,至少也到知道R G B分别代表什么。
计算机彩色显示器显示色彩的原理与彩色电视机一样,都是采用R(Red)、G(Green)、B(Blue)相加混色的原理:通过发射出三种不同强度的电子束,使屏幕内侧覆盖的红、绿、蓝磷光材料发光而产生色彩。这种色彩的表示方法称为RGB色彩空间表示(它也是多媒体计算机技术中用得最多的一种色彩空间表示方法)。
根据三基色原理,任意一种色光F都可以用不同分量的R、G、B三色相加混合而成。
F = r [ R ] + g [ G ] + b [ B ]
其中,r、g、b分别为三基色参与混合的系数。当三基色分量都为0(最弱)时混合为黑色光;而当三基色分量都为k(最强)时混合为白色光。调整r、g、b三个系数的值,可以混合出介于黑色光和白色光之间的各种各样的色光。
那么YUV又从何而来呢?在现代彩色电视系统中,通常采用三管彩色摄像机或彩色CCD摄像机进行摄像,然后把摄得的彩色图像信号经分色、分别放大校正后得到RGB,再经过矩阵变换电路得到亮度信号Y和两个色差信号R-Y(即U)、B-Y(即V),最后发送端将亮度和色差三个信号分别进行编码,用同一信道发送出去。这种色彩的表示方法就是所谓的YUV色彩空间表示。
采用YUV色彩空间的重要性是它的亮度信号Y和色度信号U、V是分离的。如果只有Y信号分量而没有U、V分量,那么这样表示的图像就是黑白灰度图像。彩色电视采用YUV空间正是为了用亮度信号Y解决彩色电视机与黑白电视机的兼容问题,使黑白电视机也能接收彩色电视信号。
YUV420介绍:
YUV420格式是指,每个像素都保留一个Y(亮度)分量,而在水平方向上,不是每行都取U和V分量,而是一行只取U分量,则其接着一行就只取V分量,以此重复(即4:2:0, 4:0:2, 4:2:0, 4:0:2 .......),所以420不是指没有V,而是指一行采样只取U,另一行采样只取V。在取U和V时,每两个Y之间取一个U或V。但从4x4矩阵列来看,每4个矩阵点Y区域中,只有一个U和V,所以它们的比值是4:1。所以对于一个像素,RGB需要8 * 3 = 24位,即占3个字节;而YUV420P,8 + 8/4 + 8/4 = 12位,即占2个字节,其中8指Y分量,8/4指U和V分量。
从这里也可以看出,YUV要比RGB节省存储空间。
这里为什么一个分量是8位呢?
不管是R G B还是 Y U V他们每个分量的取值都是0-255,而计算机都是用二进制来存储的。巧了,一个字节(8bit)刚好可以记录0-255的数,所以刚好就是这样存了吧。
yuv420又分为yuv420p和yuv420sp.
yuv420sp格式如下:
yuv420P格式如下:
还是图像比较直观,从上面的图片中就能看出来yuv420sp和yuv420p的区别了。
对于所有YUV420图像,它们的Y值排列是完全相同的,因为只有Y的图像就是灰度图像。YUV420sp与YUV420p的数据格式它们的UV排列在原理上是完全不同的。420p它是先把U存放完后,再存放V,也就是说UV它们是连续的。而420sp它是UV、UV这样交替存放的。(记得结合上图查看)
目前我所知道的安卓手机上摄像头采集到的数据就是yuv420sp。
而我们前面保存的是YUV420P格式的数据。
因此我们先抛开yuyv420sp,直接去研究yuv420p。
有了上面的理论,就可以准确的计算出一个YUV420在内存中存放的大小。
Y = width * hight (总和)
U = Y / 4
V = Y / 4
所以一张YUV图像他的存储空间就是:
width * height + width * height / 4 + width * height / 4
化简后就是 width * height *3 /2
看来数学还是有点用的
YUV420P内存中的存储方式:
YUV格式通常有两大类:打包(packed)格式和平面(planar)格式。
前者将YUV分量存放在同一个数组中,通常是几个相邻的像素组成一个宏像素(macro-pixel);
而后者使用三个数组分开存放YUV三个分量
YUV420P(planar格式)在ffmpeg中存储是在struct AVFrame的data[]数组中
data[0]-------Y分量
data[1]------U分量
data[2]-------V分量
现在回过头看一下,我们前面保存yuv420图像的代码:
..... int y_size=pCodecCtx->width*pCodecCtx->height; fwrite(pFrameYUV->data[0],1,y_size,fp_yuv); //Y fwrite(pFrameYUV->data[1],1,y_size/4,fp_yuv); //U fwrite(pFrameYUV->data[2],1,y_size/4,fp_yuv); //V ....
是不是完全搞懂了。
学习音视频技术欢迎访问 http://blog.yundiantech.com
音视频技术交流讨论欢迎加 QQ群 121376426