从零开始学习音视频编程技术(十四) RGB/YUV格式详解
时间:2016年09月24日 人气:...


上一节,我们采集了屏幕图像 并且转换成YUV420P写入了文件中。

既然得到了yuv420p数据,那么接下来的操作就是编码了。


在开始编码之前,我们先发点时间了解下YUV420P这种格式,当然,不了解这个对我们开发录屏软件是没有影响的。

不过既然要做视频开发,不了解YUV420P似乎有点说不过去吧。


那么,下面就开始讲解YUV420P吧。


说到图像大家比较熟悉的估计还是RGB吧,即使不懂RGB的细节,至少也到知道R G B分别代表什么。


计算机彩色显示器显示色彩的原理与彩色电视机一样,都是采用R(Red)、G(Green)、B(Blue)相加混色的原理:通过发射出三种不同强度的电子束,使屏幕内侧覆盖的红、绿、蓝磷光材料发光而产生色彩。这种色彩的表示方法称为RGB色彩空间表示(它也是多媒体计算机技术中用得最多的一种色彩空间表示方法)。


根据三基色原理,任意一种色光F都可以用不同分量的R、G、B三色相加混合而成。

F = r [ R ] + g [ G ] + b [ B ]

  其中,r、g、b分别为三基色参与混合的系数。当三基色分量都为0(最弱)时混合为黑色光;而当三基色分量都为k(最强)时混合为白色光。调整r、g、b三个系数的值,可以混合出介于黑色光和白色光之间的各种各样的色光。


那么YUV又从何而来呢?在现代彩色电视系统中,通常采用三管彩色摄像机或彩色CCD摄像机进行摄像,然后把摄得的彩色图像信号经分色、分别放大校正后得到RGB,再经过矩阵变换电路得到亮度信号Y和两个色差信号R-Y(即U)、B-Y(即V),最后发送端将亮度和色差三个信号分别进行编码,用同一信道发送出去。这种色彩的表示方法就是所谓的YUV色彩空间表示。
  采用YUV色彩空间的重要性是它的亮度信号Y和色度信号U、V是分离的。如果只有Y信号分量而没有U、V分量,那么这样表示的图像就是黑白灰度图像。彩色电视采用YUV空间正是为了用亮度信号Y解决彩色电视机与黑白电视机的兼容问题,使黑白电视机也能接收彩色电视信号。



YUV420介绍:


YUV420格式是指,每个像素都保留一个Y(亮度)分量,而在水平方向上,不是每行都取U和V分量,而是一行只取U分量,则其接着一行就只取V分量,以此重复(即4:2:0, 4:0:2, 4:2:0, 4:0:2 .......),所以420不是指没有V,而是指一行采样只取U,另一行采样只取V。在取U和V时,每两个Y之间取一个U或V。但从4x4矩阵列来看,每4个矩阵点Y区域中,只有一个U和V,所以它们的比值是4:1。所以对于一个像素,RGB需要8 * 3 = 24位,即占3个字节;而YUV420P,8 + 8/4 + 8/4 = 12位,即占2个字节,其中8指Y分量,8/4指U和V分量。


从这里也可以看出,YUV要比RGB节省存储空间。


这里为什么一个分量是8位呢?

不管是R G B还是 Y U V他们每个分量的取值都是0-255,而计算机都是用二进制来存储的。巧了,一个字节(8bit)刚好可以记录0-255的数,所以刚好就是这样存了吧


yuv420又分为yuv420p和yuv420sp.


yuv420sp格式如下:


yuv420P格式如下:


还是图像比较直观,从上面的图片中就能看出来yuv420sp和yuv420p的区别了。

对于所有YUV420图像,它们的Y值排列是完全相同的,因为只有Y的图像就是灰度图像。YUV420sp与YUV420p的数据格式它们的UV排列在原理上是完全不同的。420p它是先把U存放完后,再存放V,也就是说UV它们是连续的。而420sp它是UV、UV这样交替存放的。(记得结合上图查看)


目前我所知道的安卓手机上摄像头采集到的数据就是yuv420sp。

而我们前面保存的是YUV420P格式的数据。

因此我们先抛开yuyv420sp,直接去研究yuv420p。


有了上面的理论,就可以准确的计算出一个YUV420在内存中存放的大小。
Y = width * hight (总和)
U = Y / 4  
V = Y / 4


所以一张YUV图像他的存储空间就是:

 width * height + width * height / 4 + width * height / 4 

化简后就是 width * height *3 /2

看来数学还是有点用的


YUV420P内存中的存储方式:

YUV格式通常有两大类:打包(packed)格式和平面(planar)格式。

前者将YUV分量存放在同一个数组中,通常是几个相邻的像素组成一个宏像素(macro-pixel);

而后者使用三个数组分开存放YUV三个分量


YUV420P(planar格式)在ffmpeg中存储是在struct AVFrame的data[]数组中

data[0]-------Y分量               

data[1]------U分量                          

data[2]-------V分量


现在回过头看一下,我们前面保存yuv420图像的代码:

.....
int y_size=pCodecCtx->width*pCodecCtx->height;                
fwrite(pFrameYUV->data[0],1,y_size,fp_yuv);    //Y
fwrite(pFrameYUV->data[1],1,y_size/4,fp_yuv);  //U
fwrite(pFrameYUV->data[2],1,y_size/4,fp_yuv);  //V
....

是不是完全搞懂了。



学习音视频技术欢迎访问 http://blog.yundiantech.com  

音视频技术交流讨论欢迎加 QQ群 121376426