核心内容摘要
锵锵三人行，智慧与幽默的视听盛宴，尽在“锵锵锵免费完整观看”
图像基础概念RAW、Mono和BayerRAW原始数据Bayer拜耳阵列Mono黑白RAW和Bayer的关系包含关系RAWBayer和Mono的关系并列关系Bayer RAW只通过一种颜色光其他颜色就丢失了这样得到的图像为什么不会和真实图像颜色有差别去马赛克算法的基本原理邻域插值为什么这种“猜色”是有效的关键前提RGB和YUVRGB红绿蓝RAWBayer/Mono和RGB的关系前后工序关系YUVRGB与YUV对比图像从原始RAW到编码的完整流程与格式阶段阶段一原始信号获取阶段二ISP前端处理RAW域处理阶段三ISP后端处理RGB域处理阶段四编码与输出RAW、Mono和BayerRAW原始数据定义从图像传感器CMOS/CCD的光电二极管上直接读取的、未经处理的原始电信号。
它本质上是每个像素感知到的光照强度亮度。
关键特性单通道虽然最终要生成彩色图像但RAW数据本身是一个单通道的矩阵。
线性像素值与传感器接收的光子数量曝光量成正比关系。
这意味着它和人眼感知的亮度非线性不一致。
包含最多信息保留了传感器的全部原始数据为后期处理提供了最大灵活性。
类比相机的 “数字底片”。
Bayer拜耳阵列定义这不是一种数据格式而是一种覆盖在传感器像素上的彩色滤镜阵列CFA的排列模式。
由伊士曼·柯达公司的布莱斯·拜耳发明是当今彩色图像传感器绝对主流的技术。
工作原理在每个像素前放置一个微小的滤镜只允许红R、绿G、蓝B 一种颜色的光通过。
滤镜按照特定的棋盘格模式排列最常见的是 RGGB 排列第一行红、绿、红、绿…第二行绿、蓝、绿、蓝…。
其中绿色像素是红色或蓝色像素的两倍因为人眼对绿色最敏感。
由于每个小格子像素只允许一种颜色的光通过所以原始的Bayer数据是一张单通道的、马赛克状的图片。
结果经过Bayer滤镜后传感器输出的RAW数据每个像素点只记录了一种颜色R、G或B的亮度。
这种特定排列模式的RAW数据就被称为 Bayer RAW。
类比传感器像一块蒙着 “红绿蓝棋盘格纱布” 的幕布。
Mono黑白定义使用没有覆盖任何彩色滤镜阵列CFA的图像传感器所采集的RAW数据。
工作原理每个像素直接接收所有波长的光因此每个像素记录的都是纯粹的灰度亮度信息。
结果输出的Mono RAW数据也是单通道的但每个像素都是有效的亮度信息不需要进行“猜色”插值。
优势更高的灵敏度由于没有滤镜阻挡光线进光量更大在低光照条件下性能更好。
更高的空间分辨率没有Bayer阵列的插值过程避免了伪色和摩尔纹细节更真实。
更低的成本工艺更简单。
应用工业检测、天文摄影、安防监控尤其在光线很暗时。
RAW和Bayer的关系包含关系RAW是一个广义概念指所有原始的、未处理的传感器数据。
Bayer 是RAW的一种最主流的实现形式。
当我们说一款彩色相机的RAW格式时95%以上的情况指的就是Bayer RAW。
结论Bayer是RAW但RAW不一定是Bayer虽然绝大多数情况下是。
可能存在其他类型的CFA如X-Trans其RAW数据排列方式就不是Bayer。
RAWBayer和Mono的关系并列关系它们都是原始数据RAW但源自不同类型的传感器。
Bayer RAW 来自彩色传感器带Bayer滤镜。
Mono RAW 来自黑白传感器无滤镜。
你可以将它们视为RAW数据的两个子集。
Bayer RAW只通过一种颜色光其他颜色就丢失了这样得到的图像为什么不会和真实图像颜色有差别原因是通过“猜色”算法去马赛克并利用人眼对亮度细节敏感、对颜色细节不敏感的特性从部分样本中高精度地重建出全彩图像。
“去马赛克”是ISP图像信号处理器中最关键、最复杂的算法之一。
它的任务就是根据每个像素已知的一种颜色智能地推断出它缺失的另外两种颜色。
去马赛克算法的基本原理邻域插值算法基于一个基本假设在图像的一个小局部区域内相邻像素的颜色值是相似的。
我们以最常见的 RGGB 拜耳阵列为例RGRGGBGBRGRGGBGB现在我们来“重建”一个红色像素R的完整颜色已知信息这个像素的红色R 分量是真实测量的非常准确。
未知信息这个像素的绿色G 和蓝色B 分量是缺失的。
如何“猜”出绿色G看这个红色像素上下左右的四个邻居像素它们都是绿色G 像素。
算法会取这四个绿色像素值的平均值或使用更复杂的加权平均作为当前红色像素的绿色分量。
因为周围都是绿色所以这个红色像素所在的位置大概率也是相似的绿色亮度。
如何“猜”出蓝色B看这个红色像素的四个对角像素它们都是蓝色B 像素。
同样取这四个蓝色像素值的平均值作为当前红色像素的蓝色分量。
对于其他位置的像素如绿色像素、蓝色像素原理相同利用周围邻居的已知颜色信息来插值出缺失的颜色。
为什么这种“猜色”是有效的关键前提这之所以可行依赖于两个重要的因素绿色像素的数量优势G占50%拜耳阵列中有一半的像素是绿色的。
因为人眼对绿色的亮度最敏感所以绿色通道提供了图像大部分的细节和亮度信息。
这意味着图像最重要的细节基础是采样充足的。
人眼的视觉特性对亮度敏感对色度不敏感这是最关键的一点。
人眼分辨明暗细节的能力远高于分辨颜色细节的能力。
您可以做一个实验看一张彩色图片如果能清晰分辨出相距1毫米的两条黑线那么两条分别红色和蓝色的线可能需要相距
毫米您才能区分开。
正因为这个特性图像的颜色信息色度不需要像亮度信息那样高的分辨率。
电视和视频编码中广泛使用的YUV格式如YUV420就是利用这一原理将色度信息压缩到亮度信息的四分之一而人眼几乎察觉不到差别。
在拜耳阵列中绿色通道相当于高分辨率的亮度信息。
红色和蓝色通道相当于低分辨率的颜色信息。
去马赛克算法本质上就是用高分辨率的亮度信息G通道来引导和约束低分辨率的颜色信息R和B通道进行上采样和重建最终合成一张全彩色图像。
当然这种“猜色”并非完美。
在拍摄极端细密的纹理如织物时可能会产生伪色或摩尔纹这就是算法“猜错”的表现。
现代高端相机和ISP会通过更复杂的算法或在传感器前加入光学低通滤波器来减轻这些问题。
但对于绝大多数场景拜耳方案的重建效果已经足够以假乱真。
RGB和YUVRGB红绿蓝定义这是一种经过ISP图像信号处理器处理后的标准彩色图像格式。
工作原理对Bayer RAW数据进行一个称为 “去马赛克Demosaic” 的关键算法处理。
通过插值计算根据每个像素周围邻居的颜色值推测出该像素缺失的另外两个颜色分量。
结果每个像素都拥有了完整的R、G、B三个颜色通道的值形成了一张我们可以直接观看和处理的全彩色图像。
常见的格式有RGB24每个通道8位。
为了便于压缩和传输RGB通常还会被转换为YUV格式如YUV420。
相当于 “冲洗好的照片” 每个点都有完整的颜色。
按通道排列方式区分RGB888每个通道占8位共24位/像素例如 R8G8B8。
最常用格式兼容多数显示设备。
RGB565红色5位、绿色6位、蓝色5位共16位/像素。
用于嵌入式系统或内存受限场景如单片机屏。
RGB444每个通道4位共12位/像素色彩精度较低。
按存储结构区分Packed RGB同一像素的RGB值连续存储如 [R,G,B,R,G,B,…]。
Planar RGB所有像素的R通道集中存储随后是G、B通道如 [R1,R2,…], [G1,G2,…], [B1,B2,…]。
特殊变体sRGB标准色彩空间用于互联网和通用显示。
Adobe RGB广色域格式适用于专业摄影。
Linear RGB未伽马校正的原始数据用于图像处理。
RAWBayer/Mono和RGB的关系前后工序关系RAWBayer/Mono是“原料”。
RGB是“成品”。
从RAW到RGB需要一个复杂的 “加工”过程ISP处理。
对于Bayer RAW这个加工的核心是“去马赛克”对于Mono RAW这个过程相对简单主要是增益和伽马校正因为它本身已经是灰度图。
YUV定义将亮度Y与色度U、V分离的格式。
Y代表明暗信息U/V代表颜色偏移。
按照色度抽样模式区分YUV444无抽样每个像素对应独立的Y、U、V值。
数据量最大色彩保真度最高等同于RGB24。
YUV422水平方向每两个像素共享一组U/V值抽样率2:1。
数据量减少1/3广泛用于专业视频采集如 YUYV、UYVY。
YUV420水平与垂直方向均抽样每2×2像素共享一组U/V。
数据量减半最常用的视频编码格式如H.264/H.
MP4。
YUV411水平方向每四个像素共享一组U/V进一步压缩较少使用。
按照存储排列方式区分Packed YUVY、U、V值交错存储如 YUYV 序列[Y0,U0,Y1,V0,Y2,U1,…]。
Planar YUV先存储所有Y值再存储UCb、VCr平面如 I420[Y…], [U…], [V…]。
变体包括NV12/NV21Y平面完整U/V交错存储半平面格式。
常见标准命名YUY2Packed YUV422格式字节序Y0,U0,Y1,V0。
I420Planar YUV420Y平面 U平面 V平面。
NV12半平面YUV420Y平面 交错的UV平面。
RGB与YUV对比维度RGBYUV数据量较大无抽样可通过色度抽样大幅压缩主要用途显示、图像处理视频编码、传输典型格式RGB888, RGB565, sRGBYUV420, YUV422, NV12场景选择建议需要高保真颜色如摄影后期→ 选择 RGB444 或 YUV444。
视频流传输如监控摄像头→ 优先 YUV420平衡质量与带宽。
嵌入式显示→ 使用 RGB565 节省内存。
图像从原始RAW到编码的完整流程与格式阶段以彩色图像为例整个流程可以清晰地划分为四个主要阶段阶段一原始信号获取数据格式 Sensor RAW Data通常是Bayer Pattern描述 这是流水线的起点。
图像传感器曝光后直接输出原始电信号。
该数据是线性的即像素值与进光量成正比。
它通常遵循Bayer排列如RGGB、BGGR等是一个单通道矩阵每个像素只有一个颜色值。
关键点 此阶段数据包含传感器所有的原始缺陷噪声、暗角、死像素等。
阶段二ISP前端处理RAW域处理目标在“去马赛克”之前对RAW数据进行校正和优化为后续步骤准备高质量的原始数据。
处理内容坏点校正修复传感器上的死像素或过热像素。
黑电平校正减去传感器的本底噪声偏移量。
镜头阴影校正补偿图像四周的暗角现象。
噪声抑制在RAW域进行初步降噪。
输出格式校正后的线性RAW数据仍然是Bayer模式。
此时数据质量更高但仍未形成全彩图。
阶段三ISP后端处理RGB域处理这个阶段将单通道的Bayer数据转换为全彩图像并进行色彩和画质增强。
去马赛克输入格式校正后的Bayer RAW数据。
过程通过插值算法根据每个像素周围邻居的颜色值计算出该像素缺失的另外两个颜色分量。
输出格式全彩色线性RGB图像。
现在每个像素都有完整的R、G、B值但图像仍然是线性的与人眼的视觉感知不符。
色彩与画质增强输入格式线性RGB图像。
处理内容白平衡校正不同光源下的色偏使白色物体显示为白色。
色彩校正矩阵校正传感器色彩滤镜与标准色彩空间的偏差。
伽马校正将线性RGB映射到非线性空间如sRGB以符合人眼对亮度的非线性感知并更好地利用编码位数。
色彩空间转换将图像从传感器RGB空间转换到标准色彩空间如sRGB、Adobe RGB。
锐化增强图像边缘清晰度。
更多降噪在RGB域进行进一步降噪。
输出格式处理完成的标准RGB图像如sRGB。
这是最终可见的、色彩正确的图片。
为了适应视频编码和显示它通常会被转换为YUV格式如YUV
YUV422。
YUV将亮度信息Y和颜色信息UV分离更便于压缩。
阶段四编码与输出输入格式 处理好的RGB或YUV图像。
过程对于照片 通常将sRGB图像进行JPEG压缩。
JPEG是有损压缩大幅减小文件大小。
对于视频 将一系列YUV图像帧进行视频编码如H.
H.265HEVC、AV1等。
这些编码标准利用帧间和帧内预测进一步压缩数据。
输出格式 最终的压缩文件格式如JPEG图片文件、MP4/MOV视频文件等。