关于摄像头Camera的基础知识详解

Camera工作原理

物体通过镜头（lens）聚集的光, 通过CMOS或CCD集成电路，将光信号转换成电信号，再经过内部图像处理器（ISP）处理转换成数字图像信号，最后转换成标准的RGB、YUV等格式图像信号。

Camera模组组成

摄像头模组主要包含： 镜头(lens)、传感器（sensor）、软板（FPC）、图像处理芯片（ISP）。

缩写解析

AEC: Auto Exposure Control, 自动曝光控制

AWB: Auto White Balance, 自动白平衡

AF: Auto Focus, 自动对焦

TE: TIme Exposure, 曝光时间

FBC: Frame Buffer Compressed, 帧缓冲压缩

注意：3A算法指：AEC, AWB, AF算法。

Camera参数指标

IQ: Image Quality, 图像质量

(1)图像解析度/分辨率(ResoluTIon)

(2)图像格式(imageFormat/Colorspace)

像素格式，比如: RGB24，RGB565，RGB444，YUV4:2:2等。

(3)自动白平衡调整(AWB)

白平衡指不管在任何光源下，都能将白色物体还原为白色。白平衡是描述显示器或相机中红、绿、蓝三基色混合生成后白色精确度的一项指标。

(4)色彩深度

色彩深度在计算机图形学领域中表示在位图或者视频帧缓冲区中储存1像素的颜色所用的位数，它也称为位/像素（bpp）。色彩深度越高，可用的颜色就越多。现在市场上的摄像头均已达到24位，有的甚至是32位。

(5)图像噪音

指的是图像中的杂点干扰。

(6)帧率

帧率指的就是1秒钟时间里传输、显示图片的帧数，每一帧就是一个画面，快速连续的多帧就形成了运动的动态效果。高的帧率可以得到更加流畅，更加逼真的画面。

(7)码流

码流就是指视频数据在单位时间内的数量大小，也叫码率，是视频编码画面质量控制中最重要的部分，同样的分辨率和帧率下，视频码流越大，画面质量越高，对应的存储容量也就越大。

(8)曝光

曝光就是图像的明暗程度 ，照片太暗称为曝光不足 ，照片太亮称为曝光过度。曝光由光圈、曝光时间、ISO三者共同决定。

光圈：控制进光量。

曝光时间：光到达的时间长度。

ISO：增益，或称为感光度。

ISP

ISP(Image Signal Processor)，即图像信号处理器，用于处理图像信号传感器输出的图像信号。它在相机系统中占有核心主导的地位，是构成相机的重要设备。ISP 通过一系列数字图像处理算法完成对数字图像的效果处理。主要包括3A、坏点校正、去噪、强光抑制、背光补偿、色彩增强、镜头阴影校正等处理。

主流的CMOS和CCD sensor几乎都是输出Bayer mosaic格式的RAW数据，这种数据格式是无法直接观看的，必须转换成常见的RGB或YUV格式才能被主流的图像处理软件支持，这个转换也是由ISP进行处理的。

(1)ISP内部构成

如下图所示，ISP 内部包含 CPU、SUP IP、IF 等设备，事实上，可以认为 ISP 是一个 SOC，可以运行各种算法程序，实时处理图像信号。

CPU

CPU 即中央处理器，可以运行 AF、LSC 等各种图像处理算法，控制外围设备。

SUB IP

SUB IP 是各种功能模块的通称，对图像进行各自专业的处理。常见的 SUB IP 如 DIS、CSC、VRA 等。

图像传输接口

图像传输接口主要分两种，并口 ITU 和串口 CSI。CSI 是 MIPI CSI 的简称，鉴于 MIPI CSI 的诸多优点，在手机相机领域，已经广泛使用 MIPI-CSI 接口传输图像数据和各种自定义数据。

通用外围设备

通用外围设备指 I2C、SPI、PWM、UART、WATCHDOG 等。

 (2) ISP 处理图像数据的基本流程