智能汽车图像及视频处理创新与应用

美摄从2021年起开始向汽车领域拓展，目前已有多款产品推向智己汽车等量产车型。在汽车行业，美摄深度融合人工智能与视音频技术，提供涵盖图像画质增强、视频智能创作、车内娱乐互动、AI识别与处理等在内的全链路技术解决方案。

2022年12月6日，由盖世汽车主办，中国（上海）自由贸易试验区临港新片区管理委员会指导，上海金桥临港综合区投资开发有限公司协办的2022第四届智能座舱与用户体验大会上，北京美摄网络科技有限公司产品总监刘翀介绍了目前美摄在汽车领域主打的图像及视频处理方案，将视音频技术移植到车机之上，使汽车具备视频编辑处理能力，同时可以对车辆摄像头采集到的画面进行分析识别，并与车机硬件联动，为用户带来智能语音数字人交互、车内氛围灯控制等更加场景化、智能化的驾乘体验。

刘翀 | 北京美摄网络科技有限公司 产品总监

以下是演讲内容整理：

我带来的演讲主题是《智能汽车图像及视频处理创新与应用》，内容主要是美摄在汽车图像及视频处理的整体方案，我会尽量以简明扼要的方式向大家分享美摄的优势和特点。

美摄的发展历程和业务范围

讲述整体产品方案前，先向大家简单介绍一下美摄公司的情况。北京美摄网络科技有限公司是一家专注于提供视音频整体解决方案的技术公司，起家于广电行业，长期根植于互联网行业，逐渐拓展到汽车领域。我们长期为广播电视领域提供服务，电视节目、包括电影制作中看到的很多音视频技术都是由美摄提供的。

2017年，美摄将自己的产品提供给互联网厂商、手机厂商使用；2021年，美摄开始把我们的技术向汽车领域拓展，现在已有多款搭载美摄产品的车型量产，比如智己L7。美摄的产品分为六大领域，1、视音频处理SDK，2、AI智能处理产品，3、云端/PC端视频处理方案，4、汽车及智能硬件方案，5、AR——数字人产品，6、开发及设计服务。

目前，美摄提供了传统互联网和手机领域70-80%的服务，汽车是我们新发的领域，已经和国内多个互联网头部厂商合作量产化方案，在不久的将来，相信大家可以在车机上看到、用到美摄的产品。

美摄在图像、视频领域的独特解决方案

基于美摄在图像、视频的技术能力，我们可以提供全链路的技术解决方案，除了视频剪辑处理，还有图像的画质增强，视频的智能创作，车内娱乐和互动，AI识别及处理的能力，通过以上功能模块，我们帮助用户完成从摄像头采集、画质增强、视频内容创作、后期的自动识别等工作。

首先是图像及画质增强，关键点在于对摄像头的拍摄和预览进行技术上的提升，最基础的是图像的校正算法，我们知道，很多车企摄像头都带有校正功能或者其他算法点，但是美摄提供的核心功能在于对画面进行二次处理，保证用户可以在预览时就看到非常完整的视频效果，整套方案最大的优势在于算力消耗低。在我们的汽车客户里，很多都使用美摄的校正算法对车内摄像头的画面做二次修正，让整个画面达到可拍摄，可预览的高质量水准。

这方面以外，我们还提供智能调色的功能，将不同终端的拍摄场景在色调上统一化。美摄现在引入了一套自动化的处理算法，不需要进行特殊的产品标定，可以通过AI自动检测画面中的问题，并动态地对不同场景进行处理，达到专业的校正效果，提升整个画面的质量。这一算法占用算力也非常少，可以在低算力的情况进行实时化处理。

除了以上这点，在汽车的拍摄处理上还存在一个问题：当前的车规级摄像头，在夜景拍摄时往往多噪点，针对这点，我们会提供一套AI夜景增强的算法：结合AI识别算法和色彩校正算法，自动判断可能产生的噪点问题，调节画面的色彩。

此外，目前车载摄像头的数量越来越多，单一使用并不能发挥这些设备的全部潜力，为了形成更好的用户观感和体验，美摄会提供一套多摄拼接的算法，利用车辆上的多种摄像头，结合美摄的校正、图像融合、智能化拼接等处理算法，最大程度消除变形问题，获得超广角、360度全视野的实时预览效果。

汽车行驶的过程中进行拍摄和预览，抖动一直是很大的问题，这种情况就可以配合非光学防抖和光学防抖的设备，结合美摄的AI算法，去识别画面中抖动和模糊的情况，让车辆行进中的多场景设备达到专业级拍摄和预览的效果。

以上这些都是基于摄像头做的基础化处理，现在还有一个方向：车辆上视频的智能创作。很多的车厂不仅把车辆定义为行驶类工具，也将其定义为记录风景的载体，车辆的一次拍摄过程中会产生大量的视频，把这些视频交给用户进行手动剪辑和制作，会带来大量的创作难题。

那么，如何有限的提取精彩内容，并完成艺术化的创作包装，这就成为了车辆拍摄视频智能创作的明显痛点，针对这点，美摄提供一套智能剪辑的方案，包括内容的AI检测，视频智能剪辑，后期配乐等，方便用户保存和分享行车过程中比较优质的内容。

用户只需要导入视频，美摄就会匹配剪辑手法和音乐，这一方案具有良好的拓展性，会根据车辆使用习惯，快速匹配场景，并随着用户的内容逐渐扩充智能剪辑的方案，形成智能化的产品。

如果用户拍摄的是比较单调的行车视频，美摄也会考虑让视频更娱乐化的方案，比如利用美摄的三维渲染引擎和AI天空分割技术去添加虚拟天空特效，让普通的行车视频产生更加出彩的效果。

美摄在汽车领域的解决方案

除了以上这些，美摄也在探索和车机结合的娱乐和互动方案。首先，车内的AR特效方案，现在车内配备了很多摄像头，美摄可以在结合车内摄像头的情况下，提供完整的AR效果，在整个方案中，我们会充分考虑到车载摄像头广角的问题，通过自动化的方案进行处理，形成优质的车内拍摄效果。

除了这块之外，美摄还会和车机语音系统结合，搭建车载数字人，形成语音交互系统的延伸。利用三维渲染引擎，结合语音交互系统，反馈实时音频流、文字、动作等内容，实时驱动数字人形象，升级整体的座舱交互体验。

除了这些之外，AI识别及处理能力是美摄非常重要的优势点，美摄可以根据车辆各个摄像头采集的画面进行自动化的图像处理，比如场景识别、人物识别、天空云彩等景象识别、地标属性识别，在明确内容属性的情况下，可以和车机硬件进行联动，使车机无需完全依附手动控制，可以自动帮助用户去采集和生成内容，以达到更好的人机交互体验。

去年开始，美摄还在发力车端信息的匿名化处理这一领域。很多车辆的数据在上云或者离车之前都需要进行匿名化的处理，基于法规的相关要求，美摄提供的方案可以对检测到的人脸和车牌进行遮挡等处理，整个方案针对车机的需求做了大量适配和优化，尽量降低了对于CPU资源的占用，可以在车规级芯片上完成这类处理任务。

除了以上这些在车机端的应用和处理之外，我们注意到，用户的车机和手机往往有互联的需求，比如，用户在车辆上拍摄的视频内容和照片都可以回传到手机APP内进行预览，美摄可以充分发挥在手机领域的传统优势，资源同传之外，视频也可以直接在手机上上进行处理和剪辑、分享和输出。

以上就是美摄在车端产品方案的整体介绍，我们希望，可以同不同汽车厂商实现深度合作，让汽车不仅限于行驶工具，还可以作为用户精彩生活的记录工具，加速高度智能化的车机时代的带来。