智能汽车图像及视频处理创新与应用

自2021年以来，美舍一直在向汽车领域扩张。目前已有多款产品推至智机汽车等量产车型。在汽车行业，美舍深度融合人工智能和视音频技术，提供包括画质增强、视频智能创作、车内娱乐交互、AI识别处理等全链路技术解决方案。

2022年12月6日，在由盖世汽车主办，中国自贸试验区临港新区管委会指导，上海金桥临港综合区投资发展有限公司协办的2022年第四届智能驾驶舱及用户体验大会上，北京美舍网络科技有限公司产品总监刘伟介绍了美舍目前在汽车领域的图像和视频处理方案，并将视音频技术移植到汽车上。该车具备视频编辑处理能力，同时可对车内摄像头拍摄的图像进行分析识别，并与车内硬件联动，为用户带来智能语音数字人机交互、车内氛围灯控制等更加场景化、智能化的驾驶体验。

北京美舍网络科技有限公司产品总监。

以下是演讲内容:

我演讲的主题是智能车载图像视频处理的创新与应用，主要围绕美舍在车载图像视频处理方面的整体方案。我会尽量用简洁的方式和大家分享美舍的优点和特色。

美容摄影的发展历程和业务范围

在讲整体产品方案之前，先简单介绍一下美舍公司的情况。北京美舍网络科技有限公司是一家专注于提供视音频整体解决方案的科技公司。起步于广电行业，长期扎根于互联网行业，并逐渐扩展到汽车领域。我们长期以来一直为广播电视领域提供服务。电视节目里看到的很多音视频技术，包括电影制作，都是美舍提供的。

2017年，美舍向互联网厂商和手机厂商提供产品；2021年，美舍开始将我们的技术拓展到汽车领域。现在一批搭载美舍产品的车型已经量产，比如智机L7。梅的产品分为六个方面，1。视频和音频处理SDK，2。人工智能处理产品，3。云/PC视频处理解决方案，4。汽车和智能硬件解决方案，5。AR-数码产品，6。开发和设计服务。

目前，美舍在传统互联网和手机领域提供了70-80%的服务。汽车是我们新开发的领域，与国内多家互联网头部厂商合作量产。在不久的将来，相信你可以在自己的车上看到和使用美舍的产品。

美丽在图像和视频领域的独特解决方案

基于美舍在图像和视频方面的技术能力，我们可以提供全链路的技术解决方案，包括视频剪辑处理、图像质量增强、智能视频创作、车载娱乐和交互以及AI识别和处理能力。通过以上功能模块，帮助用户完成摄像头采集、图像质量增强、视频内容创作、后期自动识别等任务。

首先是图像和画质增强，重点在于相机拍摄和预览的技术提升，最基础的就是图像校正算法。我们知道，很多车企的摄像头都有校正功能或者其他算法点，但是美舍提供的核心功能在于对画面的二次处理，以保证用户在预览时能看到非常完整的视频效果。整个方案最大的优势在于计算功耗低。在我们的汽车客户中，许多人使用石梅的校正算法对车内摄像头的图像进行二次校正，以便以高质量的水平拍摄和预览整个图像。

此外，我们还提供了智能配色的功能，统一了不同终端拍摄场景的颜色。美舍现在推出了自动处理算法，不需要专门的产品校准。它可以通过AI自动检测画面中的问题，并对不同场景进行动态处理，达到专业的校正效果，提升整体画面质量。该算法占用的计算能力非常小，可以在计算能力较低的情况下实时处理。

除了以上这些，汽车的拍摄还有一个问题:现在的车规相机在夜间拍摄时经常会产生很大的噪音。鉴于此，我们将提供一套AI夜景增强算法:结合AI识别算法和色彩校正算法，自动判断可能出现的噪点问题，调整画面色彩。

另外，目前车载摄像头的数量越来越多，单一使用无法充分发挥这些设备的潜力。为了形成更好的用户感知和体验，美舍会提供一套多摄像头拼接算法。利用车辆上的各种摄像头，结合美舍的校正、图像融合、智能拼接等处理算法，最大程度消除畸变问题，获得超广角、360度全视场的实时预览效果。

开车时拍摄和预览汽车时，抖动一直是个大问题。在这种情况下，我们可以通过结合非光学防抖和光学防抖设备以及美舍的AI算法，识别画面中的抖动和模糊，让车内的多场景设备达到专业的拍摄和预览效果。

这些都是基于摄像头的基础处理，现在又多了一个方向:车载视频的智能创作。很多汽车厂商不仅将车辆定义为驾驶工具，更是记录风景的载体。车辆的一次拍摄过程中会产生大量的视频，将这些视频交给用户进行人工剪辑和制作会带来大量的创作问题。

那么，如何在有限的方式下提取精彩内容，完成艺术创作和包装，就成为车载拍摄视频智能创作的一个明显痛点。鉴于此，美舍提供了一套智能剪辑方案，包括内容的AI检测、视频的智能剪辑、后期配乐等。，方便用户在驾驶过程中保存和分享优质内容。

用户只需要导入视频，美舍会匹配剪辑手法和音乐。该方案具有良好的扩展性，能够根据车辆使用习惯快速匹配场景，并随着用户的内容逐步扩展智能编辑的方案，形成智能产品。

如果用户拍摄的是单调的行车视频，美舍还会考虑让视频更具娱乐性的方案，比如利用美舍的3D渲染引擎和AI天空分割技术，加入虚拟天空特效，让普通的行车视频产生更丰富多彩的效果。

汽车领域的美容解决方案

除了以上，美舍也在探索汽车和机器结合的娱乐和互动节目。首先是车内ar特效方案，现在车内配备了很多摄像头，结合车内摄像头可以提供完整的AR效果。在整个方案中，我们会充分考虑车内摄像头的广角问题，通过自动化的方案进行处理，形成高质量的车内拍摄效果。

除了这一块，美舍还将结合车载语音系统，打造车载数字人，形成语音交互系统的延伸。使用3D渲染引擎，结合语音交互系统，反馈实时音频流、文字、动作等内容，实时驱动数字人体图像，升级整体座舱交互体验。

除了这些，AI识别处理能力是美舍非常重要的优势。美舍可以根据车辆各摄像头拍摄的图像进行自动图像处理，如场景识别、人物识别、天空云彩等场景识别、地标属性识别等。有了明确的内容属性，就可以和汽车的硬件联动，让汽车不需要完全手动控制，就可以自动帮助用户收集和生成内容，从而达到更好的人机交互体验。

从去年开始，美舍一直在车辆信息匿名处理领域工作。很多车辆的数据在上云或者出车之前都需要匿名化。基于法律法规的相关要求，美舍提供的方案可以对检测到的人脸、车牌等进行遮挡。整个方案针对车和机器的需求进行了适配和优化，尽量减少对CPU资源的占用，这种处理任务可以在车规芯片上完成。

除了以上在车载终端上的应用和处理，我们注意到用户的汽车和手机往往有互联互通的需求。比如用户在车内拍摄的视频内容和照片，可以发送回手机app进行预览。美舍在手机领域可以充分发挥传统优势。除了资源同步传输，视频还可以直接在手机上处理编辑、分享输出。

以上是美舍车端产品方案的整体介绍。我们希望能够与不同的汽车厂商达成深度合作，让汽车不仅可以作为驾驶工具，还可以作为用户精彩生活的记录工具，加速汽车高度智能化时代的到来。

由自贸试验区临港新区管委会指导，上海金桥临港综合区投资发展有限公司协办的2022第四届智能驾驶舱及用户体验大会发表的《智能车辆图像及视频处理的创新与应用》主题演讲)