智能影像，从“芯”开始 ：紫光展锐“硬件+算法”打造超凡视听体验

本周，以“象由芯生·科技服务人民”为主题的2020紫光展锐市场峰会重磅开启，广大生态合作伙伴共聚一堂，共话数字世界新未来。 在今天举办的“多媒体技术研讨会”上，来自紫光展锐产业链的合作伙伴将分享有关多媒体发展趋势、图像优化，手机拍照、AI与多媒体技术融合方面的最新技术及应用。 智能影像，从“芯”开始 亚里士多德将人体的感官分为5种，即触觉、嗅觉、味觉、听觉和视觉。人类感知世界人类感知世界80%以上来自视觉。随着技术的不断发展，相机可以还原人眼，记录更多的场景。 随着手机终端的不断演进，在影响功能变得日渐强大，手机拍照已经成为人们记录生活的最佳方式之一。在手机拍照方面，ISP（图像信号处理器）是拍照颜值担当、CPU、GPU是性能担当、NPU是智慧担当，Modem则是外交担当。 “ISP性能会直接影响到手机拍照、摄像水准。”紫光展锐先进多媒体实验室主任赵磊表示，移动端设备从本世纪初开始逐渐兴起，其拍照功能也是愈发完善。 在 2010 年后，手机拍照迎来了技术发展的一次爆发。在这一过程中，智能手机强大的硬件为手机中内置的ISP系统提供了巨大支持。 但ISP并不是万能的，AI技术的迅猛发展给相机带来了新的机遇，于是人工智能被广泛应用到智能影像。从目前来看，AI引入到智能影响可以分为三个阶段： 阶段一，图像理解->高层视觉（high level vision），对图像分析得到场景的语义表示，具有人眼和人脑的能力；阶段二，图像分析->中层视觉（middle level vision），对图像的内容进行分析，提取有意义的特征，便于后续更高层的处理；阶段三：图像处理->低层视觉（low level vision），对输入的图像做某种变换，输出仍然是图像，基本不涉及或者很少涉及图像内容的分析。 现在图像处理技术已经全面AI化了。那么手机上又将如何用AI呢？ 对此，赵磊指出，借助CPU/NPU/DSP/GPU的计算能力，ISP芯片告别裸奔走向组合模式。据悉，紫光展锐推出的UNISOC T7520芯片组，在降低功耗的同时实现了优化的5G体验，而且通过大幅增强的AI计算和多媒体成像处理能力，大幅提升用户的手机拍照体验。 硬件+强大算法成就超凡影像 数据显示，2014-2019年全球平均每部手机摄像头数量逐年增长，2019年的手机机型里面高摄头大部分都已经大于3。多摄给手机用户提供了很多酷炫的拍照功能，比如说景深虚化以及前摄的自拍，同时还有超广角、超微距、这都是手机厂商重点宣传的功能。 “Bokeh可以实现单反大光圈效果，非焦点部分产生模糊的美学质量。”紫光展锐游瑞荣表示，手机实现Bokeh有单摄、多摄、深度相机三种解决方案。目前的Bokeh解决方案在深度计算和虚化算法存在难点。为此，紫光展锐加入硬件特性和AI来提升整个算法效果。 游瑞荣指出，与竞品相比，紫光展锐虎贲T618在Bokeh算法方面，AI加速性能更优，功耗也更低。未来的发展一定是AI芯片算力能力越来越强，同时结合硬件的性能，让整个系统发挥更大的作用，更好地提升拍照质量。 “暗光对手机成像带来极大挑战，增大传感器尺寸，延长曝光时间、外加光源和更换color filter并不能完全解决这一痛点。”紫光展锐王微指出，在去噪算法方面，传统与AI方式各有利弊。AI去噪几乎不需要调参，能较好的兼顾噪声去除与细节保留，覆盖场景广，能较好的应对复杂场景，但对手机性能要求高，效果不可控。 王微强调，要想真正提升暗光拍照的成像质量，需要不错的硬件加上强大的算法，以AI ISP软硬协同设计，AI端侧计算能力支持为基础，才能成就世界领先的拍照成像质量。 为了承载不断增长的手机摄像技术和生态产品发展需求，多媒体开发平台必须具备高像素拍照能力、高帧率视频能力，单帧处理能力、降噪和融合这些基础能力。作为数据的提供方，多媒体开发平台还需要有数据提供能力，以便于后续的算法包括AI的AR、VR等等算法在这个平台上进行二次开发。 据紫光展锐孙长斗介绍，目前，紫光展锐平台在靠性、可扩展性，接口标准化方面多下功夫，以实现多产品、多生态支持能力，目前已实现8种人像光效、10倍变焦、360度环视和手势控制，并已应用到在各个场景中。 多种视频解码和显示，打造极致视觉体现 除了打造高质量影像之外，如何提升用户视觉体验，紫光展锐引入了多种视频解码和显示技术，HDR技术就是其中之一，它可以极大的提升动态范围和色域，带来极其震撼的主观体验。 通过摄像头来采集真实世界的画面，再经过后期的处理，最后还要经过视频的编码，通过网络的传输或者存储器的携带，放到我们终端显示器上面去，通过终端显示的解码再成像出来。罗小伟指出，这里面的采集以及编码都会带来信息的损失。 紫光展锐罗小伟指出，评价一个视频或者图像的好坏其实有很多的维度，比如分辨率、帧率、动态范围、颜色范围等，HDR 视频就是从这几个维度提高视频质量，所以HDR视频必须要遵循一些规范。 SMPTE提出了三个标准，分别对EOTF曲线和静态元数据、动态元数据进行了定义；ITU-T对于UNDTV系统以及HDR的技术中使用的色域进行了定义，对HDR对HDR电视分发系统的性能做出了规定；CTA对 HDR 显示设备的最低标准做了限制：包含至少一个HDR信号接口，能够接受并处理 HDR 静态元数据，在显示图像之前能够使用合适的EOTF曲线对媒体文件进行处理。 罗小伟指出，紫光展锐开发的显示增强技术，通过运用色域转换、色调映射和动态对比度增强技术，将高动态、高位深和广色域的HDR视频转换成适合在SDR屏幕上播放的画面。在SDR屏幕上充分还原HDR视频精美的画面质量和绚丽的色彩表现。 据悉，紫光展锐支持多种视频的解码和显示，展锐新一代SoC虎贲T7520支持目前应用广泛的HLG和HDR10/10+等格式，给用户带来HDR视频的极致视觉体验。 智能音频无限未来，展锐之声与你共鸣 除了视觉之外，智能音频的需求也日趋高涨。 紫光展锐叶顺舟指出，目前，ANC主动降噪普及度远远没有达到业界预期，为了让ANC飞入寻常百姓家，紫光展锐在芯片集成前馈A（z）、反馈C（z）系数自适应算法，稳定性高，拥有核心专利；产线校准开启自适应模式，得到单体最优系数，提高一致性容忍度，良率提升，成本降低，下游客户与消费者获利。 紫光展锐的ANC自适应校准流程，整个过程与设备仪表配合，一键完成，无需人为参与；滤波器收敛可靠时间15~30s，步骤2、3实验可简化，过程更高效；针对不同场景的降噪需求，可在测试环境中播放不同的场景噪声，得到各场景下的最优系数并存储。 在ANC行业缺陷改进探索方面，紫光展锐三方发力：风噪爆破音前馈通道引入，通过耳内/外麦克信号统计特性进行风噪检测，控制前馈增益；咀嚼爆破音反馈通道引入，通过耳内/外麦克信号强度进行自体振动检测，控制反馈增益；底噪增大ADC通道主要贡献，提高ADC量化精度，提高SNR（伴随功耗提升），增加安静模式检测，控制ADC增益。 ANC解决自己听的问题，ENC则解决对方听的问题。据叶顺舟介绍，紫光展锐ENC技术自适应beamforming定向拾音技术，三级降噪设计，对不同噪声分类处理，解决mic数量、尺寸限制下的指向性问题。在指向性可针对应用需求在+/-30度范围内调整；支持1.5-3cm麦克间距设计；并单独针对风噪统计特性，设计了基于双麦的风噪抑制算法。 此外，叶顺舟强调，目前ENC融合新技术呈现四大发展趋势值得关注：Beamforming存在mic间距要求，适用于杆式耳机，豆式结构难以应用，其次强风噪，极低SNR下性能有限；AI降噪在单麦产品有广泛的应用前景，对如风噪的特定噪声处理效果理想，但NN模型的小资源需求（100KB以内）与其泛化性能存在矛盾；耳内三麦与ANC系统完全复用麦克，解决强风噪与配戴角度问题，但信号融合带来的不自然感丞待解决，且依赖入耳式设计；骨传导与耳内三麦原理类似，信号更稳定，可应用于半入耳式设计，缺点是成本过高，且同样面临信号整合问题。 [44] \t