高通在 ChinaJoy 上的 AI 元素，让我看到泛娱乐时代的美丽图景

泛娱乐，是基于互联网和移动互联网多领域共生而形成的，泛娱乐时代，人们消费的是娱乐内容，但有一个领域同样不容忽视，那就是承载丰富娱乐内容的智能终端。泛娱乐时代，人们娱乐的形式、内容、时间地点变得丰富而多样，对于智能硬件的要求也更多，不仅要求强大的性能，更要有良好的交互，丰富的功能……为了满足这些需求，有一项技术受到各行各业的普遍关注，那就是AI。当智能终端融入了出色的AI能力，就能为广大消费者提供更加丰富有趣的智能泛娱乐体验。这一点在今年刚刚举行的ChinaJoy上也有深刻体现，作为移动连接技术提供商的高通，就通过丰富的AI技术演示，为我们展现了AI驱动的精彩的智能泛娱乐生活。骁龙主题馆，随处可见的AI与娱乐今年的ChinaJoy上，高通再次联合众多生态合作伙伴打造骁龙主题馆。在巨大的骁龙主题馆里，从智能手机到移动电竞，从Wi-Fi路由器到极具沉浸感的AR设备，高通为广大硬核玩家、游戏发烧友和骁龙粉丝打造了一个充满科技感、智慧感、新鲜感的数字娱乐嘉年华，这其中就有很多基于AI技术实现的娱乐方式。比如，作为高通长期合作伙伴的虹软，就在骁龙主题馆现场展示了3D纸片人总动员的技术，在演示中，我们看到，智能手机只需要拍摄平面上的一处绘画内容，这个二维图像就可以快速化身3D“纸片人”，并且以AR的形式呈现，用户还可以与之互动，非常有趣。3D纸片人总动员利用智能手机摄像头的AI视觉技术识别平面中的图案，然后通过算法将这个图案转换成3D模型，最后输出3D立体的“纸片人”，这种创新的交互方式，可以让我们使用智能手机增添许多乐趣，比如未来你就可以和小伙伴各自快速创建一个“纸片人”，然后用AR的形式彼此互动，妙趣横生。除了纸片人总动员，虹软在现场还演示了单摄3D建模的黑科技，这个技术可以让智能手机随时随地对现实对象进行扫描，无论是人还是物体，都可以立刻生成同比例、高精度、高逼真度的3D虚拟模型。并且，针对生成的人物、动物或者卡通3D模型，再结合AR算法和AI技术，这个模型能够观察用户的肢体动作或者手势，和用户进行互动。这个技术将AI与建模、AR结合在一起，形成虚拟的立体形象，相信在未来数字娱乐领域会有很广泛的应用，比如利用很多个这种快速建模的形象进行的游戏等等，可以大大丰富人们的娱乐生活。更重要的是，完成3D建模的手机哪怕只有单摄像头也能完成，这其中涉及到很强的AI识别能力，均是在于高通合作的基础上实现的。除了虹软，在ChinaJoy骁龙主题馆的现场，还有很多与AI相关的技术演示，都可以在智能泛娱乐领域发挥重要作用。比如下面这个来自相芯科技的AI虚拟形象技术，你只需要站在摄像头面前等待3秒，就可以在屏幕上看到卡通版的自己，这个卡通的虚拟形象会和你的外貌很相似，你的面部特征、头发类型、胡子类型等等，都可以变成可爱又有趣的卡通形象，你的表情变化，卡通形象的表情动作也会随之变化，看起来惟妙惟肖。这个技术在现场吸引了很多人驻足观望，大家都很想知道自己在卡通世界里会是什么样子，也觉得自己有一个虚拟版的形象是一件很酷的事情。现场的相关技术人员告诉小编，这个虚拟形象是通过云服务器在云端形成的，同时客户端的SDK也会用于进一步对虚拟形象进行个性化定制和互动，这个过程借助了高通骁龙移动平台的AI能力以及XR技术，结合相芯科技自己的虚拟化身相关技术，共同呈现了有趣的二次元风格虚拟形象。目前这个技术已经有了实际的应用，比如小米上半年发布的小米11Ultra内置的萌拍Mimoji3.0版本，就使用了相芯科技技术。骁龙888为萌拍Mimoji3.0提供了强劲的AI算力和图像信息处理技术的支撑，从而让萌拍Mimoji3.0能够在较低功耗水平下的完成高质量的面部二次元虚拟渲染。说到AI驱动摄像头实现的趣味玩法，广东财经在骁龙主题馆现场还看到了更多由骁龙888带来的丰富的AI影像演示。比如中兴手机就在现场展示了搭载骁龙888移动平台的三主摄影像旗舰Axon30Ultra，这款手机搭载了三颗同样6400万的超感光主摄、超人文主摄、超广角主摄，巨大的像素量在进行AI运算时是一个巨大的考验，骁龙888移动平台搭载的第6代高通AI引擎则可以轻松应对。在骁龙888AI能力的加持下，Axon30Ultra可以实现有趣的影像玩法，例如在现场你就可以体验一键拍摄全焦段照片的功能，照片在不同焦距间自由缩放，实现“先拍照、后变焦”，此外我们还看到了多摄同拍同录、超级月亮Ultra模式、希区柯克变焦等创新影像玩法。无疑，这些由强大AI能力带来的新鲜影像玩法，能够让消费者们的娱乐生活更加多彩。还有更高阶的AI应用，比如小编在现场还看到了创屹科技FutureMind专业机器人与现场体验者进行“AI乒乓球电竞”对战，让参与者领略数字竞技体育的别样魅力。FutureMind专业机器人采用高通CloudAI100平台，利用强大的的人工智能技术识别并捕捉、分析高速运动状态下乒乓球的位置，更与引入了高通的边缘侧运算平台进行快速的AI运算，最终能够在于人类的较量中不落下风。总之，今年ChinaJoy的骁龙主题馆中，你可以处处感受到AI技术是如何极大丰富广大消费者的泛娱乐生活的，它通过在过去很难想象的智慧化能力，结合各种硬件终端，为我们娱乐生活开拓出很多新的场景，新的玩法。而这些AI技术和能力的来源，大部分都来自高通骁龙移动平台的AI引擎，特别是本届ChinaJoy上随处可见的骁龙888移动平台，其第6代高通AI引擎正是一众创新玩法的背后功臣。应用落地，不止于骁龙888的第6代高通AI引擎在AI技术炙手可热的今天，我们已经听过太多遍关于AI的美好畅想。但是将AI落地到实际应用中却并不是容易的事，不仅需要强大的算力、技术支撑，还需要有完整的解决方案，有终端承载，有联动产业上下游的能力。而这些，对于骁龙888的第6代高通AI引擎而言，对于高通而言，都不是困难，而是优势。高通很早就开始了对AI的研究，在终端侧专门引入AI技术也是从骁龙820移动平台这一代就开始了，到骁龙888，AI引擎已经经历了6代的积累和发展，为智能手机向“智慧化”发展作出了重要的贡献。在第6代高通AI引擎上，高通将人工智能引擎的整体算力提高到了26TOPS，相比上一代的15TOPS有巨大的提升，如此强大的算力为终端在各种场景下的广泛应用提供了保障。而第6代高通AI引擎算力提升的背后，包含了高通的众多技术创新。首先我们知道，AI引擎并不是一个单独的NPU单元，而是整合了CPU、GPU、Hexagon处理器等SoC的内部运算资源，并通过合理的实时调配机制实现的统一的AI框架。在骁龙888移动平台上，Kryo680CPU和Adreno660GPU都有显著的升级。Kryo680CPU用上了全新CPU架构，是行业首个采用ArmCortex-X1架构的移动平台，这令CPU整体性能提高25%，同时整个CPU丛集的整体功效也提高了25%。而Adreno660GPU的图形性能相比上一代Adreno650提升了35%，能耗相比于上一代则降低了20%。在参与AI运算时，Adreno660GPU的AI性能也有43%的提升。更重要的是骁龙888移动平台采用的Hexagon780处理器。这款张量处理器采用了融合AI加速器架构。所谓的融合AI加速器架构，意思就是在之前骁龙865的Hexagon处理器中，有标量、张量和向量加速器，但他们是分开的，而在骁龙888的Hexagon780处理器中，这些加速器之间的物理距离几乎消失了。同时，高通还在这三个不同加速器之间添加了很大的共享内存，从而让他们更快、更高效地共享和移动数据。高通称，专用共享内存的加入让Hexagon780在单一应用中的性能提升16倍，在某些应用中，数据交互时效最多可提高上千倍。再具体到这些加速器自身，性能也得到了提升，标量加速器的性能提升了50%，而张量加速器的处理速度是前代的2倍，更重要的是，在性能上涨的同时，它们还提升了每瓦特性能，能效相比前代提升3倍之多。由此可见，全新的Hexagon780处理器对第6代高通AI引擎性能跃迁贡献极大。除了这些提升算力的升级，在第6代高通AI引擎架构中，高通还整合了第2代高通传感器中枢。第2代高通传感器中枢中，高通增加了一颗专用的、始终开启的、低功耗的AI处理器，令传感器中枢AI性能提升达5倍。这种额外的AI处理能力使Hexagon处理器可以将高达80%的工作负载分担给传感器中枢，从而做到更加省电。高通传感器中枢进行所有处理所需的功耗仅仅不到1毫瓦。全新第2代高通传感器中枢的存在，让搭载骁龙888移动平台的终端能够时刻保持AI处理能力的待命，让智慧化的能力始终在线。总之，骁龙888移动平台搭载的第6代高通AI引擎已经拥有顶尖的AI处理能力和完善的AI功能。当然，只有这些还不够，AI技术的落地还需要有承载它的终端。而根据高通中国区董事长孟樸的透露，到今年7月，全球已经有130多款基于骁龙888的终端，终端厂商们充分利用了骁龙888旗舰平台的领先AI特性，将他们应用在智能手机的各个体验环节中，包括影像、游戏、音效等等，例如我们前面提到的小米11Ultra内置的萌拍Mimoji3.0，还有红魔游戏手机6R的TC游戏补帧技术等等，都通过AI技术为用户的娱乐生活带来了诸多乐趣。除了与终端厂商的合作，高通还采取了更多措施方便开发者调用第6代高通AI引擎的能力，更积极与应用软件的开发商合作，推动更多AI娱乐应用的落地。比如说，在第6代高通AI引擎中，高通扩展了用于AI加速器的开源编译器TVM，支持Hexagon。现在，开发者可以用几行简短的Python代码编写自定义算子，为Hexagon编译，并直接插入高通AI引擎Direct框架。这无疑可以帮助开发者更方便、更全面地调用骁龙888第6代高通AI引擎的能力，创造出更多智能且实用的娱乐应用。再比如，高通还一直在和全球知名的社交应用Snapchat合作，而Snapchat目前正在使用骁龙888的AI模型增效工具包，量化他们的一系列AI镜头模型，以提高人脸识别的准确性和性能。这样，用户就可以即时应用最新的滤镜，在社交娱乐中获得更多的乐趣。通过第6代高通AI引擎的强大性能，高通以骁龙888为整体解决方案，并借助智能手机等移动终端，将这种AI能力应用于多样化的泛娱乐场景中，并于产业上下游合作，真正将AI服务于普罗大众的娱乐生活，令现实因为有了AI的存在而更加五彩纷呈。结语如果把泛娱乐时代海量创新、好玩、丰富的娱乐场景比作春天土壤里开出的满山坡的花朵，那么AI，就相当于一场场春雨，润物细无声，将万紫千红争奇斗艳的繁荣景象带到人们面前。而云聚成雨，高通就像催动春雷萌动的的云层，他们用自我在技术上的探索努力和广泛的合作推动了AI的落地和应用，让技术真正能够普惠大众，让泛娱乐时代的花园更加艳丽多姿，美不胜收。