AI 芯片“凉了又热”，RISC-V 芯片能否成为 AIoT 市场主角

AI的热潮已经过去？许多关注AI的人或许会给出的判断。这种判断也有一些依据，AI发展三大要素之一的AI芯片，在2016年左右出现大量的初创公司，之后火热了两年左右时间后，又逐渐凉了下来。但2020年下半年开始，AI芯片初创公司的融资消息又多了起来，在本月的WAIC2021期间，多家云端AI芯片和边缘AI芯片初创公司都发布了新产品，AI芯片似乎又热了起来。AI芯片为什么“凉”了几年又“热”了起来？AI普及的关键到底是什么？RISC-V芯片会成为AIoT市场的主角吗？体验不好的AI产品伤害了消费者2017年左右掀起的新一轮AI热潮，有两个关键性事件。一个是2012年AlexNet在ImageNet大规模视觉识别挑战赛中用卷积神经网络（CNN）赢得了图像识别竞赛，再次掀起了学界研究AI的热潮。到了2017年，AlphaGo战胜人类顶级棋手柯洁，并横扫整个围棋界。AI的热潮从学界蔓延至产业界，并引发全民关注。“我觉得AI能再一次热起来是因为神经网络在技术有了突破后，能够解决一些问题，而这恰好能满足消费者对智能美好生活的向往。”嘉楠科技创始人、董事长兼首席执行官张楠赓表示。很快地，AI音箱、AI机器人、AI家电、AI故事机等众多AI产品迅速推向市场，其中出货量最大的AI音箱迅速普及，但很快被消费者抛弃。“通过缩减材料降低成本，推出体验不好的产品对市场伤害非常大，因为没有好的体验，整个市场的规模很难变大。降低成本应该靠更好的技术。”张楠赓说，“AI产品还是没有达到消费者的预期，消费者需要的是一个完整的产品，这是我认为AI又凉下来的原因。”英特尔研究院副总裁、英特尔中国研究院院长宋继强表示：“现在很多AI系统，只有一个原型，但到商业化的时候，原型是不行的。AI创新要真正的规模化发展起来，一定要很认真严肃地做垂直整合。”也就是说，AI产品的实际体验与消费者期待的产品之间仍有鸿沟。从AI智能硬件公司的角度，在AI芯片和AI算法的支持下，他们推出了比以往更加智能的产品，产品性能有了显著的提升。但从消费者的角度，AI产品依旧不够智能，甚至有些傻，很难持续使用或购买新的AI产品。“还有一个问题是价格，对于智能硬件和白色家电，消费者的要求是性能是世界级，但价格预期是‘地狱级’，这是矛盾所在。”张楠赓说。“不过，只要有明确的需求和目标，实现世界级的性能，同时兼顾可接受的价格并非不能达成的目标，嘉楠希望在未来1-3年内达成这个目标。”还要看到，边缘推理是AI应用大规模落地的关键。这是因为，云边协同已经成为主流的计算范式。在云边协同的架构中，边缘AI在数据脱敏、数据感知和实时决策上有效弥补了时延和数据隐私上的短板，也能降低高昂的IT基础设施成本。此时，更高性能的AI芯片非常关键。需求释放，边缘AI芯片市场规模绝对值快速增加嘉楠在AI边缘芯片市场占有先发优势，2018年推出了首款AI推理芯片勘智K210，这款AISoC投片的时候还没有MobileNetV2和YOLOv3算法，所以只有1TOPS的AI算力。“由于勘智K210研发时间较早，在算力规划上没有考虑到后来才出现的算法模型，导致这款芯片在应用场景的拓展上受到限制。”张楠赓如此评价这款芯片。在整个业界探索AI芯片和AI应用的背景下，嘉楠的首款AI芯片获得了多个头部教育机器人客户的订单。在2020年全球疫情和缺芯的环境下也实现了可观的营收。“今年很多应用市场需求快速增加，仅上半年我们就实现了1300多万的AI芯片营收，如果下半年产能问题不能解决，我预计营收和上半年相当。”张楠赓说，“我看到的是今年市场需求特别旺盛，增长比较快。”当然，AI边缘芯片市场仍旧处于绝对值增长很快，但总体规模依旧不大的状态。在快速增长的市场里，除了AI教育以及增加AI功能网络摄像机（IPC），用边缘AI芯片做人群聚集检测、超声波定位、机器狗、跟拍云台等创新的产品越来越多。“勘智主打的还是AI性能，基于勘智K210的能力，有些创新应用是我们没有想到的。更加智能的产品也需要更高性能的AI芯片，其实像家庭场景里的扫地机器人，面对的环境也非常复杂，需要比较高的算力，还要控制成本。”张楠赓表示。为此，嘉楠推出了勘智K510边缘推理芯片，CPU依旧采用RISC-V（双核64位），全新的KPU将AI性能提升至3TOPS，支持TensorFlow、PyTorch和ONNX模型导入，配合KPU为AI加速还增加了DSP。另外，勘智K510支持三路传感器输入1080P视频，拥有众多高速和低速接口，其中高速接口DDRPHY和MIPIRX/TXDPHY均是嘉楠完全自主知识产权的IP。从推出的时间看，勘智K510比嘉楠的产品路线图晚了半年多时间。据我们了解，其中的原因包括这是嘉楠第一个比较大规模的AI芯片，几乎重新设计了AI加速单元KPU，高速接口也是完全自研，再加上产能紧缺等多重因素，导致勘智K510推出的时间比预期晚一些。“产品更早推出肯定会更好一些，但稍微晚一点也有好处。我们推出第一款AI芯片的时候，绝大部分中小客户只能用原厂的芯片做一些嵌入式的开发。今年有能力开发AI芯片的客户多了很多，许多客户还有自己的AI算法。市场在成熟，应用场景也在不断增加，这对我们产品的推广是好事。”张楠赓如此解释。与传统的功能芯片不同，AI芯片的开发者并不知道自己明确的需求，这对要预测未来三到五年市场需求的AI芯片公司来说，定义产品难度更大。但比较明确的是，随着AI应用复杂程度的增加，对AI的算力需求也随之增加，提升AI性能成为关键。“勘智K510的KPU相比上一代基本是重新设计。原来的KPU比较简单，如果用第一代架构进行等比放大提升性能会有很多问题。新设计的第二代架构更加通用，可伸缩性更好，很容易实现零点几TOPS到几TOPS的算力，同时兼容性也更好。”张楠赓表示。提升AI性能的同时，勘智K510的视觉性能也有了显著提高，集成了最新一代图像处理单元和3DISP模块，支持深度摄像头TOF传感器，可以在无需软件参与的情况下自动解析和提取深度图像，加速3D图像处理。张楠赓指出，勘智K510是一款中高端算力芯片，视觉硬件配置也是这款芯片的重头戏，同时支持最多3个摄像头的输入，其中一路支持3D功能，也是迎合市场需求，能够满足比如活体检测等需求。勘智K510也能够应用于高清航拍器、视频会议、机器人、STEAM教育、工业相机和辅助驾驶等场景。我们注意到，勘智K510在降低功耗方面从多角度入手，比如通过NoC总线架构解决庞大时钟树带来的芯片大功耗和大面积问题；KPU根据不同层级的带宽、计算和存储需求的调整，提高数据的复用率降低芯片功耗；还通过支持语音VAD功能，满足低功耗设计需求等。不过，能够将嘉楠的AI芯片推向更广阔市场的关键是RISC-V。冲向万亿美元的AIoT市场“易用性非常重要，开发者如果使用CPU或者DSP就能实现功能，能够降低开发成本和加速产品上市时间。”张楠赓说，“这也是我们在双核64位RISC-VCPU基础上增加DSP的重要原因。”更强的CPU性能对于一款SoC的重要性也越来越高。“有一个很有意思的现象，5年前，业界很多人认为SoC中的CPU的作用会被弱化，大部分的任务都会用硬件加速器处理，包括AI应用。但这两年，无论是手机还是PC，CPU的竞争越来越激烈，绝大部分的任务还是在CPU上完成，CPU又变得很重要，所以对CPU的性能需求也大幅度增加。”张楠赓表示。“我认为，未来几年桌面级和移动端先进的技术和架构会迅速下放到原来的MCU中，这个变化可能要到将来3-5年才能看到。”他作出预测。CPU在SoC中的重要性又变得重要，意味着CPU的性能和易用性成为竞争的关键。在AIoT市场，虽然统治移动市场的Arm占据优势地位，但最近两年RISC-V指令集芯片在这一市场进展迅猛，在对软件支持要求不高的应用中，RISC-V已经被大量应用，但需要更高性能和更多软件支持的应用就面临挑战。实际上，勘智K510的CPU是嘉楠自研。“第一代产品我们用的是RISC-V开源内核，明显的优势是不需要买版权节省成本，但漏洞也比较多。新一代的勘智AI芯片之所以选择自研，主要还是因为我们的需求超过了开源内核的需求。”张楠赓解释为何开始自研RISC-VCPU。硬件的自研对于有实力的芯片公司而言相对容易，但软件生态的建设就需要整个行业的共同努力。“无论是阿里在RISC-V方面的工作，或者如果英特尔收购SiFive，这对整个RISC-V生态的建设都有非常积极的作用。”张楠赓说：“我们是RISC-V坚定的拥护者，所以我们无论是硬件还是软件，都受益于RISC-V社区，当然我们也将自己的设计和文档都上传到RISC-V社区，希望能够以身作则推动RISC-V生态的发展。”“更多系统的支持对于我们产品的规模推广有非常明显的效果。刚推出勘智K210的时候，没有系统的支持，开发者想要开发难度很大。后来有了RTOS和Linux的支持，这对我们勘智K510的应用非常有用。”张楠赓表示。“目前看来，RISC-V芯片用到游戏领域可能会差一些，但除此之外的应用，使用RISC-V芯片都问题不大。”张楠赓认为“但我也不认为RISC-V会完全淘汰Arm，Arm在很多领域依旧会占有一席之地。”不可否认的是，RISC-V的生态建设依旧是在追赶Arm的生态，远谈不上赶超。就嘉楠而言，他们设计出更高性能的AI芯片之后，但很多功能的实现因为软件人员的缺乏，进度受阻。张楠赓说他早已意识到缺乏软件人员的问题，但他并不打算采用大量招聘软件人才的方式解决这一问题，而是保持嘉楠硬件的基因，通过与更专业的合作伙伴共同解决软件方面的挑战。张楠赓透露，嘉楠最早会在今年下半年公布在软件方面的合作进展。还有一个更深层次的问题，嘉楠为什么要选择不成熟的RISC-VCPU推出AI芯片？张楠赓的回答是：“在行业的选择上，我们选择了AI这个有巨大需求量的市场，在技术上，选择RISC-V有成本优势，在未来的AI市场会大有所为，开源开放也是我们一直拥护的。”麦肯锡预测，全球AIoT市场规模2025年或将达到11.2万亿美元。张楠赓对嘉楠未来3-5年实现亿元级别的AI营收继续保持乐观，并且预测，当嘉楠的AI业务营收达到500万到1.5亿美元的某个时点，会迎来爆发点。小结AI和AI芯片为什么会在几年的火热之后就凉了？可以说是落地进展缓慢，更进一步来说缺少完整的AI产品，给消费者提供良好的体验。作为提升产品体验的关键，芯片算力的提升至关重要。嘉楠作为率先推出AI芯片，也是最早选择RISC-V的公司，其产品和技术的演进给我们了解AIoT市场的发展提供了非常多可参考的信息。从使用公版CPU到选择自研，从KPU架构的升级，到自研高速接口，可以看到这个市场在高速增长，也能看到嘉楠对于AI市场，以及做一件更大事情的信心。张楠赓说：“一个公司的成功，最核心的是战略的正确，对于嘉楠来说坚持自主研发就是战略，解决别人没有解决的事情。”芯片出货量已过亿级，已经有300人芯片团队的嘉楠，保持每两年迭代一款AI芯片，按照算力高低分为2系、5系、8系满足终端和边缘市场需求，针对场景优化的勘智芯片，会带给我们什么惊喜？