人工智能

未来边缘人工智能市场将会走向何方

  直到最近,大多数AI还是在数据中心,而大多数是训练。事情正在迅速改变。预计到2020年代中期,人工智能的销售额将快速增长至100亿美元,其中大部分增长将来自Edge AI推理。

  边缘推理应用程序今天的边缘推理市场在哪里?让我们看一下从最高吞吐量到最低吞吐量的市场。边缘服务器最近,Nvidia宣布推理销售首次超过培训。其中的大部分可能已交付给数据中心,但在数据中心之外还有许多应用程序,通常称为“边缘”。这意味着用于边缘推理应用的PCIe推理板的销售额可能达到每亿美元。一年并迅速增长。

  应用范围很广:监视,面部识别,零售分析,基因组/基因测序等等。由于训练是在浮点数中完成的,而量化需要大量的技能/投入,因此大多数边缘服务器推断可能是在16位浮点数中完成的,而只有最大数量的应用程序是在INT8中完成的。PCIe推理板的范围从75W(Nvidia Tesla T4)到200W(Habana Goya)。

  自动驾驶汽车一年前,汽车制造商和供应商都在谈论使用自己的定制芯片快速实现全自动驾驶。如今的计划更加适度,使用现成的解决方案(我们经常听到Xavier AGX和NX),用于2020年模型年,对百万像素图像进行对象检测和校正,用作提高安全性的驾驶员补充。目前,其数量已达到数万种引人注目的测试工具,例如带有大型摄像头的Google Waymo,引人注目的激光雷达和电子行李箱。在5年内,对于高度集成的大众市场2级对象检测和校正,销量可能会达到数百万。

  这里的主要球员是Nvidia的特森(纳米,TX2,泽维尔AGX和Xavier NX)在5-30W和英特尔Movidius在无数个位数瓦,但〜1月10日日吞吐量。此处的应用范围非常广泛:监视摄像机,基因测序,家用门铃,医疗系统(例如超声),光子学,机器人视觉,并且大多数情况下使用CNN,但也可以使用与图像CNN截然不同的各种模型。

  风扇在这个市场上是不能接受的。我们与之交谈的客户渴望获得吞吐量,他们正在寻找能够以与今天所使用的功率/价格相同的功率/价格提供更高吞吐量和更大图像尺寸的解决方案:当他们获得解决方案时,他们的解决方案将更加准确/可靠并被市场采用和扩展将加速。因此,尽管当今的应用程序有成千上万个单位,但是随着推理的可用性将迅速增长,推理将提供越来越多的吞吐量/美元和吞吐量/瓦特。

  由于应用范围广,随着时间的推移,该细分市场应成为最大的细分市场。图像CNN要求每秒发送数百万个MAC。仅关键字识别,语音处理就达到数十亿个MACs /秒,甚至更低。这些应用程序(例如Amazon Echo)在采用率和数量上已经非常重要,但是$ / chip的价格要低得多。这个市场的参与者与上述市场完全不同。

  是延迟。边缘系统正在以每秒60帧的速度来决定图像的速度。例如,在汽车中,检测人,自行车和汽车等物体并在尽可能短的时间内对其进行作用显然很重要。在所有边缘应用程序中,延迟为#1,这意味着批大小几乎始终为1。

浏览过本文章的用户还浏览过
  • 什么工作是属于人工智能的

    云南新华电脑学校是经云南省教育厅批准成立的省(部)级重点计算机专业学校,采用三元化管理模式,教学设备先进,师资雄厚学生毕业即就业,学院引进了电商企业入驻,创建心为 [详细]

  • 任正非对话人工智能专家全文实录:华为 5G 技术

    9 月 26 日,华为创始人兼 CEO 任正非与两位人工智能领域专家对话,探讨有关创新、规则、信任的话题。嘉宾 Jerry Kaplan(杰里卡普兰)是全球人工智能专家、未来学家、平板电脑行业先 [详细]

  • 探索人工智能社会治理的中国方案

    作为引领未来的战略性技术,人工智能的迅猛发展将进一步释放历次科技革命和产业变革积蓄的巨大能量,给全球经济发展、国家治理、社会建设和人民生活带来重大而深远的影响,推 [详细]

  • 想从事人工智能工作应该从何做起?

    理想非常好。不过想从事人工智能的工作,就要学习计算机编程的知识。现在最基础的,我建议学习java语言,现在网上有非常的教程,从零开始学习,当你能达到自己独立编的程序在自 [详细]