close
当前位置: SmartTimes > 硬科技 > 新闻 >

人工智能架构必须改变

使用现有架构解决机器学习和人工智能问题变得不切实际。AI消耗的总能量正在显着增加,CPU和GPU越来越像是错误的工作工具。
几位圆桌会议得出结论,在没有传统IP的情况下,进行重大变更的最佳机会。随着时间的推移,大多数设计都在逐步发展,尽管这提供了前进的安全路径,但并不能提供最佳解决方案。当有新事物出现时,就有机会重新审视事物并提出比主流技术建议的更好的方向。这就是最近一个研究小组的主题,他们质疑CMOS是否是构建AI应用程序的最佳基础技术。
IBM委托担任纳米电子研究计划(NRI)执行董事的Chen Chen进行了讨论。“多年来,新兴技术一直是研究的主题,其中包括寻找CMOS的替代品,特别是因为它所面临的功率和缩放问题。经过多年的研究,几乎可以得出结论,我们还没有发现任何更适合构建逻辑的东西。如今,人工智能已成为许多研究人员关注的焦点,并且人工智能确实引入了一些新的思维方式和新设计,并且它们具有不同的技术产品。那么,用于AI的新兴设备将有更好的机会超越CMOS吗?”
当今的AI当今,
大多数机器学习和人工智能应用程序都使用Von Neumann架构。国立清华大学电气工程学系教授张梦凡(Meng-Fan(Marvin)Chang)解释说:“它具有一个存储重量和数据的存储器,而CPU负责所有计算。” “许多数据移动是通过总线进行的。如今,他们还使用GPU进行包括卷积在内的深度学习。主要问题之一是它们通常创建中间数据来实现推断。数据移动,尤其是片外移动,会在能量和延迟方面造成很多损失。那是一个瓶颈。”

图1. AI的体系结构。资料来源:孟梦凡– NTHU
所需的是使处理过程更接近内存。Chang表示:“内存中计算的概念已经由建筑界人士提出了很多年。” “有几种SRAM和非易失性存储器(NVM)设计正在尝试使用此概念来实现它。理想情况下,如果可以对它们进行调整,那么通过消除CPU和内存之间的数据移动,可以节省大量能源。那是理想。”
但是今天我们的内存中没有计算。Chang表示:“我们仍然拥有使用Von Neumann架构的AI 1.0,因为没有成熟的芯片可以在内存中实现处理。” “甚至使用3D TSV的唯一方法是提供结合GPU的高带宽内存(HBM),以解决内存带宽问题。但这仍然是能量和延迟的瓶颈。”
内存中的处理是否足以解决电源浪费问题?台积电(TSMC)副主任李显信(Sean Lee)说:“人脑大约有1000亿个神经元,带有大约10 15个突触。” “考虑IBM TrueNorth。” TrueNorth是IBM在2014年开发的多核处理器。它具有4,096个内核,每个内核具有256个可编程模拟神经元。“假设我们可以缩放它以尝试模仿人脑的大小。我们有5个数量级的差异。但是,如果我直接缩放数字并乘以TrueTrueNorth(按此顺序消耗65mW),那么我们正在谈论的是65kW的机器与人脑消耗25W的机器。我们必须将其减少几个数量级。”
Lee提供了另一种可视化机会的方式。“当今最高效的超级计算机是日本的Green500,每瓦功率管理17Gflops,每59 picoJ约为1flops。” Green500网站指出,安装在日本RIKEN高级计算与通信中心的ZettaScaler-2.2系统是经过重新测量,在其858 teraflops Linpack性能运行期间达到了18.4 gigaflops /瓦。“现在,将其与兰道尔原理相比较,后者告诉您,在室温下,每个晶体管的最小开关能量约为2.75 zeptoJ。同样,这是数量级差异。59 picoJ约为10 -11,而理论最小值约为10 -21。我们有很多地方可以玩。”
将这些计算机与大脑进行比较是否公平?“如果您查看深度学习方面的最新成就,那么在大多数情况下,当我们查看人类与机器的编年史时,机器在过去几年中一直是赢家,”电气与计算机工程学院杰出教授Kaushik Roy说。普渡大学。“ 1997年,Deep Blue击败Kasperov,2011年,IBM Watson扮演Jeopardy,2016年,Alpha Go击败Lee Sedol并获胜。这些都是伟大的成就。但是问题是,要付出什么代价?这些机器的功率在200至300KW之间。人类的大脑在20W左右就能做到。因此存在巨大的效率差距。新的创新将来自何处?
大多数机器学习和AI应用程序的核心是一些非常简单的计算,这些计算可以大规模进行。Roy解释说:“如果我看一个思维简单的神经网络,我将进行加权求和,然后进行阈值运算。” “您可以在交叉开关中执行此操作,交叉开关可以是不同的类型。它可能是旋转设备或电阻式RAM。在这种情况下,我们将获得与每个交叉点相关的输入电压和后续电导。您得到的输出是电压乘以电导的总和。那是潮流。然后,您可以拥有外观相似的设备执行阈值操作。您可以想到一种架构,这些架构是将这些节点连接在一起以进行计算的一堆。”

图2.神经网络的主要组成部分。资料来源:普渡大学的考希克·罗伊(Kaushik Roy)。
新的存储器
大多数潜在的架构都围绕新兴的非易失性存储器架构展开。“最重要的特征是什么,” IBM Research的RSM负责人Geoffrey Burr问。“我将赌注放在非易失性模拟电阻式存储器上,例如相变,忆阻器等。这种想法是,这些东西可以在单个时间步中为完全连接的神经网络层执行多次累加。否则,如果要在一系列处理器上花费一百万个时钟,则可以在模拟域中使用数据位置处的基础物理学来做到这一点。在时间和精力上,它具有足够严重的有趣方面,因此它可能会出现在某个地方。”

图3.新兴的内存技术。资料来源:孟梦凡– NTHU。
张同意。“ PCM,STT越来越强大。这三种类型的存储器都是实现内存计算的良好候选。他们还可以执行一些基本逻辑。有些记忆确实存在耐力问题,因此您不能将其用于训练,但可以进行推断。”
但是,甚至没有必要迁移到这些新记忆。“人们正在谈论使用SRAM来做完全相同的事情,”李补充说。“他们正在使用SRAM进行模拟计算。唯一的缺点是SRAM有点大-6T或8T。因此,我们不必使用新兴技术来执行模拟计算。”
向模拟计算的过渡还意味着计算的准确性不是最重要的要求。他说:“人工智能与专业化,分类和预测有关。” “他们所做的只是做出决定,但这可能很艰难。在准确性方面,我们可以容忍一些不准确性。我们需要确定哪些计算是容错的。然后,您可以应用一些技术来降低功耗或加快计算速度。自从2003年以来就一直在研究概率CMOS。这涉及降低电源电压,直到可能出现一些错误,但是该数量是可以接受的。今天的人们已经在使用近似计算技术,例如量化。而不是32位浮点,而是使用8位整数。模拟计算是已经提到的另一种可能性。”
脱离实验室
将技术从实验室转移到主流很困难。“有时候,您必须考虑替代方案,”伯尔说。“当2D闪光灯升空时,3D闪光灯看上去不再那么坚固。如果我们继续看到现有技术的改进(在此提供2倍,在此提供2倍),那么模拟内存计算将被推出。但是,如果下一个改进是微不足道的,那么模拟存储器将开始看起来更具吸引力。作为研究人员,我们必须在机会到来时做好准备。”
Burr说,虽然在某些晶圆厂中使用了模拟电阻式存储器的概念,但它们往往致力于制造存储器芯片。“如果在工厂中,并且您可以选中此框,例如在金属3和金属4之间添加相变存储器,这将容易得多。作为社区,我们需要做的是说服某人这样做是有意义的。”
经济通常会受到阻碍,特别是对于存储设备而言,但伯尔表示事实并非如此。“我们拥有的一个优势是,它不会成为内存产品。利润不会很小。它不是商品。相反,您正在与GPU竞争。它们的价格是其上DRAM成本的70倍,因此显然不是内存产品。但是,您所花费的成本与内存没有太大差异。虽然这听起来不错,但是当您做出$ 1B,$ 2B,$ 10B决策时,成本和业务案例必须明确。我们必须拥有令人印象深刻的硬件原型,才能克服这一障碍。”
更换CMOS
虽然在内存中进行处理会带来可观的收益,但还需要更多。CMOS以外的其他材料可以帮助吗?“当我们考虑从低功率CMOS转向隧道FET时,我们所谈论的是将能量降低1-2个数量级,” Lee说。“另一种可能性是3D IC。这是关于使用TSV减少导线长度。这样可以减少功耗和延迟。如果我们看一下数据中心基础架构,我们会看到它们也拆除了金属线,并用光互连代替它们。”

图4.设备的性能和功耗。资料来源:李显新–台积电。
尽管通过使用其他技术可以取得收益,但这些收益可能不值得。Roy说:“要更换CMOS将会很困难,但是所讨论的某些设备可以增强CMOS技术来进行内存计算。” “ CMOS可以支持内存中的计算,CMOS可以模拟方式在内存本身中做点积,可能是在8T单元中。那么,我真的有一种可以为CMOS带来巨大好处的架构吗?如果我做对了,CMOS可以使我的能耗提高数百到数千倍。但这需要时间。”
显而易见的是,CMOS不会被取代。Burr总结道:“新兴技术将不会超越,也不会出现不在CMOS基板上的新兴技术。”

(责任编辑:ioter)

用户喜欢...

人工智能,认知现实和量子未来-IBM认知解决方案负责人解释

在最近的Dreamforce会议上,最有趣的会议之一是与IBM首席执行官Ginni Rometty的炉边聊天,长达一个小时的讨论涵盖了很多领域。在各种方面,人们都对AI提出了一些令人信服的观点,既有关于AI的潜...


智能农业:物联网,机器人技术和人工智能如何解决本世纪最大的问题之一

目前,世界人口约为76亿,预计到2100年将达到112亿。因此,我们将需要一个能够容纳另外36亿人口的粮食生产和分配系统,理想情况下,这将消耗很少的额外土地,而剩下的土地却很小。为了维...


将引起革命的“超级智能电脑”新技术

Van Der Made 表示,我们现在需要不断购买应用程序让智能手机更加“聪明”,而全新的超级智能电脑、机器和移动设备不需要我们的帮助就能越来越“聪明”。...