close
当前位置: SmartTimes > 硬科技 > 新闻 >

神经网络计算爆炸

具有先进并行处理功能的神经网络已开始在许多市场中扎根,从预测地震和飓风到解析MRI图像数据集以识别和分类肿瘤。
随着这种方法在更多地方得到实现,它正以许多专家从未想到的方式进行定制和解析。而且它正在推动对如何应用这些类型的计算架构的新研究。
荷兰阿西莫夫研究所的深度学习研究员Fjodor van Veen已经确定了27种不同的神经网络架构类型。(请参见下面的图1)。差异主要是针对特定应用程序的。

图1:神经网络架构。资料来源:阿西莫夫研究所
神经网络基于阈值逻辑算法的概念,该概念最早是由神经生理学家Warren McCulloch和逻辑学家Walter Pitts于1943年提出的。在接下来的70年里,研究逐渐减少,但随后真正开始激增。
Nvidia Accelerated Computing Group产品团队负责人Roy Kim说:“大爆炸发生在2012-2013年,当时发表了两篇具有里程碑意义的论文,均使用GPU。” 其中的一篇论文是由多伦多大学的Geoffrey Hinton和他的团队(现在也是Google的一半时间)撰写的,名为“ 深度卷积神经网络的ImageNet分类 ” 。然后在2013年,斯坦福大学的Andrew Ng(现在也是百度首席科学家)及其团队发表了“ 使用COTS HPC系统进行深度学习 ”。
英伟达很早就意识到深度神经网络是人工智能(AI)革命的基础,并开始投资将GPU引入这个世界的方法。Kim指出了卷积神经网络,递归神经网络和长短期记忆(LSTM)网络,其中每一个都是为解决特定问题而设计的,例如图像识别,语音或语言翻译。他指出,Nvidia正在所有这些领域招聘硬件和软件工程师。
六月,随着一个重大新闻的爆发,谷歌提高了神经网络军备竞赛的半导体领域的投入。Google杰出的硬件工程师Norm Jouppi揭露了公司多年努力的细节,即Tensor处理器单元(TPU),一种在硅中实现神经网络组件的ASIC,与使用原始硅计算能力和存储库相反以及最重要的软件,这也是Google所做的。
TPU针对TensorFlow(针对Google使用数据流图进行数值计算的软件库)进行了优化。它已经在Google数据中心中运行了一年多。
不过,不仅仅有成熟的竞争者在争夺这个市场的一部分。初创公司Knupath和Nervana进入了竞争,其目的是在设计具有神经网络的晶体管领域。据报道,英特尔上个月以4.08亿美元的价格收购了Nervana。
Nervana正在开发的芯片“引擎”将于2017年某个时候发布。Nervana暗示将放弃内存缓存,因为它具有8 Tb /秒的内存访问速度。但事实是,Nervana于2014年以60万美元的种子资金开始,并在两年后以投资的近680倍的价格出售,这一事实证明了该行业和金融家对这一领域的重视程度以及该市场变得多么炙手可热。
市场驱动力
汽车是这项技术的核心应用,特别是对于ADAS。“关键是,你必须决定上的图像是什么,拿到进入卷积神经网络算法,”董事长兼首席执行官查理Janac说Arteris。“有两种方法。一个是GPU。另一个是ASIC,它最终会赢得胜利并使用更少的功率。但是真正好的实现是紧密耦合的硬件和软件系统。”
不过,要达到紧密耦合的系统这一点,取决于对需要解决的问题的深入了解。
Leti首席执行官Marie Semeria说:“我们必须在技术上开发不同的选择。” “这是全新的。首先,我们必须考虑用法。这是完全不同的技术驱动方式。这是神经形态技术的推动。您到底需要什么?然后,您将基于此开发解决方案。”
该解决方案也可以非常快。Cadence顾问克里斯·罗文(Chris Rowen)说,其中一些系统每秒可以运行数万亿次操作。但是并非所有这些操作都是完全准确的,因此也必须将其内置到系统中。
“您必须采取统计措施来控制正确性,” Rowen说。“您使用的是高度并行的架构。”
什么最有效?
但是,比较这些系统并不容易。在讨论Google TPU时,Jouppi强调了世界各地的研究人员和工程师团队可以基准化他们的工作以及所使用的硬件和软件的性能的一种方法:ImageNet。ImageNet是由大学研究人员独立维护的1,400万张图像的集合,它使工程团队可以确定他们的系统找到对象并对其进行分类(通常是它们的子集)的速度。
本月晚些时候,ImageNet大型视觉识别挑战赛(ILSVRC)2016的结果将发布,作为在阿姆斯特丹举行的欧洲计算机视觉大会(ECCV)的一部分。
这里讨论的所有参与者都将在那里,包括Nvidia,百度,谷歌和英特尔。高通公司也将在那里,因为它开始像Nvidia一样部署关键软件库。Nvidia将展示其DGX-1深度学习设备和专为视频分析和机器学习而优化的Jetson嵌入式平台。
ECCV 2016的主席Arnold Smeulders和Theo Gevers告诉半导体工程公司,ECCV的许多参与者确实在能够实现计算机视觉的半导体技术(与在硅上运行的软件相对)领域工作。
他们通过电子邮件说:“最近,半导体技术巨头对计算视觉产生了兴趣。” 现在,计算机可以了解图像中存在哪些类型的事物和场景类型。这就需要对与注释示例中的机器学习匹配的特征中的图像进行描述。在过去的五年中,使用深度学习架构极大地提高了这些算法的功能。由于它们是计算密集型企业,包括高通,英特尔,华为和三星在内的芯片制造商,以及苹果,谷歌,亚马逊等AI公司以及许多高科技初创公司也进入了计算机视觉阶段。”
Smeulders and Gevers说,人们的兴趣日益浓厚,以至于会议场地在预计注册结束前一个月就达到了最大容量。
在很长一段时间内,早期版本的ECCV每年增加约100名与会者,而在苏黎世,上一版本的1200结束。“今年,我们在会议开始前一个月达到了1,500名与会者。那时我们不得不关闭注册,因为我们租用的建筑物荷兰皇家剧院无法舒适地举行。
随着行业的变化和变化,工程经理要找到必要的技能是一项挑战。这也给电气工程和计算机科学专业的学生提出了一个问题,即他们的课程在被应用到市场之前是否会过时。那么,对电子学特别是对计算机视觉中的半导体角色感兴趣的学生可以做什么来在该领域找到工作呢?
Smeulders和Gevers说:“由于图像[识别]是每1/30秒就有大量数据输入,因此半导体行业的关注是很自然的。” “由于海量数据,直到最近,人们的注意力仍局限于处理图像以生成另一幅图像(图像中突出显示的元素更清晰,更清晰)或缩小图像(目标区域或压缩版本)。 )。这是图像处理领域:图像输入,图像输出。但是最近,计算机视觉领域(即图像中可见内容的解释)经历了一个非常有成果的时期。为了理解图像的本质,形成方式以及使用深层网络进行分析的方式是现代计算机视觉的关键组成部分。”
随机信号处理,机器学习和计算机视觉将是研究和培训的领域。
ECCV在亚洲的对应产品是Asian CCV。在奇数年,举行了国际CCV。Smeulders和Gevers指出,每年夏天在美国举行的计算机视觉和模式识别会议对CCV进行了补充,但重点有所不同。Google认为它是所有正在审查的学科的前100个研究源之一,也是该列表中唯一的会议。论文定于11月15日在檀香山举行的7月会议上发表。
Nvidia的Kim和其他人将2012年至2013年视为在这些神经网络应用程序中用于执行计算机视觉等任务的GPU的“大爆炸”。那么下一个大爆炸是什么?
“自2004年重新开始对图像内容进行分类的竞赛以来,一些算法步骤已经铺平了道路,” Smeulders和Gevers写道。“其中之一就是SIFT特征[尺度不变特征变换]。另一个是词袋和其他编码方案,以及特征定位算法,以及从大量图像数据中学习特征的方法。然后,GPU加快了从数据集学习的速度,为深度学习网络的使用铺平了道路,从而进一步提高了性能。这意味着原本需要数周的任务现在可以在一夜之间运行。下一个大爆炸将再次出现在算法方面。”
鉴于有大量资金涌入该市场,毫无疑问,未来会有大的变化。仍有待观察的规模有多大,但考虑到围绕这种方法的活动量以及涌入的投资量,人们的期望很高。


(责任编辑:ioter)

用户喜欢...

IBM和Google的量子计算竞赛发生了神秘的转折

在新兴的量子计算领域,争夺顶级地位的斗争发生了一个奇怪的转变,当时竞争对手IBM和Google都发挥了重要作用,而就Google而言,神秘的说法表明了它们的位置,大多数专家认为这仍在离终点线...


企业利用边缘计算进行物联网分析

我们与三个行业的IoT早期采用者进行了交谈,以了解他们如何通过构建边缘计算基础架构来推进IoT部署。这就是我们学到的东西。 托管服务提供了边缘计算的优势,减轻了IT人员的负担 SugarCr...


Nexus 5G,边缘计算和物联网有望重组网络

5G提供的无线蜂窝连接性比上一代蜂窝服务具有更高的带宽,更低的延迟和更高的设备密度。除了可以达到10 Gbps的速度和1 ms的延迟之外,5G还可以在每平方公里支持数千个设备。 5G还支持网络切...


Raspberry Pi内幕:35美元的计算机改变了世界的故事

埃本厄普顿(Eben Upton)在描述他共同创造的35美元Raspberry Pi计算机的原型机于2011年5月在网上披露后,公众的期望重担落在了他的肩上。 在以相对匿名的方式修改委员会的设计五年后,突然意识...


认清大数据 盲目跟风不可取

大数据的本旨是好的,经过数据分析做出的决策也许要比经验更加靠谱。大数据厂商经常举出的例子就是零售业,比如经过消费者购买行为分析,将某某商品和某某商品放到一起,有效提高了销量;又如房地产业,从搜索引擎反馈的消费者对房市的搜索结果,甚至能够预测到楼盘的销量。...


中南大学—英特尔透明计算与平台创新技术研讨会举行

如何在确保安全性和跨平台兼容性的前提下,实现灵活有效地为人们提供简便易用的计算服务?透明计算就是答案。...


全国云计算标准工作组正式成立

云计算标准工作组的成立标志着我国云计算产业标准化工作迈上一个新台阶。标准工作组将充分凝聚我国相关产学研用各界力量,通过标准化工作来支撑和服务于我国的云计算相关产业发展,并切实在各行业信息化建设和促进两化融合中发挥实效。...


云计算“另类怪杰” 苹果 Facebook

有两家没有将“云”挂着嘴边却不折不扣执行者云战略的公司,一个是如日中天的苹果,一个是未来之星Facebook。...


微软的“摇钱树” Office攀上云计算

Office是微软推出的一款极为成功的产品,但随着软件纷纷转向云端,员工可以在工作中使用平板电脑和智能手机等移动设备,Office的前景蒙上了一层阴影,其在企业级市场的统治力能否持久也被打上了一个问号。...


云协作,铸未来―华为发布eSpace教育协作解决方案

华为在上海召开“云协作,铸未来——华为eSpace教育协作解决方案发布会暨华东师范大学现场会”,隆重发布了华为eSpace教育协作解决方案,并举行了华东师范大学协作云揭幕仪式,展现了华为基于云计算平台,在教育行业应用创新解决方案和云化实践。...