快捷搜索:  as  2018  FtCWSyGV  С˵  test  xxx  Ψһ  w3viyKQx

和记APP:美光科技CEO:存储领域的AI芯片战已然打响



上周,当举世最大年夜的存储芯片制造商之一美光科技(Micron Technology)收购人工智能硬件和软件始创公司Fwdnxt时,我不停在关注此事。

此举可能会异常有趣,假如成功的话,Fwdnxt可能会让美光与英特尔和英伟达等相助伙伴展开直接竞争,由于美光信托,内存和人工智能谋略正在交融到同一个架构中。

美光认真这个项目的此中一位高管是Steve Pawlowski,并非偶尔,他曾是英特尔的芯片设计师,拥稀有十项专利。Pawlowski现在在美光公司担负高档谋略办理规划副总裁。

Fwdnxt将与美光的存储芯片进行结合,赞助美光探索数据阐发所需的深度进修人工智能办理规划,分外是在物联网和边缘谋略方面。大概美光也会临盆基于人工智能的内存芯片,或者包括人工智能在内的内存芯片。

总部位于博伊西的美光公司正在做这项事情,该公司首席履行官Sanjay Mehrotra说,由于“曾经的谋略架构并不得当未来的成长趋势……从长远来看,我们觉得谋略最好在内存中完成。”

外媒在上周Micron Insights的活动上采访了Steve Pawlowski,以下是颠末编辑收拾的采访实录,由猎云网编译。

Steve Pawlowski:2014年我脱离英特尔的时刻,我来到了美光,他们问我:“你想做什么?”我说和记APP:“我觉得,为了前进机能效率和低落延迟,谋略和内存的交融是需要的。你们是一家存储公司,你们有技巧,DRAM即将到来,我想在这一领域作出改变。”然后他们说:“好吧!”

我有一个小团队,专注于在谋略和内存方面发明问题——我们可以开始测试观点,然和记APP后将观点引入产品,但不会增添资源。我在英特尔进修到的,一件我永世都不会忘怀的工作,我们曾经有算数协同处置惩罚器,80287,80387,然后我们在387上赚了一大年夜笔钱。当时我们有了一个智慧的设法主见,假如我们把协处置惩罚器集成到486中,我们可以做得更快更好。我们做到了,但忽然间我们就没有足够的萍踪了。那些不必要它的人说:“你不会为了那个逝世亡区域向我收费”,而那些必要它的人说:“会像其他人一样付给我钱,由于我是一个受迎接的顾客。”然后,全部营业就归零了。

这件事给我的一个教训是,你不能增添更多的繁杂性和资源,然后指望人们顿时为它买单,除非,有大年夜多半人能从中得到真正的代价。我们现在重点关注的是,找到人们本日可以从中得到代价的关键身分,然后看看你能否跟着光阴的推移扩大年夜这个泡沫。我觉得这是一个8到10年的旅程。在那些年的着末,当我追念旧事时,我可能会意识到我挥霍了它们。或者我可以转头看看,然后说:“哇,我们可能没有做到这一点,但我们做得很好。”

Q:这激发了很多关于这会导致什么后果的想象,你会给出一些详细的暗示吗?

Steve Pawlowski:有一件事,你肯定已经听过很多次了,那便是AI正处在边缘。我们关注这个问题的缘故原由是,没有一个现成的编程模型或现成的架构可以让你与市场竞争。可以说,每小我都在为进入同一个疆场而斗争。现在,我们有时机去那里做点什么了。人们不会看着你说:“美光是一家内存公司,你为什么要谈这个?”事实上,他们是这样觉得:美光在FPGA上有这种能力,我们的高机能内存和架构映射在FPGA之上。我们会认真所有的抽象,以是你不必成为一个VHDL法度榜样员,那么你乐意开始处置惩罚数据集的问题吗?

有趣的是,我并不必要主动去推动它。我们常常会参加FPGA会议。很多政府机构也会参加然后说:“我们在这里有个问题,我们想在这方面多做些考试测验。”政府的问题是,他们很早就愉快了,但假如你想做成什么工作,那就得花很长光阴。由于采购周期很长,条约也是经久的,其他的统统都是经久的。

我们抉择看看通俗市场。有一和记APP家汽车公司来了,他们说:“我们还没有达到第五级,但我们肯定可以达到第三级、第四级的自动驾驶汽车,我们盼望能够使用收集奉告我们正在发生什么。这看起来是有趣的,你乐意和我们一路事情吗?”还有很多人说:“他们为什么对与你们展开相助感兴趣?”这是由于我不会直接奉告他们必要做什么,我会说“这便是我们所拥有的,然后我们能为你做些什么呢?”他们会说:“好吧,你乐意听我们的,这是我们的问题。”

不管你信不信,我从2005年AMD推出的Opteron中罗致了教训。我们仍在推广7g处置惩罚器、33-stage管道,但无人问津。我们去了华尔街,我说:“你能再给我们一次时机吗?我们能坐下来懂得一下我们的事情量吗?让我们一路相助,我们可以创造更好的产品吗?”事实证实,我们做到了。

我们找了很多人。瑞银,我记得他们写的一篇评论文章,他们说:“你可能不会制造最大年夜的芯片或最好的芯片,但你来了,理解了我的问题。”这便是所谓的,真正理解客户和他们的问题,以及你能做什么。假如你这样做对他们没有赞助,也不要紧,至少你学到了一些器械。

Q:就缩小范围而言,它是在开拓一种新的内存,照样在谋略处置惩罚历程是在哪里完成的?

Steve Pawlowski:谜底是肯定的,但它是对动态真正的理解。顺便说一下,这取决于型号。我刚才和下面的人聊了聊有些说话模型必要100g的参数。当你看到有人说:“嘿,我有两个千兆字节,四个千兆字节。”那会得当大年夜多半型号,但不是所有的型号,型号确凿在赓续成长。

这也取决于办理规划的延迟。我不知道你们是否看过OHSU的视频,那位女士患了乳腺癌,他们必要大年夜量的数据,由于他们想把所有的电子显微镜图像放在一路,建立一个三维卷积模型,一个针对肿瘤的三维显示。他们没有足够的光阴去懂得,由于他们想要在一天以致一个小时内得到切实可行的洞察力。我们在欧洲核子钻研中间做的事情,我们现在必要数据。我们必须在几微秒内做出抉择。这是什么有趣的器械,照样我们把它放弃。

不合的办理规划必要不合类型的内存,这也是我们正在进修的。我不停爱好英特尔的一点是,用户知道法度榜样的指令是什么。我懂得它们是若何在机械上履行的,然后徐徐进入系统。当我来到美光的时刻,我看到的只有地址和敕令,便是纯真的读/写敕令和地址。我完全不明白,这个器械是把15个不合的器械复制到不合的元素上,照样覆盖上去,照样什么?有了我们在6月相助和收购的这些公司,我们就可以构建这些算法、运行它们,看看整体效果若何。

我们的第一个目标是,我们能在内存中做些什么来前进办理规划的运行光阴?我们可以建立更高的带宽,但那不必然能让用户达到目的。假如我们能建立一个缓冲区,引入一个矩阵,让我们一会儿就能把矩阵移过来,而不是让这个器械去找它,这可能会带来伟大年夜的好处。

着末,我们还会看到:此中大年夜多半是乘法和累加的架构,以及异常简单的一些架构。它们只是被复制了几千次。一旦晶体管变得更好,你就可以在存储设备上做一个很好的乘法和累加。终极,设想一下采纳这种架构,然后把它放在一个内存设备本身中,这是一个经久的愿景。

我想说的是,无论我们做什么,我们都要建立一个编程根基举措措施和一个典型,这样人们就不必每次迁移时都重写他们的代码。在我看来,这便是英特尔的伟大年夜成功。当我们做386的时刻,还没有32位的软件。但它确凿能很好地运行16位代码,人们买它便是为了这个。你可以有很多平台,然后人们说:“好吧,现在我们去优化32位。”6到8年后,当486问世时,有很多软件可以使用它,然后它就变成了一台永不转头的机械。

先从内存开始,先从存储开始,看看我们能做什么。然后我们将看到什么可以跟着光阴的推移而真正地迁移,谜底可能是什么都不能,谜底也可能是统统都能。我想谜底是在中心的某个地方,这取决于你把针移到哪里。

Q:是什么让这个项目变得如斯艰苦,以至于可能成为一个历时10年的项目?

Steve Pawlowski:艰苦的是,这将是一个为期10年的项目。提出一种编程范式,社区就开始应用它,这样你就可以开始把编程带到社区。我不知道你是否知道Steve Wallach(来自Tracy Kidder的一本书),他是多年前的Tracy Kidder的灵魂。他刚退休,但他曾为我事情了一段光阴。每次一对一的时刻,他都说:“假如我要教你什么的话,便是这个。最轻易编程的器械便是得胜的关键,屡试不爽。”底线是,你必须让编程社区介入进来。你不能只是去做一些花哨的硬件,然后把它们丢在一边,由于它们不会碰它,这是个难题。

我们还不是软件公司。我刚开初创业的时刻,英特尔还不是一家软件公司。他们就像Nvidia,有很多软件工程师,在某些环境下以致跨越了他们的硬件工程师。你只是看不到他们。

Q:你们拿下了Fwdnxt,它是一个很周全的产品了,那么你们还必要找很多相助伙伴吗?

Steve Pawlowski:我们必要大年夜量的相助伙伴和数据科学家,他们的推理机架构已经开拓了5年,10年,12年了。优化它们的人来自不合的公司和不合的学术情况,它的开创人是普渡大年夜学的教授,他们不停在优化这个架构。他们有一个相称好的编译器,采纳了一个开放的收集互换前端,然后将其映射到他们的硬件上。

我必要的是数据科学家,是利用法度榜样。我还觉得我们必要一个动态运行时/调整法度榜样。假如你真的有这个模型,假如我本日在硬件上写一个收集,在英特尔处置惩罚器上,三年后你仍旧可以运行同样的法度榜样,所有的器械都是经由过程指令集抽象出来的。是以,在这里我要做的是抽象收集,这意味着我们必要某种类型的动态运行时。也便是说,“啊,这个器械有8000个乘法和累加单位,这个有1000个,那我可以把那器械再分散一点。哦,这150个单位逝世了。我不想在这些方面做任何安排,但我仍旧盼望能够应用该部分。”

有几个实体不停在探求办理动态运行时问题的措施,我觉得这是异常紧张的,尤其是我据说过预计值。一年前,我在机场碰到了一个在英特尔公司经营Litho的人。他说,他们信托当达到5nm以下时,30%的设备在制造时会分歧格。

Q:你是说出缺陷,照样什么?

Steve Pawlowski:只是不相符规格。我们把所有的器械都装在护栏里,假设它的寿命是7年,而且质量会下降。基于这个特殊的缘故原由,你以致无法护卫它,它以致也不能在guardrail里正常事情。

我找到了一篇由巴西钻研者写的论文,上面说假如你有,假设你可以做512个核,那么你会低落20%。与峰值机能比拟,总体机能下降约4%。32核芯片已经掉效,在64核芯片中,只有一个内核处于活动状态。他们只是假设这些值是随机散播的。假如我们要应用比7更好的几何图形,那么为这些大年夜型利用法度榜样供给动态运行时将同样紧张。

多年来,内存系统不停存在冗余。他们在测试,会在一个冗余块中互换,假如坏块比冗余块多,这就变成了一个密钥链。和记APP

Q:这是否意味着与英特尔和英伟达等公司的竞争很猛烈?

Steve Pawlowski:这样会更有相助精神。美光在数据中间很难与英特尔和英伟达竞争,英伟达已经锁定了练习。纵然有人提出了新的办理规划,至少有一家始创公司奉告我,超级谋略者奉告他们:“很难把我们的练习算法从GPU上转移出来。它做得很好,仍在前进我们的业绩。不要把你的光阴花在这上面。”我着末听到的统计数据,很大年夜一部分推论仍旧在Xeon上运行。

我们不停在关注——假如我们要在数据中间做些什么,那便是赞助我们的客户,比如英伟达和英特尔。然则假如从内存存储的角度来看有什么立异,让我们来看看它的边缘。我们将在那里得到最大年夜的效率和规模经济。

Q:摩尔定律的部分还可以吗?你们会定时吗?

Steve Pawlowski:这是一个寻衅,但这并没有阻拦我们继承扩大年夜规模。老实说,我必须永世活在摩尔定律里。不许说摩尔定律的坏话!这是第十一诫。是以当人们问我的时刻,我的回答是:Dennard规模增长的放缓和竣事才是真正推动立异的缘故原由。现在,我们可能不会每两年获得两倍的晶体管,大概是每三四年一次。但我们会在第三维度生长。这统统并没有阻拦我们。问题是如何做最经济,工程师们会尴尬题找到真正有创意的办理规划。

Q:英特尔本日强调,他们将在2021年推出7nm图形芯片。他们彷佛回到了预定的光阴。

Steve Pawlowski:我盼望如斯。在我脱离的时刻,那是5年前的事了,4年的领先上风消掉得如斯之快,令人惊疑。

Q:从这个意义上说,彷佛全部行业都在同步提高。

Steve Pawlowski:我觉得这个行业还在继承他们的步调:“我们仍旧可以看到一条通往规模化的蹊径。”就像我说的,我不知道这是否是摩尔猜测的激进的两年,但想想以前40年来,因为摩尔定律,我们在能力方面取得了哪些进展。太弗成思议了!我仍旧觉得会呈现规模扩大,我们会像其他人一样使用它。

Q:Fwdnxt买卖营业给你带来了什么?是更多的软件方面的营业,照样也有芯片制造领域的人才?

Steve Pawlowski:不是真正的芯片制造天才,并不是的。他们是修建天才,他们有硬件架构方面的天分。他们已经翻译了FPGA。在采取这方面,使ASIC和做前端和后端,这不是他们的专业常识,然则是他们现在在做的地方。他们带来了软件和体系布局,不仅是硬件的体系布局,还有卷积神经收集的体系布局常识。假如有人向他们提出一个问题,他们若何能够对该收集进行优化,然后应用他们的数据对其进行练习,以得到他们想要的精度水平。一旦他们达到了他们想要的精度,他们就把练习好的算法映射到FPGA长进行分类。

Q:以是它会给你供给多种选择,让你选择和记APP想做什么。

Steve Pawlowski:我完全把它看作是,我们正在进修这些器械是若何互相感化的,以及这些不合的收集是若何进化的。好的方面是,我可以放一个有一百万个参数的收集,便是说我可以放一个100gig的收集参数。它的运行速率较慢,但我能够理解那些大年夜型收集将若何成长,以及我们将做些什么。

我在小组里评论争论了我们是若何与欧洲核子钻研中间相助的。我们从原型设计中学到的器械是惊人的。他们以如斯快的速率把数据扔给它,他们必要如斯快的洞察力。准确性是好的,但他们不必要像癌症患者那样紧迫的器械,而你必要99.999%的准确性。他们会问,“这70%或80%好吗?这很有趣吗?没有?那就不要了。把它扔出去。我们有更多的器械要对于,终极我们会获得一些达到这个门槛的器械,那将会很有趣。”他们每秒会发生4000万次碰撞。

Q:你对这种措施能办理的问题的一样平常描述是如何的?

Steve Pawlowski:这两个问题,卫生保健和欧洲核子钻研中间,基础上他们是用2D传感器图像构建一个3D模型。在欧洲核子钻研中间一号上,粒子互相碰撞,孕育发生了大年夜量其他粒子。他们想要做的是快速丈量这些粒子然后问:“所有的能量加起来了吗?”假如能量是X,你获得Y,它小于X,然后有一些能量没有被斟酌进去,这是很有趣的科学,由于能量守恒定律说没有任何器械应该被创造或息灭。一旦他们这样做了,他们就会想要得到不合的图像并构建一个关于衰减的3D模型,由于它不会整个显示在相同的2D图像中。

可视化肿瘤必要很多很多二维图像,X光,等等,并创建一个三维的体积模型。我们应用相同的3D卷积神经收集样式,由于它们是不合的收集,它们有不合的内层做不合的工作,然则我们用它们来办理一个类似的问题,即创建一个3D的体现。

Q:我不知道你是否据说过MediView公司。他们来自克利夫兰诊所,刚刚筹集了450万美元的风险投资。他们对病人的身段进行核磁共振成像,所有的器械都在里面,然后他们把数据放入微软全息眼镜。然后医生就可以用3D技巧将其可视化。你把手术刀放到病人身上,他看得手术刀穿过小孔,进入他想要的地方,否则他就不会看到里面的环境。曩昔,他必须根据他所看到的所有2D屏幕进行预测。

Steve Pawlowski:那太棒了。几年前,俄勒冈康健科学大年夜学的外科主任说:“你必要来这里。”当时我在英特尔,他们给我们洗了满身,给我们做了双疝气手术,他说:“我想给你们展示我们现在是怎么做手术的。”他们仔细反省了统统。当然,这小我并不是完全开放的,否则我就不会去做手术了。手术停止后,他说:“现在,让我向你们展示若何练习我们的外科医生。”就对象而言,它就像石器期间。这将是一个完美的教授教化对象。

您可能还会对下面的文章感兴趣: