(人工智能)-(智能)-(思维)-(灵魂)

facebook人工智能研究院主任, 纽约大学教授 Yann Le Cun 认为:人工智能不是模仿人脑, 而是超越人脑. 
他类比了人类制造飞机的例子, 飞机不是模仿鸟类, 没有采用扑翼而是采用固定翼, 超越了鸟类的飞行速度和飞行高度.

论文作者：D. B. Strukov 期刊：《自然》 发布时间：2015/5/26 11:23:22
神经网络芯片仅由忆阻器创建 -- 有助构建类似人脑的模拟式计算机
 

美国加州大学和纽约州立大学石溪分校的一个联合研究小组，首次仅用忆阻器就创建出一个神经网络芯片，从而向创建更大规模的神经网络迈出了重要一步。

忆阻器，可能听起来像是科幻电影中才有的东西，但现实中它们确实存在。忆阻器全称为记忆电阻器，是模拟人类神经元和突触机制的一种有记忆功能的非线性电阻器。1971年，加州大学华裔科学家蔡少棠首次提出忆阻器的概念，但直到2008年，惠普公司的研究小组才将这一概念变为现实，他们创建了世界上第一个忆阻器器件。从此，科学家对该项技术进行了大量研究，但到目前为止，仍没有人能够建立出一个完全基于忆阻器的神经网络芯片。

据物理学家组织网7日报道，迄今，大多数神经网络均依托软件，如谷歌、脸谱和IBM的软件。这些网络通过计算机系统运行，像学网络，主要用来在人群中识别某个面孔，或基于某种模式回答问题。尽管这种技术好处多多，但也明显受限于硬件条件。随着神经网络在规模和复杂性方面不断增大，它们对计算机运行速度的要求也越来越高。因此，该领域的大多数研究人员相信，用忆阻器取代晶体管将是未来的一个发展方向。忆阻器就如同大脑中的神经元，当出现新的事物时能够自行学，当被置于一个芯片中时，自然会减少网络运行所耗资源。

在最新一期《自然》杂志上，研究小组描述了他们创建这种神经网络芯片的过程，并介绍了该芯片所具有的能力。研究报告显示，新的芯片通过无晶体管的金属氧化物忆阻器闩（Crossbars）创建，呈现为一个基本的神经网络，目前仅能够执行一个任务，即学和认知3×3像素黑白图像中的图案。

研究人员称，该芯片的研发成功，向创建更大规模的神经网络迈出了重要一步，这将挖掘出忆阻器的真正潜力。同时，它也使得科学家紧随大脑神经元基本工作模式研究步伐，构建类似人脑方式处理与联系信息的模拟式计算机成为可能。

记忆电阻如何变革电子工业

1971年，物理学家 Leon Chua 提出了第四种集成电路基本构成元素的概念。他相信，由于对称性的存在，新的组件会被创造出来，加入到既有的三种构成元素——电阻器、电容器和感应器——当中。当时，他为这样一种新的存在起名为 “记忆电阻（memristor）”，英语单词 memory 和 resistor 的混成词。

37年 后，第一个记忆电阻被惠普公司生产出来。而今天，研究者相信记忆电阻将在计算机领域掀起一场革命。

从电子到离子

记忆电阻的出现预示着 “电子时代” 的结束和 “离子时代” 的开始。

自从 1947年 被发明后，晶体管一直是制作计算机芯片的主要材料。晶体管通过电子的流动发挥功能，而一旦电子的流动被阻断时——比如遇到电力中断的情况——所有的信息都会丢失。

而记忆电阻能够产生并维持一股安全的电流通过某个装置，“记忆” 先前通过的电荷量。这样的特性使得配置记忆电阻的计算机即使突遇断电，也能不依靠存储至硬件的方式将信息留存住。另外，记忆电阻特别的一点还在于，相比于晶体管，它可以突破二进制编码的局限。

像大脑一样运作

最初，记忆电阻主要被用作制作极速存储芯片，它能容纳更多的数据但能耗更少。

Jennifer Rupp 是一名电子化学材料学专家，即将供职 IBM，为其研发基于记忆电阻的机器，她认为，记忆电阻不同于晶体管的一点是，它不再基于二进制编码——这种计算机方法论上的转变使得人们可以创造出更智能的计算机。突破了 0 和 1 的限制，可以计算 0 到 1 之间的数值，同时表示多种状态，进行高速的数学和逻辑运算，更类似人类大脑的运作模式。这种转变使得计算机更为强大，并具备了学和决策的能力，最终推动我们向创造如同人类般的人工智能更进一步。

晶体管由硅制成，这种坚硬的材质由于其特性被用于控制电子的流动，进而管理信息。Gordon Moore，Intel 的联合创始人，曾在 1975年 提出了著名的摩尔定律，即当价格不变时，集成电路上可容纳的晶体管数目，约每隔 18 个月便会增加一倍，性能也将提升一倍。这项定律曾经一次次被证实，也曾为计算机性能更新换代的速率定调。然而，记忆电阻出现后，这样的规律或许很快便走向终结。

记忆电阻技术为这样的重大突破埋下了伏笔：记忆电阻意味着硅时代的结束，它的记忆功能使得计算机能够兼具计算和存储双重功能，节省了传统计算机需要来回进行数据传输所耗费的能力，为电脑实现低功耗，高信息处理能力，大容量数据存储和全新的逻辑模式提供了可能。

竞赛还在继续

2014年，惠普公司发布了利用记忆电阻制造计算机的计划，该计算机被命名为 “The Machine”。根据计划，此款计算机将于 2020年 面世，它将使用电子进行处理，光子进行通讯，并使用离子进行存储。

如果惠普成功开发出此款计算机，那它便确实引领了一场革命。存储技术是影响许多计算机应用程序性能发展的瓶颈。存储器可以做到既快又小，如同处理器上的缓存；存储器同样可以做得既慢且大，比如驱动硬盘。在不同的存储设备间重排数据，并为实现最佳性能，使得正确的数据被放置到正确的位置，是其中最显著的瓶颈。惠普公司宣称，通过高速光学互联与记忆电阻存储器的结合，数据库可以在一秒内处理百亿个更新程序。

生产的成本在不断增加，但收益更为诱人：记忆电阻功耗低，而处理速度快，又比其他硅制的微芯片晶体管信息容量大。

如同物理学领域中的微粒一样，在能够真正制造出记忆电阻之前，我们必须大量积累理论。而现在，我们已经拥有制造其的能力，这个电子工业中 “遗落的第四元素” 或许会成为我们通向更多人类发现的钥匙。

IBM忆阻计算让人工智能加速前进
机器之心 Synced 04月07日 09:30

神经网络是有点像人脑一样解决问题的计算机软件，使用分布在许多虚拟节点上的匹配模式的复杂处理。现代的计算能力已能让神经网络识别图像、语音和面部，还能实现汽车的自动化驾驶，在围棋和 Jeopardy 游戏中获胜。

近来，机器学的快速发展为神经网络带来了一次复兴——神经网络是一种有点像人脑一样解决问题的计算机软件，使用分布在许多虚拟节点（也叫「神经元」）上的匹配模式的复杂处理。现代的计算能力已能让神经网络识别图像、语音和面部，还能实现汽车的自动化驾驶，在围棋和 Jeopardy 游戏中获胜。大部分计算机科学家认为这些都还只是实现未来的开端。不幸的是，我们用来训练和运行神经网络的硬件看起来和神经网络的架构完全不同。这意味着即使使用计算机集群，要训练一个解决某个问题的神经网络需要数天甚至数周的时间。而一旦训练完成，还需要大量的计算能力来解决这个问题。

神经形态计算可能是推动人工智能发展的关键

IBM 研究者的目标是通过完善另一种技术来改变这一切，比如诞生于几十年前的神经网络。被泛称为忆阻计算（resistive computing，基于忆阻器交叉阵列的脉冲神经网络计算）的概念本质上是一种模拟的计算单元，它具有很小的物质形态，还能保留自己的历史状态，使它们可以在训练过程中学。使用硬件加速神经网络对 IBM 而言并不新鲜，该公司最近刚宣布将自己的一些 TrueNorth 芯片出售给美国劳伦斯国家实验室以用于人工智能研究（点击查看机器之心对此事的关注报道）。TrueNorth 的设计是神经形态的，这意味着该芯片的架构大致近似于大脑的神经元和突触架构。尽管其时钟频率只有很慢的 1 KHz，但凭借其每一个都模拟一个神经元的上百万个微型处理单元，TrueNorth 可以非常高效地运行神经网络。

尽管如此，到目前为止像 TrueNorth 这样的神经网络加速器都仍被限制在决解部署神经网络的部分问题上。训练——这一让系统可以通过测试数据集提升自己，然后调整参数（被称为权重）直到它获得成功的痛苦过程——仍然需要在传统计算机上完成。尽管从 CPU 变成 GPU 再到定制芯片已经提升了性能表现并减少了所需的功耗，但训练过程仍然昂贵且耗时。而这就是 IBM 研究者 Tayfun Gokmen 和 Yuri Vlasov 的研究成果切入的地方。他们提出了一种新的芯片架构，该架构使用电阻式计算创造了数百万个忆阻处理单元（RPU）组成的多个计算块，并且可以同时应用在训练或运行神经网络中。

使用忆阻计算打破神经网络训练的瓶颈

忆阻计算是一个大课题，但大致来说 IBM 的这个设计中的每一个小处理单元（RPU）都模拟了大脑中的一个突触。它可以以电压的形式接收各种模拟信号，并基于其过去的「经历」使用一个对这些经历加权的函数决定可将什么结果传递给下一组计算元件。突触在大脑中有一个让人迷惑的，还未被完全理解的排布方式。但使用忆阻元件的芯片往往将它们整齐地排布成二维的阵列。比如，IBM 最近的成果显示将它们组织成 4096×4096 的阵列是可能的。

因为忆阻计算单元是特化的（相对于一个 CPU 或 GPU 内核），既不需要将模拟信息转换成数字信息，也不需要使用除它们自己之外的存储器，所以它们的运行速度可以很快而且只需要很少的功耗。因此，理论上一个复杂的神经网络——比如应用于自动驾驶汽车中识别道路标志的神经网络——可以直接通过在每一个软件描述的电路配置一个忆阻计算元件来进行建模。但是，因为 RPU 并不精确——这是由于它们的模拟的性质和它们电路中的一定量的噪声所致——任何在它们上面运行的算法都需要能抗衡忆阻计算元件固有的不精确性。

传统的神经网络算法——无论是用于执行还是训练——是为高精确的数字处理单元而编写的，可以很容易地调取任何所需的记忆值。如果对它们进行重设，让每一个本地节点都可以在很大程度上依赖自己。虽然可能些许不准确，但产出的结果准确率还是有的，这需要大量的软件创新。

为了让这些新软件算法能够大规模地工作，硬件上也需要进步。现有的技术都不足以创造可以封装得足够紧密的「突触」，并让其在嘈杂的坏境中低功耗地运行。所以忆阻处理成为了一种替代选择。直到 2014 年一种在混合忆阻计算机上训练神经网络的逻辑被开发出来，运行时执行（runtime execution）首先出现。当时，匹兹堡大学与清华大学的研究者声称这样的解决方案可以在只牺牲 5% 的准确度的情况下带来 3 到 4 个数量级的功效增益。

IBM 研究者声称基于 RPU 的设计对神经网络应用而言将会远远更加高效，上面的图表来自他们的论文。

从执行到训练

IBM 的这项新成果将忆阻计算的使用又更向前推进了一步，提出了一种几乎将所有计算都放在 PRU 上完成的系统，而只有输入和输出等支持功能才需要传统的电路。这种创新依赖于一种在基于 RPU 的架构上运行的神经网络训练算法版本和可让 RPU 运行硬件规格的结合。

至于将这种想法付诸实践，目前来说，忆阻计算基本上都还是一种理论构架。2012 年，第一种电阻式存储器（RRAM：阻变式随机存储器）原型面世，但不要期望它能在几年内就成为主流产品。而这些芯片，尽管它们有助于扩展存储系统，并让人看到了在计算中使用忆阻技术的可行性，但却并不涉及类似突触处理的问题。

如果可以造出 RPU，将没有任何限制

这种被提出的 RPU 设计预计可以包容各种各样的深度神经网络（DNN）架构，包括完全连接网络和卷积网络，这使得其在几乎所有类型的神经网络应用中都有潜在的用途。使用现有的 CMOS 技术，并假设在具有 4096×4096 个元件的分块中配备具有 80 纳秒周期时间的 RPU，那么每一个这样的分块都能够每秒执行51 GigaOps（十亿次浮点运算），而只需要消耗极小量的功率。一个具有 100 个这种分块外加 1个 CPU 内核作为补充的芯片可以在仅消耗 22 瓦特功率的情况下处理一个高达 160 亿权重的网络（实际上其中只有 2 瓦特来自于 RPU——其它的功耗都来自于那个 CPU 内核，它的主要工作是帮助将数据输入和输出芯片以及提供全局控制）。

这是一个非常惊人的数字——对比一下当汹涌的数据流过那些 只有较少内核的CPU 甚至 GPU 时的能量消耗（想想 1600 万个计算元件和几千个进行间的对比）。研究者宣称，一旦使用这些 RPU 分块紧密封装成的芯片创造出了基于忆阻计算的人工智能系统，那么该系统的性能表现将相对于当前架构提升 30,000 倍，而其功率效率也将达到 84,000 GigaOps 每秒每瓦。如果这变成了现实，那么，我们就走上了实现艾萨克·阿西莫夫想象的机器人正电子脑的道路。

按理说人类的神经网络规模远大于alphago，但是理性计算却算不过alphago, 
我猜想是理性计算所消耗的功率远高于感性计算，而人脑的功率受限， 所以自然进化选择了主要依赖感性计算的低功耗模式。

现阶段是这样, 以后就很难说了.
[引用原文已无法访问]

“人类制造机器就是为了让机器在某些方面强于人类，但是机器在某些方面超越人类不意味着机器有能力学其他方面的能力，或者将不同的信息联系起来而做超越人类的事情，而这一点非常重要”------扎克伯格

“尽管在外人看来，人工智能研究的是常人难以理解的高科技，也就是让计算机去模仿人思考的科技，但实际上，人工智能学界普遍的共识是人工智能实际上还处于非常低智的阶段。目前绝大多数的系统（包括神乎其神的深度学神经网络）绝对还没有达到能够思考的程度。”------吴恩达

很多打上“智能”标签的技术常常让我们觉得缺了些重要的东西。的确，它们在很多方面比人更强，因为它们速度更快、容量更大、功能更稳定，但是这本来就是计算机的长项，而它们仍然缺乏适应性、灵活性、创造性等直观上和智能密切相关的特征。王培 （ 美国天普大学）认为:“智能”不是“解决具体问题的能力”，而是“获得解决具体问题的能力的能力”

  深度学(Deep Learning)即深度人工神经网络， 或深度神经网络。
  人工神经网络（Artificial Neural Networks）是一种仿生动物神经网络特点，进行分布式并行信息处理的算法模型。基于人工神经网络的设计具有处理隐式信息的特征：数据被“编译”成神经元连接，他们的权重（可以理解为知识）根据行为反馈迭代地进行调整。人工神经网络在学内核的帮助下，可以直接在数据上操作，这些知识隐式地以加权连接呈现。比如AlphaGo，它直接处理非符号的输入（约3000万棋谱）。
  人类大脑中有大约1000亿个神经元，彼此通讯 ，形成100万亿个突触，数量之繁密，胜过整个银河系的星辰。深度人工神经网络也使用类似的结构，每个人工神经元对输入进行简单的线性和非线性运算后将结果传递给后续的神经元，在经过这样十几层乃至上百层的传递后得到最终的预测结果。2011年的GoogleBrain深度学模型，用了1000台机器16000个CPU，大概有10亿个神经元。
  此外，深度学还和强化学(Reinforcement Learning)相结合。强化学指通过与环境交互中得到的奖赏和惩罚自主学(Self Learning)更优策略。
  AlphaGO就是一个深度学和强化学相结合的产物，它通过跟其他棋手下棋或者和自己对弈的输赢情况自主学更好的下棋策略。而深度学的引入，使得强化学方法可以表达更加复杂的策略。从AlphaGO完胜李世石可以看出，深度学+增强学已经有能力让机器人在相当复杂的环境下，自主学到高度优化的决策策略。

本次alphaGo事件最大的震撼是什么？
1。人工智能做到了从原始数据的直接输入（深度学），无需预先处理提取特征， 接近了人类感知系统。
2。人工智能做到了无专家指导的自主决策（强化学），无需人类专家指导干预， 自己总结经验自学成材。
这两点式和以前的人工智能系统本质的区别。
以前的人工智能系统，在输入阶段和决策阶段都是依赖人工预设计好的针对特定问题的模式，所以缺乏对新问题的适应性，