谷歌报复性砸出5620亿参数大模型 比ChatGPT更恐怖 机器人都能用为应对新一轮技术竞赛,谷歌还在不断出后手。这两天,一个名叫PaLM-E的大模型在AI学术圈疯狂刷屏。它能只需一句话,就让
机器人去厨房抽屉里拿薯片。即便是中途干扰它,它也会坚持执行任务。PaLM-E拥有5620亿参数,是GPT-3的三倍多,号称史上最大规模视觉语言模型。而它背后的打造团队,正是谷歌和柏林工业大学。
作为一个能处理多模态信息的大模型,它还兼具非常强的逻辑思维。比如能从一堆图片里,判断出哪个是能滚动的,还会看图做算数。有人感慨:这项工作比ChatGPT离AGI更近一步啊!而另一边,
微软其实也在尝试ChatGPT指挥机器人干活。PaLM-E是将PaLM和ViT强强联合。5620亿的参数量,其实就是如上两个模型参数量相加而来(5400亿+220亿)。
PaLM是谷歌在22年发布的语言大模型,它是Pathways架构训练出来的,能通过“思考过程提示”获得更准确的逻辑推理能力,减少AI生成内容中的错误和胡言乱语。Pathways是一种稀疏模型架构,是谷歌AI这两年重点发展方向之一,目标就是训练出可执行成千上百种任务的通用模型。目前这项研究已引发非常广泛的讨论。主要在于以下几个方面:1、一定程度上验证了“大力出奇迹”;2、比ChatGPT更接近AGI?
(澎湃)[07:13]