近期,字节跳动豆包大模型团队提出了全新的稀疏模型架构UltraMem,该架构有效解决了MoE推理时高额的访存问题,推理速度较MoE架构提升2-6倍,推理成本最高可降低83%。该研究还揭示了新架构的Scaling Law证明其不仅具备优异的Scaling特性,更在性能上超越了MoE。实验结果表明,训练规模达2000万value的UltraMem模型,在同等计算资源下,可同时实现业界领先的推理速度和模型性能,为构建数十亿规模value或expert开辟了新路径。
墨芯独创双稀疏化算法技术,重新定义AI芯片架构。第一款双稀疏化芯片Antoum针对云端
人工智能推理场景,Antoum芯片支持高达32倍稀疏率。
Antoum是一款高性能通用可编程芯片,广泛支持CNN、RNN、LSTM、Transformer、BERT等网络模型和浮点、定点丰富的数据类型。在视觉应用场景中,Antoum带来突破性的创新,将编解码性能提升至业内领先水平,Antoum的出现为现有AI芯片架构带来创新和更多算力提升空间。
$岩山科技(sz002195)$ :公司通过全资子公司直接投资了墨芯人工智能科技(深圳)有限公司。墨芯人工智能是稀疏计算领军企业,拥有全球领先、自主研发的稀疏化算法,是双稀疏算法的发明者,拥有全球专利 30 余项,其打造的软硬协同的新一代智能计算平台,实现了算力性能、成本的数量级优化。
声明:转载,不作为证券推荐或投资建议,旨在提供更多信息,作者不保证其内容准确性。