【豆包提出全新稀疏架构
推理成本较MoE最高可降83%】随着模型规模的扩大,推理成本和访存效率已成为限制大模型规模应用的关键瓶颈。近期,字节跳动豆包大模型团队提出了全新的稀疏模型架构UltraMem,该架构有效解决了MoE推理时高额的访存问题,推理速度较MoE架构提升2—6倍,推理成本最高可降低83%。该研究还揭示了新架构的Scaling Law,证明其不仅具备优异的Scaling特性,更在性能上超越了MoE。
实验结果表明,训练规模达2000万value的UltraMem模型,在同等计算资源下,可同时实现业界领先的推理速度和模型性能,为构建数十亿规模value或expert开辟了新路径。 股权层面:字节跳动全资子公司北京量子跃动科技持有
掌阅科技 7.02%股权,这种股权关系为双方的深度合作奠定了坚实基础,使得掌阅科技在业务发展等方面与字节跳动旗下的豆包有更紧密的联系和协同的可能性。内容层面:掌阅科技拥有海量数字阅读内容资源,涵盖各种类型的书籍、网文等。这些内容可与豆包在内容创作、分发等方面深度合作,为豆包的AI创作提供丰富素材,豆包也能基于这些内容进行知识挖掘和学。同时,掌阅科技还能对豆包生成的相关内容进行版权运营等工作,实现资源共享与优势互补。
用户与流量层面:掌阅科技拥有庞大的用户群体,其阅读APP有超过6亿注册用户,全球累计安装量突破10亿次。这能够为豆包提供流量入口和用户资源,为豆包相关内容引流,增加豆包的用户覆盖面和使用频率。反之,豆包也能为掌阅科技的内容生态注入新活力,比如通过智能推荐等功能,提升用户体验和粘性,促进掌阅科技用户的活跃度和留存率。
业务拓展层面:双方可在AI应用场景拓展等方面携手探索,共同开发基于AI的阅读推荐、内容生成等新功能和服务。例如掌阅科技将豆包等AI大模型融合于自身的阅读APP,利用豆包的智能推荐与问答功能,为数字阅读用户打造更个性化的体验,推动数字阅读与AI技术的融合发展,拓展业务边界和商业机会。