哈哈哈哈

哈哈哈哈腾讯集团高级执行副总裁、云与智慧产业事业群 CEO  汤道生

大模型落地

看成本与效率

即使对于科技公司而言，大模型是一项全新的技术，训练、部署和应用都不是那么容易的事情。作为一套系统性的工程，大模型的顺利落地需要做到全面考量、有的放矢。

正如每项落地的 AI 技术一样，作为使用者，企业首先清楚自身行业需求，然后将这些需求转化为大模型解决的课题，这其中不能一概而论，也是大模型最终能否为企业带来效益的先决条件。

目前来看，企业要用上大模型，最重要的是明确具体业务场景，挑选合适的模型类型、数据以缩小计算、推理范围，做到更聚焦、可控、精准。其次是使用专业工具，通过一体化的数据训练服务，做到更高效率。此外还需要梳理出测试用例，建立模型质量评估流程，有针对性地迭代调整。最后是关注安全合规，确保数据及模型应用安全、合规、可控。

这其中涵盖了数据质量、计算资源、专业经验和投入成本等种种考量，这些因素都会限制企业能否顺利得到并部署精准契合自身业务场景的大模型。

先来看数据，它是大模型训练和优化的重要基础，决定了大模型效果的好坏。企业要想得到一个效果好的行业大模型，保证数据质量尤为重要。如果导入的行业数据质量低、不系统、未经过清洗和预处理，则训练出的模型不可避免会有问题。

与训练数据同等重要的另一因素是计算资源。大模型是极其消耗计算资源的项目。以 ChatGPT 为例，有机构预估运行它需要三万块 A100 显卡。此外，大模型所需的 GPU 服务器集群要求极高的网速，网络稍有拥塞就会影响整个运行流程的速度和效率。

从智能化转型的实践来看，很多企业可能缺乏相关的技术、经验和人才，若不降低门槛，大模型就无法在生产场景快速落地。

对计算资源、网络带宽、数据安全等多方面进行综合考量，是企业管理者落地大模型的必经过程。

最后，大模型并不是部署上就行了，为了确保业务使用的可持续性，还需要持续投入完成训练调试、优化和实施。对于讲求成本效益的企业来说，这些都会是不小的压力。