浪潮信息被错杀
国盛通信解读deep speed chat对算力影响
🔥公式:gpt3.5/4/5 +RLHF=chatgpt。deep speed chat调整的点在RLHF,你还是需要训练出gpt3.5/4/5才能搞出chatgpt。一句话总结:gpt3/3.5/4/5 ,money is all you need
🔥根据instructgpt的数量,大概不到10w条,一条算100个token= 1000w个token,但gpt3 用了3000亿个token,所以数据上的话1000w/3000亿=10万分之三。RLHF优化对算力影响微乎其微。
ai发展对算力的追求没有天花板,继续拥抱最确定的环节[拥抱][拥抱][拥抱]
联系人:国盛通信团队