“大模型”制造算力饥渴,腾讯“摆摊买水”

2023-04-17

作者:邵延港

来源:AI星球

A-
A+

  ChatGPT引起的热度从去年底持续到现在,想要继续讲AI故事的参与者,被迫加入大模型(LLM)混战,国内企业的大模型发布会的排期快把近两个月的日期占满了。

  目前,百度已经发布文心一言、阿里发布了通义千问,商汤也于日前发布了日日新,360、网易、科大讯飞等企业的大模型产品都已经提上日程。腾讯此前披露的在研项目“混元”大模型近期也备受关注。

  混元大模型尚未正式上线,但腾讯却在大模型的基础设施加快布局。4月14日,腾讯面向大模型训练,发布“超强算力集群”,要助力企业云上训练AI大模型,解决中小企业和创业公司的算力压力。

  “挣大模型的钱”,腾讯不是第一家,阿里、亚马逊、英伟达等企业已经在软硬件方面展示了服务项目。在这场大模型热潮中,腾讯也想做一个“卖水人”,不过在算力支持的背后,或是一场大厂生态之战。

  算力需求紧张,腾讯可4天训完万亿规模大模型

  大模型依赖算法、算力和数据的综合支撑。一个人工智能大模型,通常得用数万亿个单词训练,参数量也“飙升”到了上万亿。

  据了解,在训练阶段,Open AI发布的 ChatGPT训练阶段总算力消耗约为3640 PF-days,即1PetaFLOP/s效率跑3640天,需要7~8个投资规模30亿、算力500P的数据中心才能支撑运行。此前,华为云的盘古大模型的预训练参数规模达到2000亿,阿里达摩院的M6模型参数达到10万亿。

  在众多国产大模型陆续上线后,算力消耗会指数级增长。用于大模型训练的芯片,其算力也有限,今年4月5日,Open AI关闭了ChatGPT Plus的付费渠道,给出的理由就是需求量过大,仅发布几个月,OpenAI就已经面临算力缺口。如今,密集上线的大模型也将面临着巨大的算力需求。

  大模型的算力依靠的是芯片,但遇到海量运算,单块芯片无力支撑,腾讯给出的方案是将成千上万台服务器,通过网络联结,组成大型的算力集群。

  据了解,腾讯新一代的算力集群集成了腾讯云自研的TACO训练加速引擎,对网络协议、通信策略、AI框架、模型编译进行大量系统级优化,大幅节约训练调优和算力成本。

  根据腾讯云公布信息,其新一代高性能计算集群采用最新一代星星海自研服务器,搭载英伟达 H800 GPU基于自研网络、存储架构,带来3.2T超高互联带宽、TB级吞吐能力和千万级的IOPS,为企业用户提供高性能、高带宽、低延迟的智算能力支撑。

  腾讯云通过实测结果显示,新一代算力集群的整体性能比过去提升了3倍。腾讯云表示,在去年10月,腾讯完成首个万亿参数的混元NLP大模型训练。在同等数据集下,将训练时间由50天缩短到11天。如果基于新一代集群,训练时间将进一步缩短至4天。并且,腾讯混元大模型背后的训练框架AngelPTM,也已通过腾讯云TACO提供服务。

  不仅是算力缺口的限制,算力成本也是创业公司和中小企业难以支撑的原因。据悉,腾讯升级算力集群所用的英伟达H800芯片售价接近20万元。

  在当前国产大模型热潮之下,腾讯向外界提供高性能计算集群,缓解算力压力,做创业公司和中小企业掘金大模型产业路上的“卖水人”。只不过,腾讯并不是唯一一家卖水的,大厂已经先后入局。

  巨头陆续出手,“生态群”呼之欲出

  三天前,阿里云公开发布旗下大模型“通义千问”, CEO张勇在宣布将大模型与集团内部产品相结合之外,还布置有一条面向外部生态的路线。

  阿里云也看到了大模型爆发带来的算力问题,阿里云依靠自研芯片,降低算力成本,向外部企业提供普惠算力支持,也成为阿里云打造生态的方式之一。

  腾讯的做法也类似,其新一代集群集成了腾讯云自研的TACO训练加速引擎,对网络协议、通信策略、AI框架、模型编译进行大量系统级优化,大幅节约训练调优和算力成本。腾讯也将基于自研芯片、星星海自研服务器和分布式云操作系统遨驰,打造面向AIGC的高性能智算网络。

  此外,在4月13日,全球云计算巨头亚马逊也加入战局,而亚马逊主要是做AI“底座”,为上层应用公司提供AI基础设施,即接入多家公司的基础模型,搭建“模型超市”,让用户按需选择。在算力方面,亚马逊推出了基于自研AI芯片的两大人工智能计算“实例”Amazon EC2 Trn1n和Amazon EC2 Inf2,分别用于大模型训练和推理。

  AI芯片的巨头厂商英伟达,在近期发布会上发布了大模型专用GPU,以及为中国市场特供的H800超大型GPU服务器,腾讯此次发布的高性能计算集群正是首次搭载该款芯片。

  大厂先后入局大模型的算力服务,背后也是一场生态竞争。在算力限制下,腾讯、阿里等巨头将慢慢融合其他垂直领域的“小模型”,打造生态圈。


(责任编辑:方婷)


声明:文章版权归原作者所有,本文摘编仅作学习交流,非商业用途,所有文章都会注明来源,如有异议,请联系我们快速处理或删除,谢谢支持。


(原文章信息:标题:“大模型”制造算力饥渴,腾讯“摆摊买水”,作者:邵延港,来源:AI星球,来源地址:http://www.chuangkem.com/archives/128734)

相关新闻

即时要闻

今日专题

热门资讯

佰里服务-公众号

扫码关注随时看