探营腾讯混元大模型-世界球精选
目前,中国大模型领域的竞争,已经进入一个群雄逐鹿的乱战时代。
截止4月上旬,国内已有多家头部企业发布/或预发布了自己的大模型,其中包括了:
1、 百度(NASDAQ:BIDU)的文心一言
(资料图)
2、华为的大模型盘古
3、阿里(NYSE:BABA)的大模型通义千问
4、商汤科技的日日新大模型
5、腾讯(HK:00700)的混元大模型
一时间,“寻找或成为中国的OpenAI”,成为了国内各企业最首要的问题。
虽然科技创新讲究的就是一个“快”字,但“快”也不是一味的。
如何在保证速度的同时,解决好资金、算力、数据、人才,以及更多未知的工程化方法,都是一个颇为考验“内功”的环节。
目前,互联网行业中的一些企业,已经在大模型领域展现出了自己的实力,比如阿里这类领军企业,但同时,还有像腾讯这样实力不容小觑的企业尚未发力。
腾讯作为互联网行业的领军企业之一,拥有强大的技术实力、丰富的数据积累以及AI基础设置,让其在AIGC领域的布局备受关注。
01 万亿大模型
自OpenAI发布Chatgpt以来,大模型领域一个明显的趋势,就是随着算力的发展,模型容量持续提升,模型通用性和泛化能力也更强。
然而,此前国内基于万亿大模型的应用探索极少,在高速网络、训练/推理框架、模型算法和落地应用等方面,也没有全面深入的公开性研究。
在这种情况下,作为头部企业之一的腾讯,自然动了欲作开拓者的野心。
然而,若要问鼎“万亿大模型”这枚王冠,强大的算力则是必不可少的。于是,腾讯设计的一套“先蒸馏后加速”的大模型压缩方案——太极-HCF ToolKit,就应运而生了。
太极平台,包含了从模型蒸馏、压缩量化到模型加速的完整能力,为AI工程师打造从数据预处理、模型训练、模型评估到模型服务的全流程高效开发工具。
由于太极框架封装了很多功能和验证,因此只要配置正确,就不需要再进行额外的测试。这大大加快了开放的进度。
以太极平台的基础,配合强大的底层算力与低成本的高速网络基础设施,腾讯打造了首个可在工业界海量业务场景直接落地,并投入应用的万亿NLP大模型——HunYuan-NLP 1T(以下简称混元)。
混元最快仅用256卡在一天内即可完成万亿参数大模型的训练,整体训练成本仅为直接冷启动训练万亿模型的1/8。
而腾讯之所以在训练成本上如此大费周章,则与其自身的战略布局有着密切的关系。
纵观混元在腾讯应用层、模型层的布局,我们可以发现,这样的布局策略,很有可能是想以统一的平台,实现技术复用和业务降本,支持更多的场景和应用。
而这样的技术复用和多场景支持,则与腾讯在互联网领域独特的生态位有着密切关系。
腾讯目前已有的互联网江山,涵盖了社交、游戏、广告、内容创作等多个领域,如何用最低的成本,为原先已有的众多产品和业务进行赋能和升级,就成了腾讯在AI时代首先要考虑的问题。
目前,腾讯已经打造了以混元 AI 大模型为技术底座的广告多媒体 AI 技术矩阵;以及应用于创作的智能创作助手;和通用游戏竞技 的AI“绝艺”+“绝悟”。
可以说,这种通过降低模型训练成本,从而迅速让AIGC 技术为多个领域赋能的做法,与互联网行业发展初期,很多企业通过“烧钱”的方式,以迅速扩大市场份额的策略,着实有一种“异曲同工之妙”。
02 AIGC时代的新“微信”
“混元”对腾讯 AI 应用生态的拓展,绝不仅仅是一次对原有业务的“纵向升级”。
从某种程度上说,这样的生态的拓展,体现了腾讯在人工智能时代,对社会各领域、各产业层面的新一轮商业渗透的展开。
而这种多元化布局的思路,可以说是对其在移动互联网时代“攻城略地”的一次复刻。
在移动互联网时代,腾讯的野心就已经四溢到了游戏、社交、金融、广告等多个领域。这种多元化的业务布局,使得腾讯的触手深入到了网络生活的各个方面,并最终通过微信这个终端,一步步整合了人们对于衣食住行的大部分需求,以至于到了人们难以对其脱离的地步。
在当下的社会中,人们几乎无法想象没有微信的生活会是怎样的。
在进行多元化布局的同时,通过“烧钱”的方式不断投资并购,也是腾讯壮大自身的另一大手段。
如京东、美团、滴滴等,这些企业都是行业内的领先者,与腾讯的业务有很强的互补性,能够为腾讯带来更多的商业机会和收益来源,从而进一步扩大了腾讯自身的业务版图。
然而,随着互联网红利消失, 市场已经进入相对平稳的发展阶段,各大巨头们也开启了从增量到存量的战争。
在这样的背景下,传统的“花钱买量”已经难以再带来新的用户增长,既然原有产品的“纵向增量”已经走到尽头,那么通过跨领域融合的“横向增量”方式,继续维持或扩大自身庞大的业务版图,就成了腾讯若要在AIGC时代,一种最可行的策略。
凭借已有的庞大的用户数据,加上大模型带来的开放平台、生态合作,将自身的业务逐渐与农业、医疗、工业、教育等领域融合,可以最终编织成一张深深嵌入社会各个领域的智能化网络。
正如移动互联网时代,微信通过二维码、朋友圈、小程序等功能的推出,不断扩宽了自身的应用场景,并实现了用户数的一次次飞跃。
在人工智能时代,通过混元大模型带来的通用+专用领域的融合功能,意味着腾讯能够将各个领域的数据和信息进行整合和分析,混元大模型可以提供更加个性化、智能和高效的服务,从而进一步增强用户的忠诚度和粘性。
而当这些来自多个领域的信息、数据,最终被大模型整合进某一终端时,一个涵盖了人们各个不同领域需求的“AIGC版微信”,或许也就此诞生了。
在某种程度上,它可能会比现在的微信更“必要”、更“难以离身”,得益于大语言模型知识抓取、逻辑分析能力,一些涉及事项多、专业性强,并且与民众需求紧密相连的需求(如医疗、法律等领域),最后甚至仅仅能通过人们一句简单的“命令”,得到实现。
如此一来,混元大语言模型,从理论上可以打破腾讯的原有的产品版图边界,让AI连接起各个产品与用户之间的需求。
03 算力的边界
若要支撑起这样横跨各领域、多业务的大模型生态,一道绕不过去的坎,就是算力的限制。
尽管大模型概念持续火热,但入局者大多面临着算力之困。
市场上流传的调研纪要显示,要训练像ChatGPT这样的生成式AI,至少需要1万张英伟达A100加速卡的支持。目前,国内只有6家公司具备这样的硬件实力。
然而,这样的“算力边界”,并没能阻止腾讯在AIGC时代扩充自身版图的野心。
4月14日,腾讯云正式发布了面向大模型训练的新一代高性能计算集群HCCPNV5。
该集群采用最新一代腾讯云星星海自研服务器,并搭载了英伟达 H800 Tensor Core GPU(国内首发),提供业界目前最高的3.2Tbps超高互联带宽,算力性能比前代提升了3倍。
H800 Tensor Core GPU
一般来说,一个集群的性能,主要取决于三个要素:单机算力、网络架构、存储性能。
在单卡单机的算力上,新一代集群单GPU卡支持输出最高495 TFlops(TF32)、989 TFlops (FP16/BF16)、1979 TFlops(FP8)的算力,单卡性能爆表。
而得益于腾讯云星星海服务器采用6U超高密度设计,每节点支持8块H800,上架密度与同行相比提升了30%。利用并行计算理念,通过CPU和GPU节点的一体化设计,将单点算力性能提升至最强。
然而,仅仅有了先进的芯片,并不等于拥有先进算力。
原因在于高性能计算存在“木桶效应”,一旦计算、存储、网络任一环节出现瓶颈,就会导致运算速度严重下降。
因此,先进算力的背后是先进芯片、先进网络、先进存储等一系列的支撑,缺一不可。
此次腾讯自研的星脉网络,为新一代集群带来3.2T的超高通信带宽。在「星脉网络」的加持下,单集群规模支持4K GPU(最大支持10万+ GPU)、超EFLOPS(FP16)算力。
搭载同样的GPU卡,3.2T星脉网络相较前代网络,能让集群整体算力提升20%,使得超大算力集群仍然能保持优质的通信开销比和性能。并提供单集群高达十万卡级别的组网规模。
最后的存储问题,在大模型训练场景下,存储也经受着前所未有的考验。
几千台计算节点会同时读取一批数据集,需要尽可能地缩短数据集的加载时长。
而新一代HCC集群,引入了腾讯云最新自研存储架构,支持不同场景下对存储的需求。
例如其中的COS+GooseFS方案,就提供基于对象存储的多层缓存加速,大幅提升了端到端的数据读取性能;
而CFS Turbo多级文件存储方案,则充分满足了大模型场景下,大数据量、高带宽、低延时的存储要求。
如此一来,算力、网络、存储,三个关键的节点,都被腾讯一一攻克了。
随着新一代HCC高性能计算集群的发布,国内大模型训练面临的算力困局有望得到纾缓,而国内的人工智能生态,也有可能从此走向百花齐放的局面。
这是因为,虽然对于中国企业来说,虽然ChatGPT这样大模型,工作量和成本并不是不可接受,但只有在算力、算法、数据等不同环节,让众多公司构成了一个庞大的人工智能生态,量变引起质变,中国自己的世界级大模型,才会有“涌现”的基础。
说到底,ChatGPT不是OpenAI一家公司的成功,而是一种人工智能生态的成功。
随着混元大模型所带来的低成本训练红利,国内大模型多元化格局也有望就此形成,而由此构建出的人工智能生态,也将有望让ChatGPT这类AI发生在中国、根植在中国。