作者: im钱包官网 来源: 网络整理 日期:2025-06-04 17:55
正是双方通力合作带来的技术创新、软硬协同能力与架构打破为DeepSeek-R1满血版大模型插上性能腾飞的翅膀,总计达1.5TB , 单颗GPU的HBM3e显存容量高达192GB,助力中国智算财富的连续成长, · 强大算力引擎 :联想问天WA7785aG3搭载了2颗AMD处理惩罚器和8颗AMD新一代InstinctOAMGPU, · 超大显存优势 :WA7785aG3拥有超大的显存容量。
GPU聚合带宽达896GB/s,对大模型从预训练、后训练到推理的全流程进行连续优化, 软硬协同打造业界性能新标杆 依托 联想万全异构智算平台 , 此次打破是 联想中国基础设施业务群、联想研究院ICI尝试室和AMD联合设计 、协同调优、共同实现的,它们为大模型训练、推理等场景提供了强大的算力引擎,imToken官网下载,而其 显存带宽到达了惊人的5.3TB/s,。
超大显存使得单机支持全量模型推理情况下,最高可支持并发数158。
通过架构创新、算法优化与硬件技术创新,节点间网络带宽3.2TB/s ,联想宣布旗下首款AMDAI大模型训练处事器联想问天WA7785aG3在单机陈设671B(满血版)DeepSeek大模型时,在单台陈设DeepSeek671B大模型的联想问天WA7785aG3上实测 最高吞吐量达6708token/s , 。
其 三重独立风道设计别离针对CPU节点、GPU节点和交换机节点进行精准散热控制 ,充实展现了联想在AI基础设施领域技术的深厚积淀与研发的快速响应能力。
单机陈设该大模型推理性能的又一次打破,仍保存富足的KV缓存空间,提高了散热效率,此成果也并非最终成果。
联想再次以硬核技术实力树立了行业新标杆,TTFT2.01秒;而在模拟代码生成(上下文序列长度512/4K)时,不绝打破性能界限,实现更高调优打破, 这一结果意味着 单台联想问天WA7785aG3可以支撑1500人规模企业的正常使用 ,TTFT5.53秒。
· 特有创新架构 :联想问天WA7785aG3的独特架构设计也为最大水平地释放算力潜能、打破带宽限制发挥了关键作用, 未来,使其成为用户首选大模型推理处事器, 硬核配置构筑强大DeepSeek算力底座 联想问天WA7785aG3处事器是联想与AMD双方深度合作的聪明结晶,TPOT93毫秒,为处事器的不变性和可靠性提供了有力保障,是继联想问天WA7780G3处事器单机陈设满血版DeepSeek大模型总吞吐量打破2500token/s之后,更高的带宽可为推理解码实现极致加速,将单台处事器运行大模型的性能推向了新高,可实现极限吞吐量6708token/s,联想通过 访存优化、显存优化、PCIe5.0全互联架构创新 以及 精选SGLang框架中性能最优算子 等诸多创新方式, 【天极网条记本频道】 【2025年3月17日】今天。
在模拟问题对话场景(上下文序列长度128/1K)时。
联想将连续深化与财富伙伴的技术协作。
并发数可达140,imToken钱包,充实满足了大模型并行计算时对跨节点通信的高带宽需求。
鞭策AI算力向更高效、更普惠、更可连续的方向演进,联想与AMD还在连续实验深度调优新方法,TPOT100毫秒,在AI算力竞争日趋白热化的今天,为各行业提供更高密度、更低能耗、更易陈设的AI算力基础设施。