您的位置:产业 >

单节点能跑72个大语言模型,宁畅服务器就是这么强大

2023-12-17 09:32:17 来源:电子工程网阅读量:9781   

单节点能跑72个大语言模型,宁畅服务器就是这么强大

12月15日,2023英特尔新品发布会暨AI技术创新派对正式举办,第五代英特尔#174; 至强#174; 可扩展处理器首次在中国亮相。宁畅作为英特尔重要的合作伙伴之一受邀参展,重磅发布全新升级的G50系列服务器,并现场展出B5000和R620 G50两款产品,与英特尔携手共同迈向AI无处不在的新时代。

第五代英特尔#174; 至强#174; 可扩展处理器为AI加速而生,拥有更可靠的性能和更出色的能效。相较上一代,第五代英特尔#174; 至强#174; 可扩展处理器训练性能提升高达29%,推理性能提升高达42%,在相同TDP下平均性能提升高达21%,内存带宽提升高达16%,三级缓存容量提升2.7倍,可显著提高内存带宽约束型和时延敏感型工作负载的性能。

宁畅G50系列服务器涵盖通用机架服务器、人工智能服务器、边缘计算服务器等多种类型。全新的G50系列在内存通道等方面进行重要升级,基于最新的第五代英特尔#174; 至强#174; 可扩展处理器能够进一步释放AI潜能,为更多需求场景提供高性价比的强大算力支撑。

以宁畅高密度计算服务器B5000 G5为例,通过搭载第五代英特尔#174; 至强#174; 可扩展处理器,可执行多个、多种AI推理任务,实现高模型并发。在大语言模型领域,宁畅B5000 G5 4节点可同时支持28个70B百亿大模型并发,单节点可支持72个7B大语言模型并发,仅0.117秒即可实现以文生文。在以文生图领域,B5000 G5单节点,不到3秒就可根据任意文本输入生成极具逼真度和细节的高质量图像。在图像识别领域,B5000 G5 单节点 1秒钟可分类5566张图像,对比第四代性能提升近10%。

宁畅将加快创新脚步,与英特尔等合作伙伴携手满足广大用户对更高效算力的需求,开创AI应用的无限可能。

声明:以上内容为本网站转自其它媒体,相关信息仅为传递更多企业信息之目的,不代表本网观点,亦不代表本网站赞同其观点或证实其内容的真实性。投资有风险,需谨慎。

相关推荐
崂山区科创委联合沙子口街道、大石社区启动农民水彩画展

崂山区科创委联合沙子口街道、大石社区启动农民水彩画展

9月6日上午,在崂山区政府西塔楼一楼大厅,崂山区科创委联合沙子口街道、大石社区启动了为期5天的大石村农民水彩画展。本次画

2021-09-08 12:23
“95后”女孩5米高空开“天车”

“95后”女孩5米高空开“天车”

在5米高空作业,将数吨重的火车车轮或者小到几十斤的ldquo;铁疙瘩rdquo;安全装卸到位,可能谁也不会把这一切和一个

2021-09-03 11:10
做孩子心中的光

做孩子心中的光

每个孩子都有其独特的成长规律。在孩子成长的过程中,每一步都充满着对这个世界的好奇,那作为家长的我们,该如何顺应孩子的成长

2021-08-30 18:50
独家冠名2021第五届中国家居品牌大会国美打扮家有何独特之处?

独家冠名2021第五届中国家居品牌大会国美打扮家有何独特之处?

2021年7月19日,备受关注的2021第五届中国家居品牌大会在广州启幕,现场发布2020-2021中国家居十大优选品牌

2021-07-26 01:28
精彩推荐
头条关注
热点新闻