您的位置:财经 >

AI钞能力:阿联酋打造的Falcon-40B语言模型OpenLLM排名第

2023-06-14 13:41:00 来源:IT之家阅读量:8208   

,众所周知,阿联酋在科技及教育产业方面投入的预算一直不菲,近日,阿联酋科技创新研究所打造出了 400 亿参数的语言模型 Falcon-40B,在 Hugging Face 的 OpenLLM 排行榜上排名第一,并持续霸榜,赢过此前 LLaMA、StableLM 和 RedPajama 等竞争者。

图源阿联酋科技创新研究所

据称,Falcon-40B 使用了 384 颗 GPU 来进行 2 个月的训练、利用将近 5 亿个 Token 训练而成。为提高训练过程的质量,团队还自己组建了一套工作流程来筛选出“最高质量的的资料”供给 AI 模型训练。经多个基准测试,表现比 LLaMA、Vicuna 和 Alpaca 更加出色。

此外,团队还采用了“多重查询注意力”机制,来提高模型的效率。“多重查询注意力”机制即模型可以对每个 Token 进行多个查询,来更好表示同一序列中,不同 token 之间的关系,以在加速模型运算效率的同时,降低模型的复杂性,进而提高模型整体的可维护性。

阿联酋科技创新研究所首席执行官 Ray O. Johnson 博士表示:“2023 年将是人工智能之年。Falcon 模型对我们来说具有里程碑意义,但这仅仅是个开始”。

IT之家注意到,Falcon 模型已经在 huggingface 上开源,目前开源的版本有 Falcon-7B-Instruct 和 Falcon-40B-Instruct 等,IT之家的小伙伴们可以在这里访问。

声明:以上内容为本网站转自其它媒体,相关信息仅为传递更多企业信息之目的,不代表本网观点,亦不代表本网站赞同其观点或证实其内容的真实性。投资有风险,需谨慎。

相关推荐
崂山区科创委联合沙子口街道、大石社区启动农民水彩画展

崂山区科创委联合沙子口街道、大石社区启动农民水彩画展

9月6日上午,在崂山区政府西塔楼一楼大厅,崂山区科创委联合沙子口街道、大石社区启动了为期5天的大石村农民水彩画展。本次画

2021-09-08 12:23
“95后”女孩5米高空开“天车”

“95后”女孩5米高空开“天车”

在5米高空作业,将数吨重的火车车轮或者小到几十斤的ldquo;铁疙瘩rdquo;安全装卸到位,可能谁也不会把这一切和一个

2021-09-03 11:10
做孩子心中的光

做孩子心中的光

每个孩子都有其独特的成长规律。在孩子成长的过程中,每一步都充满着对这个世界的好奇,那作为家长的我们,该如何顺应孩子的成长

2021-08-30 18:50
独家冠名2021第五届中国家居品牌大会国美打扮家有何独特之处?

独家冠名2021第五届中国家居品牌大会国美打扮家有何独特之处?

2021年7月19日,备受关注的2021第五届中国家居品牌大会在广州启幕,现场发布2020-2021中国家居十大优选品牌

2021-07-26 01:28
精彩推荐
头条关注
热点新闻