微软和NVIDIA今天宣布了由DeepSpeed和威震天驱动的威震天—图灵自然语言生成模型

语言模型简单来说就是一串单词的概率分布，它的主要功能是为长度为m的文本确定一个概率分布p，表示这个文本存在的可能性。

你可能之前或多或少听过OpenAI最新的语言模型GPT—3，它被称为表面上最强的语言模型，也被视为革命性的人工智能模型除此之外，还有一些重量级产品如BERT，Switch Transformer等，行业内其他企业也在尝试推出自己的车型

微软和NVIDIA今天宣布了由DeepSpeed和威震天驱动的威震天—图灵自然语言生成模型，这是迄今为止训练出来的最大，最强大的解码语言模型。

IT之家了解到，作为图灵NLG 17B和威震天—LM的继承者，这个模型包含了5300亿个参数，MT—NLG的参数数量是GPT—3的3倍，是同类中现存最大的模型，在:等一系列广泛的自然语言任务中表现出无与伦比的准确性。

完整的预测。

阅读理解

常识推理

自然语言推理

词义消歧

基于105层转换器的MT—NLG在零样本，单样本和少样本的设置上改进了最先进的模型，并为两个模型的大规模语言模型设定了新的标准和质量。

根据消息显示，模型训练是在基于NVIDIA DGX superpad的塞勒涅超级计算机上混合精度完成的，该超级计算机由560台DGX A100服务器支持，与HDR InfiniBand以完整的胖树配置连接每台DGX A100都有8个NVIDIA a100 80gb tensorcore GPUs，它们通过NVLink和NVSwitch完全连接在一起微软Azure NDv4云超级计算机采用了类似的参考架构

更多信息请参考微软和NVIDIA官方说明:

微软

显卡