Gopher Deepmind：在复杂推理和专业领域接近人类水平的自然语言模型

Gopher是Deepmind开发的一种大型自然语言模型，发布于2021年12月8日。Deepmind Gopher模型训练时使用了2800亿个参数，大于其主要竞争对手GPT-3的1750亿个参数。DeepMind宣称Gopher在许多任务上都比现有同类大型自然语言模型的结果要准确很多，特别是在回答有关逻辑推理和人文学科等专业学科的问题时，Gopher的答案和人类水平接近。
Gopher在训练时使用了一种改进的语言模型架构Retrieval-Enhanced Transformer(RETRO)（检索增强型变压器）。RETRO可以使用互联网级别的检索机制进行预训练，能够根据生产的文本和RETRO生成所依赖的段落进行比较，从而进行朔源。这一特点类似人类的记忆功能，对于了解大型语言模型如何导致下游危害以及如何解决有很大帮助。

价格：未公布
功能：模型