Grok-1是马斯克AI创企xAI发布的一款大型语言模型,其参数量达到了3140亿,远超OpenAI GPT-3.5的1750亿,是Llama 2的4倍,被称为“迄今为止全球参数量最大的开源大型语言模型”。Grok-1是一款混合专家模型,其基础模型基于大量文本数据进行训练,没有针对任何具体任务进行微调。它采用了3140亿参数的Mixture-of-Experts模型,其中25%的权重在给定令牌上处...