本文由 资源共享网 – ziyuan 发布，转载请注明出处，如有问题请联系我们！AI大模型源码（Grok-1 python）

Grok-1是马斯克AI创企xAI发布的一款大型语言模型，其参数量达到了3140亿，远超OpenAI GPT-3.5的1750亿，是Llama 2的4倍，被称为“迄今为止全球参数量最大的开源大型语言模型”。Grok-1是一款混合专家模型，其基础模型基于大量文本数据进行训练，没有针对任何具体任务进行微调。它采用了3140亿参数的Mixture-of-Experts模型，其中25%的权重在给定令牌上处于活动状态。

Grok-1的目标是构建一个能够理解并处理海量信息，具备高度自主学习和进化能力的人工智能系统。根据xAI公布的数据，在一系列基准测试中，Grok-1的表现超越了Llama-2-70B和GPT-3.5，但是与GPT-4相比仍有差距。

用法：

1、下载源码

2、下载模型放在checkpoints文件夹中（有地址）

3、安装 依赖   pip install -r requirements.txt

4、运行 python run.py

说明：

参数数量: 314B

架构: 8个专家的混合（MoE）

专家利用率: 每个标记使用2个专家

层数: 64

注意力头数: 查询48个，键/值8个

嵌入大小: 6,144

标记化: 使用131,072个token的SentencePiece tokenizer

附加特性:

旋转嵌入（RoPE）

支持激活分片和8位量化

最大序列长度（上下文）: 8,192个token

注：

1、由于模型非常庞大（314B参数），因此需要具有足够GPU内存的计算机来测试示例代码中的模型(8张H100计算卡)。

2、该存储库中MoE层的实现效率不高。选择了该实现以避免需要自定义核来验证模型的正确性。