本文由 资源共享网 – ziyuan 发布,转载请注明出处,如有问题请联系我们!AI大模型源码(Grok-1 python)
开发语言: python
数据库 : mysql
资源语言: 中文
Grok-1是马斯克AI创企xAI发布的一款大型语言模型,其参数量达到了3140亿,远超OpenAI GPT-3.5的1750亿,是Llama 2的4倍,被称为“迄今为止全球参数量最大的开源大型语言模型”。Grok-1是一款混合专家模型,其基础模型基于大量文本数据进行训练,没有针对任何具体任务进行微调。它采用了3140亿参数的Mixture-of-Experts模型,其中25%的权重在给定令牌上处于活动状态。
Grok-1的目标是构建一个能够理解并处理海量信息,具备高度自主学习和进化能力的人工智能系统。根据xAI公布的数据,在一系列基准测试中,Grok-1的表现超越了Llama-2-70B和GPT-3.5,但是与GPT-4相比仍有差距。
用法:
1、下载源码
2、下载模型放在checkpoints文件夹中(有地址)
3、安装 依赖 pip install -r requirements.txt
4、运行 python run.py
说明:
参数数量: 314B
架构: 8个专家的混合(MoE)
专家利用率: 每个标记使用2个专家
层数: 64
注意力头数: 查询48个,键/值8个
嵌入大小: 6,144
标记化: 使用131,072个token的SentencePiece tokenizer
附加特性:
旋转嵌入(RoPE)
支持激活分片和8位量化
最大序列长度(上下文): 8,192个token
注:
1、由于模型非常庞大(314B参数),因此需要具有足够GPU内存的计算机来测试示例代码中的模型(8张H100计算卡)。
2、该存储库中MoE层的实现效率不高。选择了该实现以避免需要自定义核来验证模型的正确性。
AI人工智能资源(AI大模型源码(Grok-1 python))网址:https://www.08i8.com/ttkfzy/detail84324.html;转载请注明!
与《AI大模型源码(Grok-1 python)》相关的《完整源码》
chatgpt前端源码(python).rar
注:1、使用前请先安装python2、支持chatgpt3.5 和chatgpt4.0用法:1、下载并解压源码到文件夹chatgpt2、创建新的虚拟环境 (python -m venv venv )3、激活虚拟环境(source venv/bin/activate)如何是windows运行chatgpt\venv\Scripts\下的activate.bat4、安装依赖(pip install -...
5 50000 0
AI换脸工具源码(python)附成品
启动后在浏览器打开http://127.0.0.1:7860
50 5512 0
ChatGPT小程序源码(python+uniapp附教程)
注:服务端:python前端:uniapp小程序ChatGPT是一个智能AI机器人api可以改成自己的在:pages里面的index文件,不会写api的在本站找有源码https://www.08i8.com/ttkfzy/detail83451.html 需要ChatGPT的key,可以自己申请,本站也有免费共享的https://www.08i8.com/course/detail437.html
10 59858 0
AI大模型LLaMA全套(源码+模型+整合包)
LLaMA是Meta(Facebook)发布的一个大型语言模型系列,包含的参数量级有4个,分别为:6.7B、13.0B、32.5B和65.2B。这些模型使用了T级别的Token数进行训练,并且使用的数据均为开源数据集。在大多数benchmark上,LLaMA模型表现出色,即使使用13B的参数也能打败具有175B亿参数的GPT-3。这表明,对于给定的计算资源而言,最好的性能往往不是由最大参数量的模型...
50 5436 0
视频生成系统源码(AI智能python源码)
实现了先进视频生成技术的低成本普及,还提供了一个精简且用户友好的方案,简化了视频制作的复杂性从图像扩散模型到视频扩散模型的三阶段训练。我们提供每个阶段的权重。支持训练加速,包括Transformer加速、更快的 T5 和 VAE 以及序列并行。在对 64x512x512 视频进行训练时,Open-Sora 可将训练速度提高55%。详细信息请参见训练加速。我们提供用于数据预处理的视频切割和字幕工具。...
30 5517 0
小狐狸v2.7.2 ChatGPT付费AI创作系统源码(后端源码+原生小程序源码)
小狐狸Chat GPT付费创作系统采用了最新的GPT3.5接口与GPT4模型,同时还支持型,文心一言,腾讯混元,讯飞星火,通义千问,智普等等国内各种大模,可以更好地适应不同的应用场景,提供更加优质的服务。安装测试环境:Nginx 1.20+PHP7.2+MySQL 5.6安装教程1、导入数据库文件,数据库文件是 /08i8.com.sql2、修改数据库连接配置,配置文件是/.env4、设置运行目录...
30 8738 0
AI大模型chatglm全套(源码+模型+整合包)
ChatGLM是一个基于OpenAI的GPT模型框架构建的生成式语言模型,用于聊天和对话任务。它能够理解上下文并生成连贯、自然的回复。这种模型可应用于构建对话系统、智能客服、聊天机器人等,以提供更加交互性和人性化的对话体验。此外,ChatGLM还是清华技术成果转化的公司智谱AI研发的支持中英双语的对话机器人。不过,模型的训练和优化过程需要大量的计算资源和数据,且模型的生成性质也需要进行适当的监督和...
50 5240 0
AI大模型LLaMA全套(源码+模型+整合包)
LLaMA是Meta(Facebook)发布的一个大型语言模型系列,包含的参数量级有4个,分别为:6.7B、13.0B、32.5B和65.2B。这些模型使用了T级别的Token数进行训练,并且使用的数据均为开源数据集。在大多数benchmark上,LLaMA模型表现出色,即使使用13B的参数也能打败具有175B亿参数的GPT-3。这表明,对于给定的计算资源而言,最好的性能往往不是由最大参数量的模型...
50 5436 0