本文由 资源共享网 – ziyuan 发布，转载请注明出处，如有问题请联系我们！Qwen3.6-35B-A3B 离线模型文件

Qwen3.6-35B-A3B是阿里通义实验室开源的稀疏混合专家大模型，其离线模型文件主要分为官方原版和GGUF量化版两类，适配不同部署场景。

主流离线模型文件规格

1. ‌官方原版（Safetensors格式）‌
   完整BF16权重总大小约‌71.93GB‌，适合服务器端高性能部署，支持vLLM、SGLang等推理框架。

2. ‌GGUF量化版‌
   提供多种精度版本，适配不同本地硬件配置：
   | 文件名 | 量化类型 | 文件大小 | 适用场景 |
   | ---- | ---- | ---- | ---- |
   | Qwen3.6-35B-A3B-Q6_K.gguf | Q6_K | 30.95GB | 近无损高质量，推荐专业场景使用 |
   | Qwen3.6-35B-A3B-Q5_K_M.gguf | Q5_K_M | 25.91GB | 高质量，适配24GB显存设备 |
   | Qwen3.6-35B-A3B-Q4_K_M.gguf | Q4_K_M | 约21GB | 平衡性能与体积，适合普通本地部署 |
   | Qwen3.6-35B-A3B-Q8_0.gguf | Q8_0 | 37.81GB | 极高保真度，适合对精度要求极高的场景 |

硬件适配准备

不同量化版本对应不同运行门槛：

• 2-bit/3-bit低量化版：6GB显存即可启动，适合入门体验

• 4-bit量化版：22GB总内存（显存+系统内存）即可流畅运行，是主流选择

• 6-bit/8-bit全精度版：需30GB以上显存，适配专业工作站场景
  ⚠️ 注意：不推荐使用CUDA 13.2驱动，该版本易引发输出乱码问题。

主流使用方案

1. ‌新手图形化方案（Unsloth Studio）‌
   MacOS/Linux/WSL环境执行命令安装：curl -fsSL https://unsloth.ai/install.sh | sh，Windows PowerShell执行irm https://unsloth.ai/install.ps1 | iex。
   安装完成后启动服务，浏览器访问http://localhost:8888，在界面内直接导入本地离线模型文件，系统会自动完成参数配置，支持一键切换思考模式。

2. ‌自定义部署方案（llama.cpp）‌
   先编译适配你硬件的llama.cpp版本，同时下载主模型GGUF文件和配套的mmproj视觉投影文件，执行启动命令即可开启OpenAI兼容的本地API服务，可对接各类Agent工具实现全离线工作流。

Python方案

方案一：

使用 llama-cpp-python 调用 GGUF 量化模型（推荐低显存/本地部署）

这是目前在消费级显卡（如 RTX 3060/4090）或纯 CPU 环境下运行该模型最稳定、资源占用最低的方式。Qwen3.6-35B-A3B 的 GGUF 版本通常经过 INT4/INT8 量化，体积从 70GB+ 缩减至 20GB-40GB。

1. 环境准备

安装支持 CUDA 加速的 llama-cpp-python：

bash# Windows/Linux (NVIDIA GPU)CMAKE_ARGS="-DGGML_CUDA=on" pip install llama-cpp-python# macOS (Apple Silicon)CMAKE_ARGS="-DGGML_METAL=on" pip install llama-cpp-python

2. Python 调用代码

以下代码实现了完整的对话交互，并针对 Qwen3.6 的 A3B（Adaptive 3-Branch）架构和 Thinking 模式进行了参数优化。

pythonfrom llama_cpp import Llamaimport sys# 配置模型路径，请替换为你本地实际下载的 .gguf 文件路径# 推荐下载 Q4_K_M 或 Q5_K_M 版本以平衡速度与精度MODEL_PATH = "./models/Qwen3.6-35B-A3B-Q4_K_M.gguf"def load_model():    print("正在加载模型，请稍候...")
    llm = Llama(
        model_path=MODEL_PATH,
        n_ctx=8192,          # 上下文窗口大小，根据显存调整
        n_gpu_layers=-1,     # -1 表示将所有层卸载到 GPU，若显存不足可改为具体数字如 30
        n_threads=8,         # CPU 线程数，建议设置为物理核心数
        verbose=False,       # 关闭详细日志
        chat_format="qwen",  # 指定聊天格式，llama.cpp 通常能自动识别 Qwen 模板
    )    print("模型加载完成。")    return llmdef chat_with_model(llm):    print("\n--- Qwen3.6-35B-A3B 离线对话已启动 (输入 'quit' 退出) ---")    
    # 初始化消息历史
    messages = [
        {"role": "system", "content": "You are a helpful assistant."}
    ]    while True:
        user_input = input("\nUser: ")        if user_input.lower() in ['quit', 'exit']:            break
        
        messages.append({"role": "user", "content": user_input})        try:            # 创建流式生成器
            stream = llm.create_chat_completion(
                messages=messages,
                max_tokens=1024,
                temperature=0.7,
                stream=True,                # 关键参数：启用思考模式保留，适配 Qwen3.6 的推理特性
                extra_body={                    "enable_thinking": True, 
                    "preserve_thinking": False # 若希望最终输出包含思考过程，设为 True
                }
            )            
            print("AI: ", end="", flush=True)
            full_response = ""
            for chunk in stream:
                delta = chunk["choices"]["delta"]
                content = delta.get("content", "")                if content:                    print(content, end="", flush=True)
                    full_response += content            
            print("\n") # 换行
            messages.append({"role": "assistant", "content": full_response})        except Exception as e:            print(f"\n发生错误: {e}")if __name__ == "__main__":    try:
        llm = load_model()
        chat_with_model(llm)    except Exception as e:        print(f"启动失败: {e}")

‌关键参数说明：‌

• n_gpu_layers: 控制有多少层模型权重加载到显存。对于 35B 模型，若显存只有 8-12GB，建议设置为 20-30 左右，其余层由 CPU 内存承担（分层卸载）。若显存大于 24GB，可设为 -1 全量加载。

• chat_format="qwen": 确保使用正确的 Prompt 模板（<|im_start|> 等），避免模型输出混乱。

方案二：使用 Transformers + vLLM/SGLang 调用原版/FP8 模型（推荐高显存/服务器部署）

如果你拥有大显存显卡（如 A100/H100/RTX 6000 Ada）或多卡环境，且下载的是 Hugging Face 原版（Safetensors）或 FP8 量化版，可以使用此方案以获得最高推理速度和完整功能支持。

1. 环境准备

bashpip install transformers accelerate torch vllm

2. Python 调用代码 (基于 vLLM 引擎)

vLLM 对 Qwen3.6 的 MoE 架构和长上下文支持更好，吞吐量远高于原生 Transformers。

pythonfrom vllm import LLM, SamplingParamsimport os# 配置模型路径，指向包含 config.json 和 model.safetensors 的文件夹MODEL_PATH = "./models/Qwen/Qwen3.6-35B-A3B" def run_vllm_inference():    print("正在初始化 vLLM 引擎...")    
    # 初始化 LLM 引擎
    llm = LLM(
        model=MODEL_PATH,
        tensor_parallel_size=1,  # 单卡设为1，多卡可设为 GPU 数量
        gpu_memory_utilization=0.9, # 显存占用比例
        dtype="auto",            # 自动检测精度 (BF16/FP16/FP8)
        trust_remote_code=True,  # Qwen 模型通常需要此参数
    )    # 设置采样参数
    sampling_params = SamplingParams(
        temperature=0.7,
        top_p=0.9,
        max_tokens=1024,
        stop=["<|im_end|>"], # 设置停止符，防止无限生成
    )    print("引擎就绪。开始推理...")    # 构造 Qwen3.6 的标准 Prompt 格式
    prompt = "<|im_start|>system\nYou are a helpful assistant.<|im_end|>\n<|im_start|>user\n请解释一下量子纠缠。<|im_end|>\n<|im_start|>assistant\n"
    
    # 执行推理
    outputs = llm.generate([prompt], sampling_params)    for output in outputs:
        generated_text = output.outputs.text        print(f"AI 回答:\n{generated_text}")if __name__ == "__main__":
    run_vllm_inference()

常见问题与优化建议

1. ‌显存不足 (OOM)‌：

• ‌GGUF 方案‌：降低 n_gpu_layers 的值，将更多层交给 CPU 处理；或选择更低精度的量化版本（如 Q3_K_M）。

• ‌vLLM 方案‌：降低 gpu_memory_utilization（如设为 0.8）；减小 max_model_len（上下文长度）；使用 FP8 量化版本模型。

2. ‌推理速度慢‌：

• 确保 llama-cpp-python 编译时启用了 CUDA/Metal 加速。

• 在 vLLM 中，增加 tensor_parallel_size 使用多卡并行推理。

• Qwen3.6-35B-A3B 支持 MTP（Multi-Token Prediction），若使用 Unsloth 导出的特定 GGUF 版本，可在 llama.cpp 中启用 MTP 加速，提升解码速度约 1.5-2 倍。

3. ‌A3B 架构特殊性‌：

• Qwen3.6-35B-A3B 是混合专家（MoE）模型。在使用 llama.cpp 时，确保使用较新版本（2024年下半年后版本），以支持高效的稀疏激活计算。旧版本可能无法正确路由专家层，导致性能下降或输出错误。

4. ‌Thinking 模式‌：

• Qwen3.6 强化了推理能力。若在对话中发现模型输出 <think> 标签，这是正常现象。可通过在 System Prompt 中指示“直接给出答案，无需展示思考过程”来抑制，或在代码中解析并隐藏该部分内容。