返回模型列表
发布者 Alibaba 系列 Qwen3.6 参数量 35B-A3B 上下文长度 32,768 tokens 许可证 Apache 2.0 推理引擎 vllm, TensorRT Edge-LLM
Qwen3.6 35B-A3B(MoE)
阿里 Qwen3.6 系列 MoE 模型，总参数 35B 仅激活 3B，支持 MTP 推测解码，原生支持推理和函数调用
参数量35B-A3B
模态Text
精度NVFP4 · INT4
类型LLM
推理引擎vllm, TensorRT Edge-LLM
快速部署
部署模型
命令根据你的配置自动生成
sudo docker run -it --rm --runtime=nvidia --network host \
-e MODEL_OSS=True \
-e MODEL_ROOT=/models \
-e ENGINE_URI=tos://ai-hub/models/qwen/Qwen3.6-35B-A3B-NVFP4.tar.gz \
-e MODEL_NAME=qwen/Qwen3.6-35B-A3B-NVFP4 \
-v ~/models:/models \
aoni-docker-cn-guangzhou.cr.volces.com/public/llm/main/aoni/vllm/vllm-openai:nightly-aarch64 \
--port 8300 \
--max-model-len 8192 \
--gpu-memory-utilization 0.4 \
--reasoning-parser qwen3 \
--enable-auto-tool-choice \
--tool-call-parser qwen3_xml \
--speculative-config '{"method":"mtp","num_speculative_tokens":3,"moe_backend":"triton"}'模型详情
输入和输出
输入: Text / 输出: Text
用途
- 推理
- 函数调用
- 多语言指令遵循
- 代码生成
- 翻译
Jetson 兼容性
Thor 128GBThor 64GBOrin 64GB
标签
llmalibabamoemtpreasoningfunction-calling
推测解码 (MTP)
MTP 通过每步预测多个 token 来提高推理吞吐量。
{"method":"mtp","num_speculative_tokens":4}Qwen3.6 系列
| 模型 | 参数量 | 硬件 | 精度 |
|---|---|---|---|
| Qwen3.6 35B-A3B(MoE) | 35B-A3B | Thor 128GB, Thor 64GB, Orin 64GB | NVFP4, INT4 |
| Qwen3.6 27B | 27B | Thor 128GB, Thor 64GB | NVFP4 |