Qwen3.6 27B

阿里 Qwen3.6 系列 27B 稠密模型，19GB NVFP4 量化，支持 MTP 推测解码，强推理和函数调用能力

参数量19 GB

模态Text

精度NVFP4

类型LLM

在 HuggingFace 查看

Jetson 部署命令模型详情

快速部署

部署模型

Jetson 设备

推理引擎

运行命令

命令根据你的配置自动生成

sudo docker run -it --rm --pull always \
--runtime=nvidia --network host \
-e VLLM_USE_MODELSCOPE=True \
-v ~/models:/models \
vllm/vllm-openai:nightly-aarch64 vllm serve Qwen/Qwen3.6-27B \
--port 8000 \
--max-model-len 32768 \
--gpu-memory-utilization 0.9

模型详情

发布者

Alibaba

系列

Qwen3.6

参数量

27B (19 GB)

上下文长度

32,768 tokens

许可证

Apache 2.0

输入和输出

输入: Text / 输出: Text

用途

推理
函数调用
多语言
代码生成
翻译

Jetson 兼容性

Thor 128GBThor 64GBOrin 64GBOrin 16GBOrin 8GB

推测解码 (MTP)

MTP 通过每步预测多个 token 来提高推理吞吐量。

{"method":"mtp","num_speculative_tokens":4}

Qwen3.6 系列

模型	参数量	硬件	精度
Qwen3.6 27B	27B	Thor 128GB, Thor 64GB, Orin 64GB, Orin 16GB, Orin 8GB	NVFP4
Qwen3.6 35B-A3B	35B-A3B	Thor 128GB, Thor 64GB, Orin 64GB, Orin 16GB, Orin 8GB	NVFP4, INT4

模型路径

ModelScope

https://modelscope.cn/models/Qwen/Qwen3.6-27B

HF 镜像

https://hf-mirror.com/Qwen/Qwen3.6-27B

OSS 下载

https://ai-hub.tos-cn-guangzhou.volces.com/models/qwen/Qwen3.6-27B.tar.gz