返回模型列表
发布者 Alibaba 系列 Qwen3.5 参数量 27B 上下文长度 262,144 tokens 许可证 Apache 2.0
Qwen3.5 27B
阿里 Qwen3.5 系列 27B 稠密视觉语言模型，262K 上下文，支持图文理解、推理、函数调用和多语言
参数量27B
模态Text, Image
精度NVFP4 · INT4
类型VLM
快速部署
部署模型
命令根据你的配置自动生成
sudo docker run -it --rm --pull always \
--runtime=nvidia --network host \
-e VLLM_USE_MODELSCOPE=True \
-v ~/models:/models \
ghcr.io/nvidia-ai-iot/vllm:latest-jetson-thor vllm serve Qwen/Qwen3.5-27B \
--port 8000 \
--max-model-len 32768 \
--gpu-memory-utilization 0.9模型详情
输入和输出
输入: Text, Image / 输出: Text, Image
用途
- 视觉推理
- 图像理解
- 函数调用
- 多语言
- 代码生成
Jetson 兼容性
Thor 128GBThor 64GBOrin 64GBOrin 16GBOrin 8GB
标签
vlmalibabadensemtpreasoningmultilingual
推测解码 (MTP)
MTP 通过每步预测多个 token 来提高推理吞吐量。
{"method":"mtp","num_speculative_tokens":4}Qwen3.5 系列
| 模型 | 参数量 | 硬件 | 精度 |
|---|---|---|---|
| Qwen3.5 27B | 27B | Thor 128GB, Thor 64GB, Orin 64GB, Orin 16GB, Orin 8GB | NVFP4, INT4 |
| Qwen3.5 35B-A3B | 35B-A3B | Thor 128GB, Thor 64GB, Orin 64GB, Orin 16GB, Orin 8GB | NVFP4, INT4 |
| Qwen3.5 9B | 9B | Thor 128GB, Thor 64GB, Orin 64GB, Orin 16GB, Orin 8GB | NVFP4, INT4 |
| Qwen3.5 4B | 4B | Thor 128GB, Thor 64GB, Orin 64GB, Orin 16GB, Orin 8GB | INT4 |
| Qwen3.5 0.8B | 0.8B | Thor 128GB, Thor 64GB, Orin 64GB, Orin 16GB, Orin 8GB | BF16 |