返回模型列表
发布者 Alibaba 系列 Qwen3.5 参数量 4B 上下文长度 262,144 tokens 许可证 Apache 2.0
Qwen3.5 4B
阿里 Qwen3.5 系列 4B 视觉语言模型，262K 上下文，AWQ 4bit 量化适合 Jetson Orin 部署
参数量4B
模态Text, Image
精度INT4
类型VLM
快速部署
部署模型
命令根据你的配置自动生成
sudo docker run -it --rm --pull always \
--runtime=nvidia --network host \
-e VLLM_USE_MODELSCOPE=True \
-v ~/models:/models \
ghcr.io/nvidia-ai-iot/vllm:latest-jetson-orin vllm serve Qwen/Qwen3.5-4B \
--port 8000 \
--max-model-len 8192 \
--gpu-memory-utilization 0.8模型详情
输入和输出
输入: Text, Image / 输出: Text, Image
用途
- 视觉问答
- 图像理解
- 工具调用
- 多语言任务
Jetson 兼容性
Thor 128GBThor 64GBOrin 64GBOrin 16GBOrin 8GB
标签
vlmalibabasmalledgetool-calling
Qwen3.5 系列
| 模型 | 参数量 | 硬件 | 精度 |
|---|---|---|---|
| Qwen3.5 4B | 4B | Thor 128GB, Thor 64GB, Orin 64GB, Orin 16GB, Orin 8GB | INT4 |
| Qwen3.5 35B-A3B | 35B-A3B | Thor 128GB, Thor 64GB, Orin 64GB, Orin 16GB, Orin 8GB | NVFP4, INT4 |
| Qwen3.5 27B | 27B | Thor 128GB, Thor 64GB, Orin 64GB, Orin 16GB, Orin 8GB | NVFP4, INT4 |
| Qwen3.5 9B | 9B | Thor 128GB, Thor 64GB, Orin 64GB, Orin 16GB, Orin 8GB | NVFP4, INT4 |
| Qwen3.5 0.8B | 0.8B | Thor 128GB, Thor 64GB, Orin 64GB, Orin 16GB, Orin 8GB | BF16 |