返回模型列表
发布者 Alibaba 系列 Qwen3 VL 参数量 8B 上下文长度 32,768 tokens 许可证 Apache 2.0 推理引擎 vllm
Qwen3 VL 8B
阿里巴巴 Qwen3 VL 系列 8B 视觉语言模型，支持图像理解和文本生成
参数量8B
模态Text, Image
精度NVFP4 · BF16
类型VLM
推理引擎vllm
快速部署
部署模型
命令根据你的配置自动生成
sudo docker run -it --rm \
--runtime=nvidia --network host \
-e MODEL_OSS=True \
-e MODEL_ROOT=/models \
-e ENGINE_URI=tos://ai-hub/models/qwen/Qwen3-VL-8B-Instruct.tar.gz \
-e MODEL_NAME=qwen/Qwen3-VL-8B-Instruct \
-v ~/models:/models \
aoni/nvidia-ai-iot/vllm:latest-jetson-thor vllm serve Qwen/Qwen3-VL-8B \
--port 8300 \
--max-model-len 4096 \
--gpu-memory-utilization 0.8模型详情
输入和输出
输入: Text, Image / 输出: Text, Image
用途
- 视觉问答
- 图像描述
- 场景分析
Jetson 兼容性
Thor 128GBThor 64GBOrin 64GBOrin 16GB
标签
vlmalibabavision
Qwen3 VL 系列
| 模型 | 参数量 | 硬件 | 精度 |
|---|---|---|---|
| Qwen3 VL 8B | 8B | Thor 128GB, Thor 64GB, Orin 64GB, Orin 16GB | NVFP4, BF16 |
| Qwen3 VL 4B | 4B | Thor 128GB, Thor 64GB, Orin 64GB, Orin 16GB, Orin 8GB | NVFP4, BF16 |