返回模型列表
发布者 Alibaba 系列 Qwen3 参数量 30B-A3B 上下文长度 32,768 tokens 许可证 Apache 2.0
Qwen3 30B-A3B
阿里巴巴 Qwen3 系列 MoE 模型，30B 总参数仅激活 3B，兼顾性能与效率
参数量30B-A3B
模态Text
精度NVFP4 · BF16
类型LLM
快速部署
部署模型
命令根据你的配置自动生成
sudo docker run -it --rm --pull always \
--runtime=nvidia --network host \
-e VLLM_USE_MODELSCOPE=True \
-v ~/models:/models \
vllm/vllm-openai:nightly-aarch64 vllm serve Qwen/Qwen3-30B-A3B \
--port 8000 \
--max-model-len 8192 \
--gpu-memory-utilization 0.9模型详情
输入和输出
输入: Text / 输出: Text
用途
- 通用推理
- 代码生成
- 多语言
- 工具调用
Jetson 兼容性
Thor 128GBThor 64GBOrin 64GBOrin 16GB
标签
llmalibabamoegeneral-purpose