返回模型列表
发布者 NVIDIA 系列 Nemotron 参数量 30B-A3B 上下文长度 32,768 tokens 许可证 NVIDIA Open Model License 推理引擎 vllm
Nemotron3 Nano 30B-A3B
NVIDIA Nemotron3 Nano MoE 模型，30B 总参数仅激活 3B
参数量30B-A3B
模态Text
精度NVFP4 · BF16
类型LLM
推理引擎vllm
快速部署
部署模型
命令根据你的配置自动生成
sudo docker run -it --rm \
--runtime=nvidia --network host \
-e MODEL_OSS=True \
-e MODEL_ROOT=/models \
-e ENGINE_URI=tos://ai-hub/models/nvidia/Nemotron-3-Nano-30B-A3B.tar.gz \
-e MODEL_NAME=nvidia/Nemotron3-Nano-30B-A3B \
-v ~/models:/models \
aoni/vllm/vllm-openai:nightly-aarch64 \
--port 8300 \
--max-model-len 8192 \
--gpu-memory-utilization 0.8模型详情
输入和输出
输入: Text / 输出: Text
用途
- 通用推理
- 代码生成
Jetson 兼容性
Thor 128GBThor 64GBOrin 64GBOrin 16GBOrin 8GB
标签
llmnvidiamoe
Nemotron 系列
| 模型 | 参数量 | 硬件 | 精度 |
|---|---|---|---|
| Nemotron3 Nano 30B-A3B | 30B-A3B | Thor 128GB, Thor 64GB, Orin 64GB, Orin 16GB, Orin 8GB | NVFP4, BF16 |
| Nemotron-3-Nano-Omni | 30B-A3B | Thor 128GB, Thor 64GB, Orin 64GB | NVFP4, FP8, BF16, INT4 |
| Nemotron Nano 9B v2 | 9B | Thor 128GB, Thor 64GB | NVFP4, BF16 |