Nemotron-3-Nano-Omni

NVIDIA 推出的全模态 MoE 推理模型，30B 总参数仅激活 3B，原生支持文本、图像、音频、视频四种输入，256K 上下文

参数量30B-A3B

模态Text, Image, Audio, Video

精度NVFP4 · FP8 · BF16 · INT4

类型VLM

在 HuggingFace 查看

Jetson 部署命令模型详情

快速部署

部署模型

Jetson 设备

推理引擎

运行命令

命令根据你的配置自动生成

sudo docker run -d --pull always \
  --runtime=nvidia --network host \
  -e VLLM_USE_MODELSCOPE=True \
  -e MODELSCOPE_CACHE=/models \
  -v ~/models:/models \
  --entrypoint bash \
  vllm/vllm-openai:v0.20.0-ubuntu2404 \
  -c "pip install modelscope>=1.18.1 && vllm serve nv-community/Nemotron-3-Nano-Omni-30B-A3B-Reasoning-NVFP4 --port 8000 --max-model-len 32768 --gpu-memory-utilization 0.3 --allowed-origins '[\"*\"]' --trust-remote-code"

模型详情

发布者

NVIDIA

系列

Nemotron

参数量

30B-A3B

上下文长度

262,144 tokens

许可证

NVIDIA Open Model License

输入和输出

输入: Text, Image, Audio, Video / 输出: Text, Image, Audio, Video

用途

全模态助手
语音和视觉界面
代理工作流
文档理解
音频转录

Jetson 兼容性

Thor 128GBThor 64GBOrin 64GBOrin 16GBOrin 8GB

Nemotron 系列

模型	参数量	硬件	精度
Nemotron-3-Nano-Omni	30B-A3B	Thor 128GB, Thor 64GB, Orin 64GB, Orin 16GB, Orin 8GB	NVFP4, FP8, BF16, INT4
Nemotron3 Nano 4B	4B	Thor 128GB, Thor 64GB, Orin 64GB, Orin 16GB, Orin 8GB	NVFP4, BF16
Nemotron Nano 9B v2	9B	Thor 128GB, Thor 64GB, Orin 64GB, Orin 16GB	NVFP4, BF16
Nemotron Nano 12B VL	12B	Thor 128GB, Thor 64GB, Orin 64GB, Orin 16GB	NVFP4, BF16
Nemotron3 Nano 30B-A3B	30B-A3B	Thor 128GB, Thor 64GB, Orin 64GB, Orin 16GB	NVFP4, BF16

模型路径

ModelScope

https://modelscope.cn/models/NVIDIA/Nemotron-3-Nano-Omni-30B-A3B-Reasoning-NVFP4

HF 镜像

https://hf-mirror.com/nvidia/Nemotron-3-Nano-Omni-30B-A3B-Reasoning-NVFP4

OSS 下载

https://ai-hub.tos-cn-guangzhou.volces.com/models/nemotron/Nemotron-3-Nano-Omni.tar.gz