Nemotron-3-Nano-Omni

NVIDIA 推出的全模态 MoE 推理模型，30B 总参数仅激活 3B，原生支持文本、图像、音频、视频四种输入，256K 上下文

参数量30B-A3B

模态Text, Image, Audio, Video

精度NVFP4 · FP8 · BF16 · INT4

类型VLM

推理引擎vllm

在 HuggingFace 查看

Jetson 部署命令模型详情

快速部署

部署模型

Jetson 设备

推理引擎

运行命令

命令根据你的配置自动生成

docker run -it \
  --runtime=nvidia --network host \
  -e MODEL_OSS=True \
  -e MODEL_ROOT=/models \
  -e ENGINE_URI=tos://ai-hub/models/nemotron/Nemotron-3-Nano-Omni.tar.gz \
  -e MODEL_NAME=nemotron/Nemotron-3-Nano-Omni \
  -e MODELSCOPE_CACHE=/models \
  -v /data/models:/models \
  aoni/vllm/vllm-openai:v0.20.0-ubuntu2404 \
  vllm serve nv-community/Nemotron-3-Nano-Omni-30B-A3B-Reasoning-NVFP4 --port 8300 --max-model-len 32768 --gpu-memory-utilization 0.5 --trust-remote-code

模型详情

发布者

NVIDIA

系列

Nemotron

参数量

30B-A3B

上下文长度

262,144 tokens

许可证

NVIDIA Open Model License

推理引擎

vllm

输入和输出

输入: Text, Image, Audio, Video / 输出: Text, Image, Audio, Video

用途

全模态助手
语音和视觉界面
代理工作流
文档理解
音频转录

Jetson 兼容性

Thor 128GBThor 64GBOrin 64GB

Nemotron 系列

模型	参数量	硬件	精度
Nemotron-3-Nano-Omni	30B-A3B	Thor 128GB, Thor 64GB, Orin 64GB	NVFP4, FP8, BF16, INT4
Nemotron3 Nano 30B-A3B	30B-A3B	Thor 128GB, Thor 64GB, Orin 64GB, Orin 16GB, Orin 8GB	NVFP4, BF16
Nemotron Nano 9B v2	9B	Thor 128GB, Thor 64GB	NVFP4, BF16

模型路径

HF 镜像

https://hf-mirror.com/nvidia/Nemotron-3-Nano-Omni-30B-A3B-Reasoning-NVFP4

OSS 下载

https://ai-hub.tos-cn-guangzhou.volces.com/models/nemotron/Nemotron-3-Nano-Omni.tar.gz