aoniAI Hub

Jetson AI 模型中心

为 NVIDIA Jetson 设备提供一键部署命令。选择硬件、切换推理引擎、复制命令即可运行, 无需手动配置环境。

快速入口

选择你需要的资源,快速开始

精选模型

最新模型,上线即支持 Jetson 部署

VLM30B-A3BNVFP4FP8

Nemotron 3 Nano Omni

NVIDIA 推出的全模态 MoE 推理模型,30B 总参数仅激活 3B,原生支持文本、图像、音频、视频四种输入,256K 上下文

部署模型

模型详情
命令根据你的配置自动生成
sudo docker run -it --rm --pull always \
--runtime=nvidia --network host \
-e VLLM_USE_MODELSCOPE=True \
-v ~/models:/models \
vllm/vllm-openai:v0.20.0-ubuntu2404 vllm serve nvidia/Nemotron-3-Nano-Omni-30B-A3B-Reasoning-NVFP4 \
--port 8000 \
--max-model-len 32768 \
--gpu-memory-utilization 0.8
35B-A3BNVFP4INT4

Qwen3.6 35B-A3B

阿里 Qwen3.6 系列 MoE 模型,总参数 35B 仅激活 3B,支持 MTP 推测解码,原生支持推理和函数调用

部署模型

模型详情
命令根据你的配置自动生成
sudo docker run -it --rm --pull always \
--runtime=nvidia --network host \
-e VLLM_USE_MODELSCOPE=True \
-v ~/models:/models \
vllm/vllm-openai:nightly-aarch64 vllm serve Qwen/Qwen3.6-35B-A3B \
--port 8000 \
--max-model-len 32768 \
--gpu-memory-utilization 0.9

最新动态

最近更新的模型与资源