镜像指南

为解决国内用户无法直接访问 Docker Hub / GitHub Container Registry 的问题，我们提供两种方式获取 Jetson AI 推理镜像。

方式一：OSS 下载 + docker load（推荐离线环境）

我们在国内 OSS（火山引擎 TOS）上预置了所有常用推理镜像的 tar 包，直接下载后在 Jetson 设备上导入。

1. 下载镜像包

从 OSS 下载对应镜像的 tar 包：

# 以 vLLM Jetson Orin 镜像为例
wget https://tos-aoni.volces.com/jetson-images/vllm-jetson-orin-latest.tar.gz

2. 解压并导入

# 解压
gunzip vllm-jetson-orin-latest.tar.gz

# 导入 Docker
docker load -i vllm-jetson-orin-latest.tar

# 验证
docker images | grep vllm

3. 运行模型

导入后即可正常使用，与在线拉取完全一致：

sudo docker run -it --rm --pull never \
  --runtime=nvidia --network host \
  -e VLLM_USE_MODELSCOPE=True \
  vllm-jetson-orin:latest \
  vllm serve RedHatAI/Qwen3-4B-quantized.w4a16 \
  --port 8000 --gpu-memory-utilization 0.8

注意：使用 --pull never 避免尝试从远程拉取。

可用镜像列表

镜像名称	OSS 路径	大小	适用平台
vLLM Thor	jetson-images/vllm-thor-latest.tar.gz	~3 GB	Thor T5000/T4000
vLLM Orin	jetson-images/vllm-orin-latest.tar.gz	~2.5 GB	AGX Orin / NX / Nano
llama.cpp Thor	jetson-images/llamacpp-thor-latest.tar.gz	~1.5 GB	Thor
llama.cpp Orin	jetson-images/llamacpp-orin-latest.tar.gz	~1.2 GB	Orin 全系列

---

方式二：配置国内镜像仓库（推荐联网环境）

将 Docker 镜像源指向我们的国内公有云仓库，docker pull 自动走国内加速。

1. 配置 daemon.json

sudo mkdir -p /etc/docker
sudo tee /etc/docker/daemon.json <<-'EOF'
{
  "registry-mirrors": [
    "https://mirrors.aoniai.com"
  ],
  "insecure-registries": [],
  "max-concurrent-downloads": 10,
  "log-driver": "json-file",
  "log-opts": {
    "max-size": "10m",
    "max-file": "3"
  }
}
EOF

2. 重启 Docker

sudo systemctl daemon-reload
sudo systemctl restart docker

3. 验证配置

docker info | grep -A 5 "Registry Mirrors"

# 应输出类似：
# Registry Mirrors:
#  https://mirrors.aoniai.com/

4. 正常拉取

配置完成后，docker pull 将自动从国内镜像仓库加速：

# 拉取镜像 — 自动走国内加速
sudo docker pull ghcr.io/nvidia-ai-iot/vllm:latest-jetson-orin

# 也可使用我们提供的短域名别名
sudo docker pull mirrors.aoniai.com/vllm:orin-latest

---

方式对比

	OSS 下载导入	镜像仓库加速
网络要求	仅下载时联网	需持续联网
速度	取决于带宽，支持断点续传	首次较慢，后续有缓存
适用场景	离线/内网环境、批量部署	开发调试、在线环境
更新方式	重新下载 tar 包	docker pull
镜像版本	手动选择 tar 包	自动获取 latest

---

Docker 镜像命名与对应表

推理引擎镜像

原始镜像	OSS tar 包	镜像仓库别名
ghcr.io/nvidia-ai-iot/vllm:latest-jetson-thor	vllm-thor-latest.tar.gz	mirrors.aoniai.com/vllm:thor-latest
ghcr.io/nvidia-ai-iot/vllm:latest-jetson-orin	vllm-orin-latest.tar.gz	mirrors.aoniai.com/vllm:orin-latest
ghcr.io/nvidia-ai-iot/llama_cpp:latest-jetson-thor	llamacpp-thor-latest.tar.gz	mirrors.aoniai.com/llamacpp:thor-latest
ghcr.io/nvidia-ai-iot/llama_cpp:latest-jetson-orin	llamacpp-orin-latest.tar.gz	mirrors.aoniai.com/llamacpp:orin-latest

---

下一步

• 快速开始 — 完成基础环境配置后继续
• 性能优化 — 模型量化与调优
• 硬件选型 — 选择适合的 Jetson 设备