返回模型列表
发布者 OpenAI 系列 GPT OSS 参数量 20B 上下文长度 32,768 tokens 许可证 Apache 2.0 推理引擎 vllm
GPT OSS 20B
OpenAI 开源 GPT OSS 20B 模型，NVFP4 精度优化
参数量20B
模态Text
精度NVFP4
类型LLM
推理引擎vllm
快速部署
部署模型
命令根据你的配置自动生成
sudo docker run -it --rm \
--runtime=nvidia --network host \
-e MODEL_OSS=True \
-e MODEL_ROOT=/models \
-e ENGINE_URI=tos://ai-hub/models/openai/GPT-OSS-20B.tar.gz \
-e MODEL_NAME=openai/GPT-OSS-20B \
-e TIKTOKEN_ENCODINGS_BASE=/models/openai/gpt-oss-20b \
-v ~/models:/models \
aoni/vllm/vllm-openai:nightly-aarch64 \
--port 8300 \
--max-model-len 4096 \
--gpu-memory-utilization 0.8模型详情
输入和输出
输入: Text / 输出: Text
用途
- 通用推理
- 代码生成
Jetson 兼容性
Thor 128GBThor 64GBOrin 64GB
标签
llmopenaidense
GPT OSS 系列
| 模型 | 参数量 | 硬件 | 精度 |
|---|---|---|---|
| GPT OSS 20B | 20B | Thor 128GB, Thor 64GB, Orin 64GB | NVFP4 |
| GPT OSS 120B | 120B | Thor 128GB, Thor 64GB | NVFP4 |