返回模型列表
发布者 Google 系列 Gemma 参数量 270M 上下文长度 8,192 tokens 许可证 Apache 2.0 推理引擎 vllm
FunctionGemma
Google 推出的函数调用专用 Gemma 模型，270M 参数，专为工具调用和结构化输出优化
参数量270M
模态Text
精度BF16
类型LLM
推理引擎vllm
快速部署
部署模型
命令根据你的配置自动生成
sudo docker run -it --rm \
--runtime=nvidia --network host \
-e MODEL_OSS=True \
-e MODEL_ROOT=/models \
-e ENGINE_URI=tos://ai-hub/models/gemma/functiongemma-270m-it.tar.gz \
-e MODEL_NAME=gemma/functiongemma-270m-it \
-v ~/models:/models \
aoni/nvidia-ai-iot/vllm:latest-jetson-thor vllm serve google/functiongemma-270m-it \
--port 8300 \
--max-model-len 4096 \
--gpu-memory-utilization 0.8模型详情
输入和输出
输入: Text / 输出: Text
用途
- 函数调用
- 工具使用
- 结构化输出
Jetson 兼容性
Thor 128GBThor 64GBOrin 64GBOrin 16GBOrin 8GB
标签
llmgooglefunction-callingtiny