返回模型列表
发布者 Google 系列 Gemma 参数量 270M 上下文长度 8,192 tokens 许可证 Apache 2.0
FunctionGemma
Google 推出的函数调用专用 Gemma 模型，270M 参数，专为工具调用和结构化输出优化
参数量270M
模态Text
精度BF16
类型LLM
快速部署
部署模型
命令根据你的配置自动生成
sudo docker run -it --rm --pull always \
--runtime=nvidia --network host \
-e VLLM_USE_MODELSCOPE=True \
-v ~/models:/models \
ghcr.io/nvidia-ai-iot/vllm:latest-jetson-orin vllm serve google/functiongemma-270m-it \
--port 8000 \
--max-model-len 4096 \
--gpu-memory-utilization 0.7模型详情
输入和输出
输入: Text / 输出: Text
用途
- 函数调用
- 工具使用
- 结构化输出
Jetson 兼容性
Thor 128GBThor 64GBOrin 64GBOrin 16GBOrin 8GB
标签
llmgooglefunction-callingtiny