加载中,请稍候...
Gorilla:连接海量 API 的大型语言模型
什么是Gorilla(大猩猩)模型
  • 研发背景:在自然语言处理领域,大型语言模型虽在诸多任务上表现出色,但在通过 API 调用有效使用工具方面存在局限,如生成准确输入参数的能力不足以及 API 调用时的幻觉问题,且现有的语言模型需要重新训练来更新知识和推理能力,为解决这些问题,Gorilla 模型被提出 。
  • 研发团队及时间:2023 年 5 月 24 日,由加州大学伯克利分校等发布。微软研究院也参与了相关研究 。
  • 核心技术
    • 基于 Llama 微调:Gorilla 是在 Llama-7b 模型的基础上进行检索式微调得到的语言模型 。检索器感知训练:采用 “检索器感知训练”(retriever-aware training)技术,让模型学习 API 调用的语义,从而能够生成语义和语法正确的 API 调用内容。即使 API 文档发生更改,它依然能生成正确的语义和语法 。
  • 性能优势
    • 高 API 调用准确性:在各种 API 调用任务上表现优于 GPT-4 等模型,例如在一项研究中,GPT-4 的 API 调用准确率为 85%,而 Gorilla 的准确率可以达到 95%。
    • 减少幻觉问题:显著减轻了直接提示语言模型时常遇到的幻觉问题,提高了输出的可靠性和适用性。
    • 适应文档变化:结合文档检索器,能够适应测试时文档的变化,实现灵活的用户更新或版本变更,可跟上频繁更新的文档。
  • 应用领域
    • 软件开发:帮助开发者更准确地调用各种 API,提高开发效率,减少因 API 调用错误导致的问题。
    • 自动化流程:可用于构建自动化的工作流程,通过调用不同的 API 实现各种任务的自动化执行。
    • 智能助手:为智能助手提供更强大的功能,使其能够通过 API 调用与更多的外部服务和工具进行交互,提供更丰富的服务和信息。