加载中,请稍候...
CPMBee
中国
面壁智能 通用AI
CPM-Bee是面壁智能联合OpenBMB发布的一个最高有100亿参数规模的开源大语言模型。该模型从零开始自主训练,基于Transformer架构,中英双语表现优秀,拥有百亿量级参数、万亿级高质量语料。是一个完全开源、允许商用的百亿参数中英文基座模型。
CPM-Bee特点
  • CPM-Bee 在2022年10月13日开启训练,在基础能力和性能表现上都在 CPM-Ant 的基础上进行了全新升级。
  • CPM-Bee 一网打尽多种能力,可以准确地进行语义理解,高效完成各类基础任务,包括:文字填空、文本生成、翻译、问答、评分预测、文本选择题 等等。考
  • 在预训练阶段将模型的输入输出设计成了JSON 结构化形式,用户只需调整不同任务字段,就可以完成各类任务。
CPM-Bee优点
  • 开源可商用:CPM-Bee 基座模型将完全开源并且可商用,以推动大模型领域的发展。如需将模型用于商业用途,只需企业实名邮件申请并获得官方授权证书,即可商用使用。
  • 中英双语性能优异:在预训练语料上进行了严格的筛选和配比,同时在中英双语上具有亮眼表现,具体可参见评测任务和结果。
  • 超大规模高质量语料:在万亿级语料上进行训练,是开源社区内经过语料最多的模型之一。同时,我们对预训练语料进行了严格的筛选、清洗和后处理以确保质量。
  • OpenBMB大模型系统生态支持OpenBMB 大模型系统在高性能预训练、适配、压缩、部署、工具开发了一系列工具,CPM-Bee 基座模型将配套所有的工具脚本,高效支持开发者进行进阶使用。
  • 强大的对话和工具使用能力:结合OpenBMB 在指令微调和工具学习的探索,在CPM-Bee基座模型的基础上进行微调,训练出了具有强大对话和工具使用能力的实例模型。