当前位置: 网站首页 技术文章 正文

中国移动、电子标准院及 16 家重点央企发布《通用大模型评测标准》

来源:互联网 发布时间:2024-10-17 00:35:17

从中国移动官方获悉,在召开的 2024 中国移动全球合作伙伴大会期间,中国移动联合电子标准院及 16 家重点央企共同开展大模型评测体系建设工作,并发布《通用大模型评测标准》。

中国移动、电子标准院及16家重点央企发布《通用大模型评测标准》

据介绍,该标准是大模型评测体系建设的重要成果,为产业界遴选优质大模型提供重要参考依据。第一阶段将围绕通用领域和 4 个重点行业领域,从评测标准制定、评测基地建设、评测试点应用等方面开展工作。

通用大模型评测标准基于“2-4-6”框架如下:

“2”:两类评测视角,以重点行业实际使用需求为导向,与国标对模型能力要求拉齐,将评测任务划分为理解和生成两类视角。“4”:四类评测要素,从评测全生命周期中提取出评测工具、评测数据、评测方式和评测指标四类关键要素,确保评测工作可实施性。“6”:六大评测维度,综合考虑大模型应用过程中的核心能力,设定功能性、准确性、可靠性、安全性、交互性和应用性六大维度。

相关内容:

360智脑通过国家大模型标准符合性测试文心一言否认放弃通用大模型:将持续加大研发投入中国移动“算网大脑”规模商用,推动算力像水电一样即取即用中国移动发布九天善智多模态基座大模型及 30+ 款自研行业大模型
相关教程